在人工智能領(lǐng)域，語言模型的發(fā)展日新月異，參數(shù)規(guī)模的不斷擴(kuò)大為模型的性能提升帶來了新的機(jī)遇與挑戰(zhàn)。今天，我們將聚焦于由螞蟻集團(tuán)開源的Ling-1T 模型，它作為 Ling 2.0 系列的第一款旗艦非思考模型，憑借萬億參數(shù)的龐大體量和卓越的高效推理能力，為自然語言處理領(lǐng)域帶來了新的突破。

一、項(xiàng)目概述

Ling-1T 是基于 Ling 2.0 架構(gòu)的萬億參數(shù)非思考模型，其設(shè)計(jì)目標(biāo)是實(shí)現(xiàn)高效的推理和強(qiáng)大的認(rèn)知能力。該模型在 20T+ token 的高質(zhì)量、高推理濃度語料上完成預(yù)訓(xùn)練，支持最高 128K 的上下文窗口，并通過“中訓(xùn)練+后訓(xùn)練”的演進(jìn)式思維鏈（Evo-CoT）方法，極大地提升了模型的推理效率和準(zhǔn)確性。Ling-1T 在多項(xiàng)復(fù)雜推理基準(zhǔn)測試中取得了 SOTA 表現(xiàn)，展現(xiàn)出在高效思考與精確推理之間的卓越平衡。

二、核心功能

（一）高效推理

Ling-1T 在有限的輸出 token 條件下，能夠直接給出高質(zhì)量的推理結(jié)果，推理效率極高，適合快速解決問題。它在代碼生成、軟件開發(fā)、競賽數(shù)學(xué)、專業(yè)數(shù)學(xué)、邏輯推理等多項(xiàng)高難度基準(zhǔn)測試上，均展現(xiàn)出領(lǐng)先的復(fù)雜推理能力。例如，在 AIME-25 競賽數(shù)學(xué)推理測試中，Ling-1T 的準(zhǔn)確率高達(dá) 70.42%，與 Gemini-2.5-Pro 并列最高精度，但后者用了更長的輸出。

（二）長文本處理

Ling-1T 支持長達(dá) 128K 的上下文窗口，能夠處理長文檔任務(wù)，適合法律、金融、科研等領(lǐng)域的復(fù)雜推理。這一超長上下文處理能力使其在處理長文本時(shí)能夠保持對關(guān)鍵信息的準(zhǔn)確把握，避免因上下文窗口過小而導(dǎo)致的信息丟失。

（三）創(chuàng)意寫作

Ling-1T 能夠生成富有創(chuàng)意的文案、劇本、詩歌等，滿足內(nèi)容創(chuàng)作和廣告文案的需求。它可以根據(jù)指定的風(fēng)格與語氣創(chuàng)作多語種文本，為內(nèi)容創(chuàng)作者提供了強(qiáng)大的支持。

（四）多語言支持

Ling-1T 支持處理英文等其他語言的任務(wù)，具備一定的多語言能力。這使得它能夠適應(yīng)不同語言環(huán)境下的應(yīng)用需求，拓展了其應(yīng)用場景。

（五）多任務(wù)能力

Ling-1T 在編程輔助、數(shù)學(xué)解題、知識問答、多輪對話等任務(wù)中表現(xiàn)出色，能夠生成高質(zhì)量的代碼和設(shè)計(jì)。它能夠精準(zhǔn)理解復(fù)雜自然語言指令，自主完成綜合性任務(wù)。

（六）應(yīng)用集成

Ling-1T 支持集成到各種工具中，如支付軟件、理財(cái)助手、健康助手等，提升智能化水平。這種應(yīng)用集成能力使其能夠廣泛應(yīng)用于不同的行業(yè)和場景。

三、技術(shù)揭秘

（一）架構(gòu)設(shè)計(jì)

Ling-1T 基于 Ling 2.0 架構(gòu)，采用 Mixture of Experts（MoE）架構(gòu)設(shè)計(jì)，總參數(shù)量為 1 萬億，包含 256 個(gè)專家。每次推理僅激活約 510 億參數(shù)，顯著降低了推理成本，同時(shí)保持了高性能。這種“大參數(shù)儲(chǔ)備+小參數(shù)激活”的范式，使得 Ling-1T 在推理時(shí)能夠快速響應(yīng)，端到端推理延遲穩(wěn)定在 200 毫秒以內(nèi)。

（二）預(yù)訓(xùn)練與優(yōu)化

Ling-1T 的預(yù)訓(xùn)練分為三個(gè)階段：Pretrain Stage 1 使用 10T 高知識密度語料，Pretrain Stage 2 使用 10T 高推理密度語料，Mid-training 擴(kuò)展上下文到 128K 并加入思維鏈語料。在預(yù)訓(xùn)練階段，Ling-1T 采用了 FP8 混合精度訓(xùn)練，相比 BF16，F(xiàn)P8 能顯著節(jié)省顯存、提升訓(xùn)練速度，且在 1T token 的對比實(shí)驗(yàn)中，Loss 偏差僅為 0.1%。此外，Ling-1T 還引入了 Query-Key 歸一化技術(shù)，有效解決了注意力機(jī)制中的梯度爆炸和數(shù)值不穩(wěn)定問題。

（三）強(qiáng)化學(xué)習(xí)與優(yōu)化

Ling-1T 在強(qiáng)化學(xué)習(xí)階段提出了以“句子”為粒度的策略優(yōu)化方法 LPO（Linguistics-Unit Policy Optimization）。這種方法首次將“句子”作為一種兼顧語義完整性與粒度精細(xì)度的中間策略，并在此粒度上進(jìn)行重要性采樣與裁剪，使得獎(jiǎng)勵(lì)信號與模型行為在語義層面實(shí)現(xiàn)了更精準(zhǔn)的對齊。與 GRPO 和 GSPO 相比，LPO 在訓(xùn)練穩(wěn)定性與模型泛化性上均表現(xiàn)出明顯優(yōu)勢。

四、應(yīng)用場景

（一）編程輔助

Ling-1T 能夠生成高質(zhì)量的代碼片段，幫助開發(fā)者快速實(shí)現(xiàn)功能，提升編程效率。它在 LiveCodeBench（真實(shí)編程推理任務(wù)）上得分最高，顯著高于 DeepSeek。

（二）數(shù)學(xué)解題

Ling-1T 在數(shù)學(xué)推理和解題方面表現(xiàn)出色，支持輔助解決復(fù)雜的數(shù)學(xué)問題，如競賽題目等。在 Omni-Math 與 UGMathBench 綜合測試中，Ling-1T 穩(wěn)居領(lǐng)先位置。

（三）知識問答

Ling-1T 具備強(qiáng)大的知識理解能力，能準(zhǔn)確回答各種知識性問題，提供可靠的信息。在多個(gè)關(guān)鍵數(shù)據(jù)集上，如 C-Eval、MMLU-Redux、MMLU-Pro 等，Ling-1T 均處于領(lǐng)先或并列領(lǐng)先位置。

（四）創(chuàng)意寫作

Ling-1T 能夠生成富有創(chuàng)意的文案、劇本、詩歌等，滿足內(nèi)容創(chuàng)作和廣告文案的需求。它可以根據(jù)指定的風(fēng)格與語氣創(chuàng)作多語種文本，為內(nèi)容創(chuàng)作者提供了強(qiáng)大的支持。

（五）多輪對話

Ling-1T 在多輪對話場景中表現(xiàn)出色，能夠展現(xiàn)出自然語言表達(dá)與思維連貫性的平衡能力。在 BFCL-v3 與 Creative-Writing 等具備開放思維特征的任務(wù)中，Ling-1T 展現(xiàn)出卓越的推理遷移與泛化能力。

五、快速使用

（一）部署環(huán)境準(zhǔn)備

Ling-1T 支持多種部署方式，包括 SGLang 和 vLLM。在使用 SGLang 時(shí)，需要安裝 sglang 和 sgl-kernel。在使用 vLLM 時(shí)，需要安裝 vllm。

（二）運(yùn)行推理

在SGLang 中，可以通過以下命令啟動(dòng)服務(wù)器和客戶端：

# 啟動(dòng)服務(wù)器
python -m sglang.launch_server --model-path $MODEL_PATH --tp-size 8 --pp-size 4 --dp-size 1 --trust-remote-code --dist-init-addr $MASTER_IP:2345 --port $PORT --nnodes 4 --node-rank 0
# 客戶端
curl -s http://${MASTER_IP}:${PORT}/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "auto", "messages": [{"role": "user", "content": "What is the capital of France?"}]}'

在vLLM 中，可以通過以下命令啟動(dòng)服務(wù)：

# 安裝依賴
pip install vllm==0.11.0
# 啟動(dòng)服務(wù)
vllm serve $MODEL_PATH --port $PORT --served-model-name my_model --trust-remote-code --tensor-parallel-size 8 --pipeline-parallel-size 4 --gpu-memory-utilization 0.85

（三）API 使用

Ling-1T 還可以通過 API 調(diào)用，以下是一個(gè)使用 OpenAI 客戶端的示例：

from openai import OpenAI


client = OpenAI(
  base_url="https://zenmux.ai/api/v1",
  api_key="<your ZENMUX_API_KEY>",
)


completion = client.chat.completions.create(
  model="inclusionai/ling-1t",
  messages=[
    {
      "role": "user",
      "content": "What is the meaning of life?"
    }
  ]
)
print(completion.choices[0].message.content)

六、結(jié)語

Ling-1T作為螞蟻集團(tuán)開源的萬億參數(shù)非思考模型，憑借其高效推理能力和強(qiáng)大的多任務(wù)處理能力，為自然語言處理領(lǐng)域帶來了新的突破。它在編程輔助、數(shù)學(xué)解題、知識問答、創(chuàng)意寫作等多個(gè)應(yīng)用場景中展現(xiàn)出卓越的性能，為開發(fā)者和研究人員提供了強(qiáng)大的工具。未來，Ling-1T 將繼續(xù)優(yōu)化其架構(gòu)和推理能力，進(jìn)一步提升其在復(fù)雜任務(wù)中的表現(xiàn)。

Hugging Face 模型庫：???https://huggingface.co/inclusionAI/Ling-1T??

本文轉(zhuǎn)載自??小兵的AI視界??，作者：AGI小兵