騰訊前兩天開(kāi)源了混元A13B模型，A13B模型是一個(gè)MoE模型，總參數(shù)80B，激活參數(shù)13B，同時(shí)支持快慢思考兩種模式切換。

Paper：https://github.com/Tencent-Hunyuan/Hunyuan-A13B/blob/main/report/Hunyuan_A13B_Technical_Report.pdf
HF：https://huggingface.co/collections/tencent/hunyuan-a13b-685ec38e5b46321e3ea7c4be

騰訊之前開(kāi)源3D生成模型關(guān)注度很高，文本大模型上一次開(kāi)源已經(jīng)是5個(gè)月前的HunYuan-7B和HunYuan-Large模型了。

由于Qwen3的系列模型沒(méi)有開(kāi)源72B級(jí)別模型，市面上80B級(jí)別的模型還沒(méi)有太好的模型，而混元這次的A13B模型80B，算是彌補(bǔ)了目前該尺寸的空缺。

并且量化的情況下，單卡H100可以推理，對(duì)于企業(yè)側(cè)想要探索本地模型應(yīng)用，是一個(gè)不錯(cuò)的備選項(xiàng)。

今天給大家分享一下，HunYuan-A13B模型的相關(guān)細(xì)節(jié)，再實(shí)測(cè)看看效果到底如何，最后用vllm進(jìn)行部署。

模型細(xì)節(jié)

直奔主題，主看一下paper中model architechture、pre-training、post-training的細(xì)節(jié)。

模型結(jié)構(gòu)

模型為MoE結(jié)構(gòu)，32層，詞表大小128K，上下文長(zhǎng)度256K，采用GQA注意力，激活函數(shù)采用SWiGLU，一個(gè)共享專家，64個(gè)非共享專家，每次會(huì)激活8個(gè)非共享專家，具體如下所示。

其中，共享專家數(shù)量是經(jīng)過(guò)實(shí)驗(yàn)得出，發(fā)現(xiàn)沒(méi)有任何共享專家的情況下表現(xiàn)不如至少有一個(gè)共享專家的情況，而共享專家數(shù)量超過(guò)一個(gè)后，收益會(huì)逐漸減少，僅有微小提升，甚至可能出現(xiàn)波動(dòng)。

Pre-training

預(yù)訓(xùn)練依舊分為三個(gè)階段，

• 基礎(chǔ)階段：共計(jì)使用20T Tokens訓(xùn)練，上下文長(zhǎng)度4096，學(xué)習(xí)率三個(gè)階段，預(yù)熱從0線性升值3e-4，余弦衰減從3e-4到3e-5，共計(jì)13.5T Tokens，再使用3e-5恒定訓(xùn)練余下數(shù)據(jù)。
• 退火階段：共計(jì)300B Tokens，上下文長(zhǎng)度增至8092，學(xué)習(xí)率余弦衰減從3e-5到8e-6。
• 上下文擴(kuò)展階段：采用NTK 感知位置編碼，擴(kuò)充上下文長(zhǎng)度，先擴(kuò)充至32K（α 值為50），再擴(kuò)展至256K（α 值為100）。

在預(yù)訓(xùn)練過(guò)程的數(shù)據(jù)，與之前的Hunyuan-TurboS一致，涉及成數(shù)據(jù)去重、低質(zhì)量過(guò)濾、數(shù)據(jù)去噪和數(shù)據(jù)主題標(biāo)記、提取純文本、語(yǔ)義級(jí)去重等。主要是STEM 數(shù)據(jù)進(jìn)行了重點(diǎn)清洗，額外提取250B Tokens高質(zhì)量的 STEM 預(yù)訓(xùn)練數(shù)據(jù)。

Post-training

后訓(xùn)練主要涉及四個(gè)步驟，推理導(dǎo)向的SFT和RL，通用場(chǎng)景的SFT和RL，如下圖所示，

推理導(dǎo)向的SFT數(shù)據(jù)量未知，數(shù)據(jù)集含了明確的推理過(guò)程和詳細(xì)的思維鏈解決方案，數(shù)據(jù)來(lái)源：

• 數(shù)學(xué)推理：從教科書(shū)、標(biāo)準(zhǔn)化測(cè)試和數(shù)學(xué)競(jìng)賽等資源中收集數(shù)學(xué)問(wèn)題，經(jīng)過(guò)嚴(yán)格驗(yàn)證的數(shù)學(xué)推理對(duì)才會(huì)被保留在最終數(shù)據(jù)集中。
• 代碼推理：原始數(shù)據(jù)來(lái)自于Github代碼庫(kù)，采用代碼生成管道將代碼片段轉(zhuǎn)換為涵蓋各種任務(wù)、編程語(yǔ)言和問(wèn)題類型的結(jié)構(gòu)化指令推理對(duì)，通過(guò)多階段驗(yàn)證，確保最終推理示例的數(shù)據(jù)質(zhì)量。
• 邏輯推理：各種謎題集合，同時(shí)采用自動(dòng)化數(shù)據(jù)合成方法，實(shí)現(xiàn)數(shù)據(jù)集的可擴(kuò)展增強(qiáng)。
• 科學(xué)推理：物理、化學(xué)和生物學(xué)科從中學(xué)生水平到高級(jí)研究生難度的數(shù)據(jù)，最后只有通過(guò)嚴(yán)格拒絕采樣驗(yàn)證的樣本才會(huì)被納入最終數(shù)據(jù)集。

而推理導(dǎo)向的RL，采用GRPO策略，在上一階段訓(xùn)練得到的模型基礎(chǔ)上進(jìn)行訓(xùn)練，共設(shè)計(jì)兩種類型的獎(jiǎng)勵(lì)模型，

• 結(jié)果獎(jiǎng)勵(lì)模型：語(yǔ)言模型評(píng)估器，對(duì)比最終答案和參考答案中之間的一致性，主要比較格式規(guī)范化（例如格式、單位等）、數(shù)學(xué)、邏輯上的差異，一致為1，否則為0.
• 沙盒反饋：開(kāi)發(fā)了一個(gè)支持 36 種編程語(yǔ)言的多語(yǔ)言代碼沙盒（部署在CPU分布式集群上，支持超過(guò) 1000 個(gè)并發(fā)執(zhí)行），判斷生成的代碼內(nèi)容是否準(zhǔn)確、有效。

RL的數(shù)據(jù)150K，其中，數(shù)學(xué)、編碼、邏輯、科學(xué)的比例為 2:2:1:1，其中 10% 與 SFT 訓(xùn)練數(shù)據(jù)重疊，90% 為新數(shù)據(jù)，同時(shí)RL 經(jīng)過(guò)兩個(gè)上下文長(zhǎng)度的訓(xùn)練，第一階段使用 24K 的上下文，第二階段擴(kuò)展到 32K。

同時(shí)使用了在線策略學(xué)習(xí)策略、更大的Batch Size、增加的 rollout 次數(shù)、以及較低的采樣溫度（0.6–0.8）。

通用場(chǎng)景的SFT的數(shù)據(jù)量未知，主要是擴(kuò)展模型的適應(yīng)性，增加模型的泛化能力，增加以下類型數(shù)據(jù)：語(yǔ)言理解任務(wù)、創(chuàng)意寫(xiě)作任務(wù)、多語(yǔ)言任務(wù)、復(fù)雜指令場(chǎng)景任務(wù)、基于角色的互動(dòng)任務(wù)、知識(shí)問(wèn)答任務(wù)、Agent任務(wù)。

通用場(chǎng)景的RL的數(shù)據(jù)量未知，采用生成式獎(jiǎng)勵(lì)模型（GRM），在不同任務(wù)上，采用不同的評(píng)分規(guī)則，將靈活的 GRM 與 16 個(gè)子主題和 30 多個(gè)評(píng)分服務(wù)的領(lǐng)域特定管道統(tǒng)一起來(lái)。使模型能夠在確定性、創(chuàng)意性和專業(yè)性場(chǎng)景中進(jìn)行多樣的推理。

同時(shí)，支持雙模式CoT，根據(jù)任務(wù)復(fù)雜性和用戶需求動(dòng)態(tài)調(diào)整推理深度，

快思考，提供簡(jiǎn)潔、高效的輸出，適用于需要速度且計(jì)算開(kāi)銷最小的簡(jiǎn)單任務(wù)。

慢思考，提供更深入、更全面的推理步驟，在處理復(fù)雜推理任務(wù)時(shí)顯著提高了準(zhǔn)確性和穩(wěn)健性。

模型推理時(shí)，“/no think” 為快思考模式，、“/think” 為慢思考模式，未設(shè)置時(shí)默認(rèn)為慢思考。

最后，模型榜單效果如下：

HunYuan-A13B實(shí)測(cè)

先說(shuō)一下實(shí)測(cè)感受：

• 常識(shí)類問(wèn)題效果還不錯(cuò)，跟Qwen、DeepSeek等相差不大
• think的整體效果要優(yōu)于no_think，符合常理
• 代碼上，大體ok，但在小細(xì)節(jié)上會(huì)出問(wèn)題
• 工具調(diào)用上不錯(cuò)，額外在自己的一些任務(wù)上做了測(cè)試，基本上可以理解的意圖準(zhǔn)確調(diào)用工具，不過(guò)工具太多時(shí)，會(huì)出現(xiàn)不穩(wěn)地情況，不過(guò)畢竟A13B，可以理解。

常見(jiàn)問(wèn)題

將“I love Hunyuan-A13B”這句話的所有內(nèi)容反過(guò)來(lái)寫(xiě)

結(jié)果：正確。

依舊弱智吧

生蠔煮熟了叫什么？

結(jié)果：正確，沒(méi)有熟蠔被誤導(dǎo)，哈哈哈哈。

用水來(lái)兌水，得到的是濃水還是稀水

結(jié)果：正確，就是水。

文本推理

小紅有2個(gè)兄弟，3個(gè)姐妹，那么小紅的兄弟有幾個(gè)姐妹

結(jié)果：正確，推理步驟很詳細(xì)。

未來(lái)的某天，李同學(xué)在實(shí)驗(yàn)室制作超導(dǎo)磁懸浮材料時(shí)，意外發(fā)現(xiàn)實(shí)驗(yàn)室的老鼠在空中飛，分析發(fā)現(xiàn)，是因?yàn)槔鲜蟛恍⌒某粤舜艖腋〔牧?。第二天，李同學(xué)又發(fā)現(xiàn)實(shí)驗(yàn)室的蛇也在空中飛，分析發(fā)現(xiàn)，是因?yàn)樯叱粤死鲜?。第三天，李同學(xué)又發(fā)現(xiàn)實(shí)驗(yàn)室的老鷹也在空中飛，你認(rèn)為其原因是

結(jié)果：不對(duì)，老鷹依舊不會(huì)飛，但這道題確實(shí)存在誤導(dǎo)，基本上所有模型都會(huì)跟著題干進(jìn)行推理，沒(méi)有辯證世界知識(shí)。

高考題感覺(jué)對(duì)于現(xiàn)在大模型來(lái)說(shuō)基本上沒(méi)啥挑戰(zhàn)了，畢竟2025年數(shù)學(xué)卷，各大模型都是130+，甚至很多都140+，這里測(cè)過(guò)都差不多。

其他推理

在平面四邊形ABCD中，AB = AC = CD = 1,\angle ADC = 30^{\circ},\angle DAB = 120^{\circ}。將\triangle ACD沿AC翻折至\triangle ACP，其中P為動(dòng)點(diǎn)。 求二面角A - CP - B的余弦值的最小值。

結(jié)果：R1滿血驗(yàn)證題，正確，這個(gè)還是不錯(cuò)的。

大數(shù)計(jì)算

178939247893 * 299281748617等于多少？

結(jié)果：錯(cuò)誤，正常，市面上的模型都對(duì)不了，還是得調(diào)用工具，不過(guò)這樣說(shuō)明了僅僅LLM得局限性，也是為啥Agent是必然得原因。

史詩(shī)級(jí)難題

有一天，一個(gè)女孩參加數(shù)學(xué)考試只得了 38 分。她心里對(duì)父親的懲罰充滿恐懼，于是偷偷把分?jǐn)?shù)改成了 88 分。她的父親看到試卷后，怒發(fā)沖冠，狠狠地給了她一巴掌，怒吼道：“你這 8 怎么一半是綠的一半是紅的，你以為我是傻子嗎？”女孩被打后，委屈地哭了起來(lái)，什么也沒(méi)說(shuō)。過(guò)了一會(huì)兒，父親突然崩潰了。請(qǐng)問(wèn)這位父親為什么過(guò)一會(huì)崩潰了？

結(jié)果：不對(duì)，循環(huán)重復(fù)了，一直沒(méi)返回結(jié)果。

但用API測(cè)試就沒(méi)問(wèn)題（雖然都沒(méi)對(duì)），不知道是不是官方頁(yè)面上模型的問(wèn)題。

代碼

寫(xiě)一個(gè)打工人時(shí)鐘、

結(jié)果：頁(yè)面做出來(lái)了，也不錯(cuò)，還給我加了個(gè)工作時(shí)間計(jì)時(shí)器，難到怕我干不滿8小時(shí)嗎，哈哈哈哈！

寫(xiě)一個(gè)貪吃蛇得游戲。

結(jié)果：做出了，風(fēng)格還可以，但是蛇走的路徑細(xì)節(jié)有點(diǎn)問(wèn)題，會(huì)一直在原地轉(zhuǎn)圈圈。

內(nèi)容可視化，生成HTLM解釋內(nèi)容。

結(jié)果：整體不錯(cuò)，我個(gè)人覺(jué)得蠻好看的。

Tool調(diào)用

上面的大數(shù)計(jì)算，直接寫(xiě)個(gè)計(jì)算器工具，完美解決，

正確答案：53553251005627872913981

寫(xiě)個(gè)BMI計(jì)算器，看一下身體的健康情況，以及推薦飲食。

我為了圖方便，就用的硅基流動(dòng)的接口。當(dāng)然可以在騰訊云官方上申請(qǐng)個(gè)API使用。

??https://hunyuan.tencent.com/modelSquare/home/list??

模型部署

有卡的同學(xué)也可以本地部署一個(gè)，官方給的部署教程也挺清晰的，

??https://huggingface.co/tencent/Hunyuan-A13B-Instruct/blob/main/README_CN.md??

這里用vllm部署，官方已經(jīng)給了鏡像，直接docker pull先把鏡像拉下來(lái)，

docker pull docker.cnb.cool/tencent/hunyuan/hunyuan-a13b:hunyuan-moe-A13B-vllm

注意：模型啟動(dòng)需要cuda 12.8，要不然啟動(dòng)會(huì)報(bào)錯(cuò)

然后把模型下載下來(lái)，直接魔搭下載，昨天我也說(shuō)了，下載飛快，保持到固定的目錄下，我直接存在/home下了

nohup modelscope download --model 'Tencent-Hunyuan/Hunyuan-A13B-Instruct' --local_dir '/home/Hunyuan-A13B-Instruct' &

最后用docker 命令啟動(dòng)，

docker run --privileged --user root --net=host --ipc=host -v /home:/home --gpus=all -it --entrypoint python docker.cnb.cool/tencent/hunyuan/hunyuan-a13b:hunyuan-moe-A13B-vllm -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --tensor-parallel-size 8 --port 18121 --model /home/Hunyuan-A13B-Instruct/ --trust_remote_code

由于我是8卡4090，所以tensor-parallel-size設(shè)置8，port就是服務(wù)啟動(dòng)的端口號(hào)，--model為模型路徑。

本文轉(zhuǎn)載自??????NLP工作站??????，作者：NLP工作站