今天突然發(fā)現(xiàn)騰訊開源混元大模型，十分震驚，騰訊也來擠開源賽道了，只能說大模型開源越來越繁華了。

這次開源的主要是MoE模型，有Base模型和Instruct模型，總參數(shù)量389B，激活參數(shù)52B，支持最大上下文256K。

Github: https://github.com/Tencent/Tencent-Hunyuan-Large
Paper: https://arxiv.org/pdf/2411.02265
HF: https://huggingface.co/tencent/Tencent-Hunyuan-Large

由于時(shí)間關(guān)系，還沒仔細(xì)的閱讀paper，掃了一眼指標(biāo)，不知道為啥沒跟Qwen2.5-72B比較，但是我單獨(dú)看了幾個(gè)榜單，是要好一些的。

Base模型

Instruct模型

由于本人沒有16張H800，但又像測試一下騰訊新開源的Hunyuan-Large，因此在官方提供huggingface spaces上進(jìn)行的測試。

https://huggingface.co/spaces/tencent/Hunyuan-Large

• 將“I love Hunyuan-Large”的所有字母反過來寫

說明：理解了意圖，但是輸出結(jié)果不正確，沒有將所有字母反過來。

• 9.9和9.11誰大

說明：結(jié)果正確。

• strawberry有幾個(gè)r

說明：結(jié)果錯(cuò)誤，感覺還是tokenizer的問題，但很奇怪為啥沒單獨(dú)優(yōu)化一下。

• 監(jiān)獄里的都是犯人，為什么警察不去監(jiān)獄里抓壞人

說明：結(jié)果正確

• 生蠔煮熟了叫什么？

說明：熟蠔。。。。。。。

• 用水來兌水，得到的是濃水還是稀水

說明：稀水。。。。。。。。

• 小紅有2個(gè)兄弟，3個(gè)姐妹，那么小紅的兄弟有幾個(gè)姐妹

說明：沒理解，小紅是女生，字母說呢，合理也不合理，反正我覺得小紅是女生。

• 小紅（女）有2個(gè)兄弟，3個(gè)姐妹，那么小紅的兄弟有幾個(gè)姐妹

說明：結(jié)果正確

• 未來的某天，李同學(xué)在實(shí)驗(yàn)室制作超導(dǎo)磁懸浮材料時(shí)，意外發(fā)現(xiàn)實(shí)驗(yàn)室的老鼠在空中飛，分析發(fā)現(xiàn)，是因?yàn)槔鲜蟛恍⌒某粤舜艖腋〔牧稀５诙?，李同學(xué)又發(fā)現(xiàn)實(shí)驗(yàn)室的蛇也在空中飛，分析發(fā)現(xiàn)，是因?yàn)樯叱粤死鲜?。第三天，李同學(xué)又發(fā)現(xiàn)實(shí)驗(yàn)室的老鷹也在空中飛，你認(rèn)為其原因是

說明：按照我的推理是對(duì)的，但是不應(yīng)該按照事實(shí)知識(shí)回答嘛。

就是測試了一下，感覺沒有其他人說的那么強(qiáng)。不過也是現(xiàn)在開源最大的MoE模型了吧。

本文轉(zhuǎn)載自 ??NLP工作站??，作者： 劉聰NLP