沒想到啊，開源大模型家族里，居然擠進來一位特別的選手：

來自央企，身份為運營商。

具體是誰？

中國電信。

所謂“不鳴則已，一鳴驚人”：

中國電信集團成立的中電信人工智能科技有限公司憑借全自研算法、精心打造的高質量數(shù)據(jù)集，發(fā)布星辰AI大模型。

其目前開源的版本在大模型知名榜單CSL上排名第五、GAOKAO排名第七、AGIEval排名第八。

什么概念？和科技公司出品的專業(yè)選手們站在了同一陣營。

現(xiàn)在，隨著其代碼和模型在Github、Gitee、HuggingFace三個平臺一并可獲取使用，中國電信也順勢成為央企中率先完成大模型研發(fā)和開源的選手。

加上不久之前，AI領域Fellow大滿貫科學家李學龍加盟，出任電信CTO——

所以作為率先交卷大模型的央企和運營商，在大模型研發(fā)這件事上，它究竟有哪些驚艷之處？

電信大模型長什么樣？

早在去年五月中旬，經過數(shù)十版模型訓練與優(yōu)化，中國電信就完成了百億參數(shù)星辰AI大模型穩(wěn)定版本的訓練。

正式發(fā)布則是在去年7月的人工智能科技大會上，為運營商中首個。

很快，歷經又一輪迭代，星辰AI大模型的千億參數(shù)版本于11月發(fā)布。

它最大可支持96k的上下文推理，相比第一代，長文生成和理解能力提升30%。

此外，模型幻覺問題也降低了40%，并在模型量化方面取得突破——訓練顯存降低50%的同時，推理速度提升4.5倍。

具體來看，星辰AI大模型具備以下諸多通用能力，包括：

常識問答、寫作、文本翻譯潤色/結構化任務、邏輯推理、數(shù)學、輔助代碼生成……

模型本身則提供了近100個prompt模版任務，包括營銷宣傳、PPT制作、評價分析、行業(yè)分析等，方便大伙拿來就用：

在這之中，星辰AI大模型最大的亮點或者最擅長的地方就是長文寫作。

根據(jù)用戶提示詞，它可以準確地生成結構完整、邏輯清晰的文章，平均字數(shù)超過1500字。

據(jù)統(tǒng)計，在電信內部，星辰AI大模型在此任務上的有效采納率可達85.7%，和國內其他眾多大模型相比，表現(xiàn)相當出色。

而除了長文寫作這一大亮點，星辰AI大模型還具備強大的插件功能，可以解決更為復雜、多場景的任務。

例如搜索插件，用于支持各種常識問答，標注來源，使結果更為準確。

在插件的具體調用上，電信設計了非常細致的數(shù)據(jù)格式，可以使得模型深刻理解用戶任務，并依照嚴格的流程執(zhí)行推理，最終得出答案。

如果再配合上思維鏈技術，星辰AI大模型的能力還能更進一步。

據(jù)介紹，在中國電信企業(yè)內部以及對外企事業(yè)單位客戶的業(yè)務中，星辰AI大模型已實現(xiàn)初步落地，在網(wǎng)絡故障分析和客戶服務業(yè)務中展現(xiàn)出巨大價值。

對于前者，星辰AI大模型通過對大量故障數(shù)據(jù)的學習和分析，能夠迅速識別潛在問題并提供有效的解決方案，從而提高網(wǎng)絡運維的效率和質量。

對于后者，新一代智能客服系統(tǒng)在接入星辰AI大模型之后，應答能力大幅提升，問題覆蓋率超過95%，加上還能自動對客戶服務進行準確總結，因此還能進一步優(yōu)化服務流程，提高用戶滿意度。

對于此次開源，中國電信率先釋出的則是其百億參數(shù)版本，外推長度32k，底層代碼、算法邏輯等全部公開。

大伙既可以直接調用大模型，也可以根據(jù)自身業(yè)務需求對大模型進行微調或個性化設置——支持deepspeed微調框架、int8&&int4模型量化、升騰卡訓推。

或者還可以用它加載自己的知識庫或數(shù)據(jù)，從而調整出更符合自身業(yè)務需求、更加個性化的理想結果。

具體來看，和前面介紹的還不同，電信將星辰AI大模型能力分門別類，此次一共開源的是5個細分大模型。

除了最基礎的星辰語義大模型，還包括：

• 星辰語音大模型 ，它具備關鍵詞檢測、超自然語音合成、語音識別、語音翻譯、聲音匿名、AI 作曲和語音生成七大類算法能力，可用于音頻會議紀要整理、智能語音機器人等場景；

• 星辰多模態(tài)大模型，支持文生圖、圖生圖，可用于內容創(chuàng)作、廣告營銷等；

• 啟明網(wǎng)絡大模型，專攻網(wǎng)絡運營，側重云網(wǎng)運營領域專業(yè)知識查詢；
• 星辰經分大模型，主攻數(shù)據(jù)分析和報告生成。

可以說相當全面了。

算法純自研，核心優(yōu)勢在數(shù)據(jù)

有點驚喜有點意外，作為一家運營商，電信在大模型研發(fā)這件技術活上拿出態(tài)度，走了純自研方式：

背后搭建了一支800人的研發(fā)團隊，碩博占比超54.9%的那種。

他們在模型結構、數(shù)據(jù)預處理、模型預訓練以及人類偏好對齊、降低幻覺等方面都進行了優(yōu)化，注入了電信自己的“靈魂”。

具體來看，在模型結構設計上，團隊采用解碼器架構（decoder-only）并改進旋轉位置編碼（RoPE），再結合自適應插值的NTK-aware + LogN算法，大幅提高了模型的外推能力，使其支持超長上下文（96k）理解。

在模型訓練上，為了保證穩(wěn)定性，團隊又使用了Embedding LayerNorm算法，在嵌入層添加額外的RMSNorm層，并在每個Transformer子層前加入RMSNorm層。

為了提升訓練和推理速度，他們又采用了SwiGLU激活函數(shù)替代傳統(tǒng)GELU激活函數(shù)的方式，將隱藏層大小設計為8/3d而非4d。

再通過將RoPE與FlashAttention-V2相結合，模型的訓練速度進一步提高了20%以上。

在微調階段，團隊的做法則是在embedding層加入噪聲擾動來緩解過擬合，進一步提升模型問答質量。

人類指令對齊上也下了不少功夫，經過一系列bge向量化+聚類以及人類標注的方式，團隊得到完整、全面的基于人類偏好的排序數(shù)據(jù)。

然后又多次嘗試PPO、RRHF和DPO在內的人類偏好排序數(shù)據(jù)訓練策略，最終選擇DPO進行訓練，實現(xiàn)人類偏好對齊，由此提升模型生成答案的安全性和規(guī)范性。

最后，在大模型幻覺問題上，中國電信研發(fā)團隊也給出了一套完整的解決方案：包括關鍵信息注意力增強技術、多輪知識記憶和強化技術、知識圖譜強化技術以及知識溯源，最終將大模型幻覺降低了40%。

——技術上的努力說了這么多，在造大模型這件事上，電信到底有哪些優(yōu)勢呢？

最為核心的就是數(shù)據(jù)。

數(shù)據(jù)的重要性對于大模型的性能不言而喻，而當下，中文互聯(lián)網(wǎng)數(shù)據(jù)由于數(shù)據(jù)孤島、AI生成污染等問題存在獲取困難、質量堪憂等情況。

在此，電信除了大量來自百科、書籍、司法、醫(yī)藥等維度的通用數(shù)據(jù)，也憑借自身業(yè)務積累了不少行業(yè)數(shù)據(jù)。

這使得電信大模型的中文訓練數(shù)據(jù)超過25TB，中文總token量超8萬億。

經過Knesey-Ney技術過濾、Minihash+Jaccard排重，以及幾百人專業(yè)標注團隊的人工標注，這批數(shù)據(jù)化為非常高質量的數(shù)據(jù)集，為星辰AI大模型算法訓練打下堅實基礎。

（值得一提的是，電信也將開源其中大部分數(shù)據(jù)，值得大伙期待一波。）

數(shù)據(jù)集有了，其次，算力也不缺：

對于大模型訓練所需的極大算力需求，中國電信通過“2+31”天翼云布局基礎，構建了全國四級超大算力底座來滿足。

簡單來說就是來自集團的2大核心算力集群（包含近萬臺GPU）與31個省級算力集群（同樣近萬臺GPU）進行云邊端協(xié)同，實現(xiàn)算力資源全國統(tǒng)籌調度管理，AI能力一鍵下發(fā)，多個大模型進行同時訓練也可滿足。

最后，再加上前面所講的一系列核心算法自研和優(yōu)化，電信憑“數(shù)算法”三大強力后盾，甩出了星辰大模型這份成績單。

現(xiàn)在，更是將它豪氣開源，和專業(yè)選手一起，敢于直接交給公眾來檢驗。

那么，問題來了——

為什么能做到央企中第一個發(fā)布大模型？

首先，是態(tài)度上重視。

在大模型和AI技術上，中國電信有基礎有布局。

除了星辰AI大模型，在去年11月舉辦的數(shù)字科技生態(tài)大會上電信還發(fā)布了12個行業(yè)大模型，并推出“星辰MaaS生態(tài)服務平臺”，實現(xiàn)定制化服務。

以及可開箱即用的大模型生產應用流水線產品“慧聚”，它預置多種基礎大模型、開發(fā)環(huán)境、數(shù)據(jù)訓練工具等，使得電信不僅自己生產大模型，還提供能力幫其他企業(yè)開發(fā)大模型。

而這一切，基于的是電信已歷經10年的AI能力建設。

在軟件算法領域，中國電信的人臉識別、動作檢測、對象跟蹤檢測等多項技術斬獲世界大獎，數(shù)字人技術所支撐的智能客服產品也在國際賽事DCASE2023 task-A賽道中獲得季軍，此外還與華為聯(lián)合發(fā)布了AI高性能推理框架UniStream。

這無比體現(xiàn)著中國電信扎實的AI基礎實力。

其次，有人才有大牛。

如前文介紹，為了搭星辰AI大模型，中國電信快速組建了一支近800人的研發(fā)團隊，成員來自國內外頂尖高校，如清華、北大、斯坦福和哥倫比亞等，平均年齡31.79歲。

其中純技術人員占比75%，碩博占比超54.9%，這波人才幫助電信在對內對外業(yè)務中取代外部算法能力，實現(xiàn)核心算法能力自主可控。

在廣納基礎人才之外，電信也坐擁一批大牛，其中包括去年年底全職加盟中國電信擔任CTO以及首席科學家的李學龍。

作為AI領域Fellow大滿貫選手、“多模態(tài)認知計算”的提出者，他將帶領電信人工智能研究院，繼續(xù)開展基礎、前沿研究。

最后，我們了解到，其實不止于AI和大模型，中國電信在很多技術上都進行了投入，并且也取得了同行優(yōu)勢。

例如量子通信，中國電信不久前發(fā)布了具備“量子優(yōu)越性”能力的“天衍”量子計算云平臺，此前還開通了國內規(guī)模最大、用戶最多、應用最全的量子保密通信城域網(wǎng)，并主導制定了中央企業(yè)第一牽頭立項的7項量子通信行業(yè)標準（含團標）中的5項。

再例如在新一代信息通信技術上，中國電信發(fā)布了全球首個支持消費級5G終端雙向語音和短信的運營級產品。

可以看出，中國電信雖為傳統(tǒng)運營商，但在技術上一貫都很重視，并且在其中的投入可能比我們想象得還要深。

因此，對于本段提出的問題：

為什么中國電信能做到央企中第一個發(fā)布大模型？

答案也就情理之中了。