MoE（混合專家）模型最近有多火，不用過多介紹了吧？

作為當(dāng)下最頂尖、最前沿的大模型技術(shù)方向，MoE能在不增加推理成本的前提下，為大模型帶來性能激增。比如，在MoE的加持之下，GPT-4帶來的用戶體驗較之GPT-3.5有著革命性的飛升。

但普通用戶想要體驗MoE的神奇魅力，必須每個月交20美元申請賬號。

那么……有沒有免費的MoE讓我用用呢？

有！

超級無門檻、人人免費玩的MoE大模型來了！

昆侖萬維剛剛發(fā)布最新發(fā)布的天工2.0大模型，在千億參數(shù)規(guī)?；A(chǔ)上采用和GPT-4同款的MoE混合專家結(jié)構(gòu)，具備強大多模態(tài)能力，支持最高100K超長上下文窗口（超過15萬個漢字），應(yīng)對復(fù)雜任務(wù)的能力更強，模型響應(yīng)速度更快。

搭載天工2.0大模型的新版天工AI智能助手APP，現(xiàn)在就能在手機應(yīng)用商店免費下載使用。

由此，天工AI智能助手也成為國內(nèi)首個搭載MoE架構(gòu)并面向全體C端用戶免費開放的AI應(yīng)用。

先來看看效果：

上傳Excel，即可一鍵分析數(shù)據(jù)，并制作圖表。

女朋友生氣了不好哄，它也能幫你想到話術(shù)，還會提醒注意事項。

而且還會分析面相？AI奇怪の技能點增加了……

采用GPT-4同款架構(gòu)

天工AI智能助手的升級，關(guān)鍵來自最新升級的天工2.0大模型。

它采用MoE（專家混合模型）架構(gòu)，是GPT-4的同款，也被認為是GPT-4能力飛升的關(guān)鍵。

MoE是一個并行的前饋神經(jīng)網(wǎng)絡(luò)，主要由門控模型/路由器（Gating Model/Router）和一組專家模型（Experts Models）構(gòu)成，當(dāng)數(shù)據(jù)輸入門控模型/路由器時，系統(tǒng)會根據(jù)任務(wù)類型將每個token分配給一個或多個專家模型，讓每個專家模型可以專注于處理該部分數(shù)據(jù)，從而提升模型整體性能。

△MoE架構(gòu)示例（LIMoE）

業(yè)界猜測GPT-4可能包含1.76萬億個參數(shù)，包含16個專家模型，每個模型大約有1110億個參數(shù)。其中可能有Python專家、高級圖像解析專家、事實核查專家、安全和道德專家、情緒分析專家等。

這種精確的專家模型選擇和分工機制，讓大模型理解能力、靈活性、準確性、安全性都大幅提升，由此也成為最近一段時間以來幾乎最熱門的大模型趨勢，國內(nèi)外大模型玩家都在紛紛跟進。

最新升級的天工大模型2.0也是采用了MoE架構(gòu)。帶來的主要提升有三方面：

• 應(yīng)對復(fù)雜任務(wù)能力更強
• 速度更快、效率更高
• 靈活多樣，可擴展性更強

應(yīng)對復(fù)雜任務(wù)方面，天工2.0集成的多個專家模型都能夠針對不同的數(shù)據(jù)分布和構(gòu)建模式進行搭建，提升大模型在各個細分領(lǐng)域的專業(yè)能力，然后再進一步整合各個專家模型的輸出結(jié)果，從而顯著提升復(fù)雜任務(wù)、多模態(tài)任務(wù)方面的表現(xiàn)。

同時，得益于MoE架構(gòu)稀疏化的特點，模型在每次回答問題時只需激活對應(yīng)部分的網(wǎng)絡(luò)，相較于同等參數(shù)規(guī)模的稠密模型，計算效率更高。

天工2.0呈現(xiàn)出的高稀疏性特點，使其能更快速響應(yīng)用戶。

在靈活性方面，稀疏化模型使得天工2.0能夠在不增加計算量的前提下顯著擴展模型規(guī)模，在同等計算資源下獲得更強性能。并通過增加專家模型數(shù)量、調(diào)整專家模型的權(quán)重配比，天工2.0能夠極大豐富模型的可擴展性。

而除了最新發(fā)布的千億級天工2.0以外，在過去半年多時間里，天工還推出了百億級開源大模型“天工Skywork-13B”、AI Agent開發(fā)平臺“天工SkyAgents”、多模態(tài)大語言模型“天工Skywork-MM”等。

這些模型能力，如今在最新版天工AI智能助手上都有體現(xiàn)。主要包括：

• 多模態(tài)能力
• 超長上下文
• 準確理解關(guān)鍵詞語義

多模態(tài)方面，天工AI智能助手新增了圖文對話能力，能更好理解視覺素材，進行圖文對話、圖文創(chuàng)作等任務(wù)，并且提升了圖像生成質(zhì)量。

同時還能生成圖文并茂的回答內(nèi)容。

去年9月天工多模態(tài)大模型Sky-MMv1發(fā)布。

它由一個視覺編碼器、一個可學(xué)習(xí)采樣器模塊和一個經(jīng)LoRA調(diào)優(yōu)后的大語言模型組成。通過自研Mental Notes技術(shù)，模擬人類認知過程，天工多模態(tài)大模型顯著降低“幻覺”問題，增強中文指令追隨能力、中文相關(guān)場景的識別能力，降低了文化偏見對于多模態(tài)理解造成的限制。

超長上下文方面，天工AI智能助手現(xiàn)在可支持100K上下文（超過15萬漢字），通過擴展技術(shù)可支持200K超長文檔理解。

在InfiniteBench評測中，天工系列大模型10項指標平均分47.5分，超過Claude2，接近GPT-4 128k的52.6分。

在針對超長上下文的“大海撈針”測試中，天工大模型的正確率可以達到100%。

這項測試通過在海量文檔集中插入特定信息，然后對文檔集進行提問，測試模型能否從中找到正確的關(guān)鍵信息，以此可以驗證其長下文信息提取能力。

下圖是天工大模型在“大海撈針”測試中的實驗結(jié)果，橫軸表示token長度，縱軸表示埋入信息在文檔中的深度，天工大模型達到了100%正確率。

最后，天工AI智能助手還具備聯(lián)網(wǎng)智能搜索能力，這部分同樣調(diào)用了大模型作為底層基礎(chǔ)技術(shù)。

據(jù)了解，天工AI搜索在設(shè)計之初就在數(shù)據(jù)集與索引環(huán)節(jié)引入了大模型技術(shù)，能對互聯(lián)網(wǎng)上的海量內(nèi)容進行識別和篩選，屏蔽虛假廣告內(nèi)容，初步清洗出較為純凈、高質(zhì)量的搜索結(jié)果。

△結(jié)果首先參考了央視網(wǎng)的鏈接

并且利用大模型來對用戶搜索指令做Query改寫，深入挖掘用戶真實意圖。

在搜索引擎核心的召回（Match）和排序（Rank）技術(shù)上，大模型能夠模仿人類的識別判斷能力，判斷搜索指令（Query）和被搜索文檔（Doc）是否具有相關(guān)性，并將這些匹配好的相關(guān)性樣本當(dāng)做“教科書案例”讓搜索引擎學(xué)習(xí)，提升搜索引擎性能的同時實現(xiàn)模型側(cè)的端到端迭代。

比如很多時候用戶搜索時都只給出零星的信息，需要大模型對關(guān)鍵字有更好的理解力。

通過引入檢索增強技術(shù)（RAG），還能顯著提高大模型的回答質(zhì)量，并為答案提供可解釋性，避免“胡言亂語”的傾向。

RAG的技術(shù)路徑為：用戶提問——在數(shù)據(jù)庫中檢索相關(guān)答案——系統(tǒng)將用戶的提問及檢索出的相關(guān)答案一起合成Prompt——將Prompt提交給大模型——大模型返回提問結(jié)果。

在如上一系列技術(shù)的加持下，天工AI智能助手也上線了一大波新功能。比如數(shù)據(jù)分析、熱梗百科、圖文對話等。

具體效果究竟如何？我們也來上手體驗了一把~

AI都懂科目三是啥了

新版天工AI智能助手新增了五項能力：

• 熱梗百科
• 數(shù)據(jù)分析
• 圖文對話
• 伴侶小華
• 星座運勢

它們之中很多都具備多模態(tài)能力。比如圖文對話里，可以上傳一張照片讓AI作詩。

它不僅能把握照片中的重點，如河流、高樓、車輛等，還把霧霾美化成了仙境白霧。

新增的數(shù)據(jù)分析功能，同樣具備多模態(tài)能力。

只需上傳相應(yīng)文檔，給出指示，它就能快速繪制出對應(yīng)圖表。

回答一些網(wǎng)絡(luò)熱梗時，天工AI智能助手也能夠圖文并茂。

比如提問“科目三是啥？”

模型能夠準確闡述這個梗的來龍去脈，最后還會附上視頻鏈接。

值得一提的是，AI面對相似的問題，回答也都很有針對性。

比如都是劉德華《恭喜發(fā)財》衍生出來的網(wǎng)絡(luò)用語，但是給出的回答很明確區(qū)分了它們的淵源。

除了以上新增能力，天工AI智能助手在AI畫畫方面，提升了對提示詞的理解力、畫面細節(jié)等。

這不，馬上就要過年了，在家無聊的話，天工AI智能助手里還有個“賺大錢”的機會！

從2月8日開始，天工AI智能助手還將開啟“巧繪龍年”AI繪畫大賽。

只要使用APP內(nèi)“AI繪畫”功能繪制圖畫作品并投稿至活動專區(qū)，即可有機會獲得最高10萬元人民幣的現(xiàn)金大獎。

如何參賽？

在應(yīng)用市場內(nèi)搜索“天工”、點擊下載即可~

AGI讓每個人能更好表達自我

毫無疑問，昆侖萬維是國產(chǎn)大模型的一匹黑馬。

早在去年4月，昆侖萬維就發(fā)布了雙千億級大語言模型“天工”的1.0版本（黑馬入局！昆侖萬維版ChatGPT「天工」通過自家程序員面試，首發(fā)就敢現(xiàn)場演示）。去年8月，昆侖萬維更是推出了國內(nèi)第一款搭載大模型能力的AI搜索（國內(nèi)第一款A(yù)I搜索來了！首發(fā)實測：0廣告支持多輪追問，搜索結(jié)果自動總結(jié)成文）。

而在更早的2020年，昆侖萬維便已入局大模型賽道，累計已投入數(shù)億元人民幣研發(fā)。2022年，昆侖萬維在發(fā)布AIGC全系列算法模型的同時，就開源了百億級參數(shù)模型，積累了廣泛的開發(fā)者好評與社區(qū)共創(chuàng)。

除了“天工1.0”雙千億級大模型、“天工2.0”MoE大模型外，昆侖萬維還圍繞“天工”系列推出了百億級開源大語言模型系列“天工Skywork-13B”、AI Agent開發(fā)平臺“天工SkyAgents”、多模態(tài)大語言模型“天工Skywork-MM”等前沿AI產(chǎn)品，并已逐步構(gòu)建起AI大模型、AI搜索、AI音樂、AI Story、AI游戲等AI業(yè)務(wù)矩陣，是國內(nèi)模型技術(shù)與工程能力最強、布局最全面的人工智能大模型企業(yè)之一。

無論是“天工2.0”與新版“天工AI智能助手”作為國內(nèi)首個搭載MoE架構(gòu)并面向全體C端用戶免費開放的AI應(yīng)用的推出，還是以上種種前沿大模型AI產(chǎn)品的開放，其背后都是昆侖萬維“天工”團隊在大模型領(lǐng)域的深耕與積累。

前沿技術(shù)研發(fā)從來不能一蹴而就，國產(chǎn)大模型的創(chuàng)新也始終道阻且長。

在問到“為什么要把大模型能力向所有C端用戶免費開放？”時，昆侖萬維回答道：

一直以來，昆侖萬維始終秉承著‘實現(xiàn)通用人工智能，讓每個人更好地塑造和表達自我’的公司使命。我們希望不斷降低大模型技術(shù)的應(yīng)用與學(xué)習(xí)門檻，與廣大用戶攜手探索未知世界、共創(chuàng)科技未來。

如今，大模型應(yīng)用落地趨勢已開啟。在可預(yù)見的方向中，以大模型為底座、面向所有人開放使用的超級APP是最被大家期待的成果之一。因為它能在短時間內(nèi)盡可能讓更多人擁抱大模型趨勢，讓AI真的服務(wù)于自己。

整個趨勢也在向著這個方向演進。技術(shù)層面，多模態(tài)、MoE都是當(dāng)下主流，它們從底層加強模型的性能，讓AI能夠在更大程度上理解世界。應(yīng)用層面，各種爆火AI玩法層出不窮，也是為了能讓更多人感受到生成式AI的魅力，并從中探索挖掘人類和大模型更好的交互方式。

天工AI智能助手的升級，正是大模型玩家如何引領(lǐng)趨勢的直接體現(xiàn)。技術(shù)升級+玩法豐富，同時還面向所有人免費開放，把門檻打到最低……在春節(jié)前一炮打響今年的AI應(yīng)用趨勢。

而更值得關(guān)注的是，當(dāng)每個人都能參與到大模型趨勢之中，每個人也就有機會塑造趨勢。

打開APP體驗一把，說不定你喜歡的AI玩法就是下一個現(xiàn)象級爆款呢？