2025年大模型與Transformer架構(gòu)：技術(shù)前沿與未來趨勢報告 精華
在人工智能的宏大版圖中，Transformer 架構(gòu)無疑是一顆璀璨的明星。它的出現(xiàn)，徹底改變了自然語言處理、計算機(jī)視覺等諸多領(lǐng)域的發(fā)展軌跡?！?025 年大模型與Transformer架構(gòu)：技術(shù)前沿與未來趨勢報告》深入剖析了 Transformer 架構(gòu)的前世今生、優(yōu)勢局限以及未來走向，為我們?nèi)娉尸F(xiàn)了這一架構(gòu)在 AI 領(lǐng)域的核心地位與無限潛力。
一、Transformer 架構(gòu)誕生的靈感源泉
Transformer 架構(gòu)的誕生深受人類大腦信息處理機(jī)制的啟發(fā)。人類大腦在漫長的進(jìn)化過程中，逐漸發(fā)展出一套極為高效的信息處理系統(tǒng)。隨著神經(jīng)元數(shù)量不斷增多、類型日益豐富、連接方式愈發(fā)復(fù)雜以及大腦區(qū)域持續(xù)擴(kuò)展，大腦得以在有限資源條件下，實現(xiàn)對海量信息的高效處理。其中，注意力機(jī)制發(fā)揮著舉足輕重的作用。它就像大腦的 “聚光燈”，能將有限的計算資源精準(zhǔn)地聚焦于重要任務(wù)，使大腦迅速分析關(guān)鍵信息并做出合理決策。
在人工智能領(lǐng)域，研究人員從人類大腦的注意力機(jī)制中獲得靈感，開發(fā)出 “自注意力機(jī)制”。該機(jī)制通過計算輸入序列各部分之間的相似度，并為每個部分分配不同權(quán)重，進(jìn)而更精準(zhǔn)地理解句子含義。以理解一句話為例，自注意力機(jī)制能綜合考量整句話的內(nèi)容以及每個單詞間的關(guān)聯(lián)，大大提升了對信息的理解能力。可以說，人工智能中的自注意力機(jī)制與人類大腦的注意力機(jī)制在功能上有著異曲同工之妙，都是在有限資源下高效處理信息、優(yōu)化決策過程。這一靈感的巧妙借鑒，為 Transformer 架構(gòu)的誕生奠定了堅實的理論基石。
二、Transformer 架構(gòu)的崛起之路
2017 年，Google Brain 團(tuán)隊在《Attention Is All You Need》這一開創(chuàng)性論文中提出了 Transformer 架構(gòu)。一經(jīng)問世，它便在自然語言處理領(lǐng)域迅速崛起，占據(jù)主導(dǎo)地位，并逐漸拓展至圖像處理、語音識別等眾多其他領(lǐng)域。
Transformer 架構(gòu)主要由編碼器和解碼器兩大部分構(gòu)成。編碼器包含輸入嵌入、位置編碼、多頭注意力、前饋網(wǎng)絡(luò)、殘差連接與層歸一化等組件；解碼器則涵蓋輸出嵌入、位置編碼、掩碼多頭注意力、編碼器 - 解碼器注意力、前饋網(wǎng)絡(luò)、殘差連接與層歸一化，最后經(jīng)線性層和 Softmax 層輸出最終結(jié)果。
Transformer 架構(gòu)的核心亮點在于自注意力機(jī)制和多頭注意力機(jī)制。自注意力機(jī)制賦予模型強(qiáng)大的能力，使其能夠同時計算輸入序列中所有位置之間的相互關(guān)系權(quán)重，并據(jù)此加權(quán)生成每個位置的特征表示。從數(shù)學(xué)角度來看，注意力機(jī)制將一個查詢（Query）和一組鍵值對（Key - Value）映射到一個輸出，輸出是計算值（Value）的加權(quán)和，而權(quán)重則基于查詢與相應(yīng)鍵之間的兼容性函數(shù)計算得出。
多頭注意力機(jī)制則是在單一注意力機(jī)制基礎(chǔ)上的創(chuàng)新拓展。它通過構(gòu)建多個并行的注意力機(jī)制組合，顯著拓寬了模型的視野。這使得模型能夠從多個不同角度同時關(guān)注輸入信息，進(jìn)而捕捉到更為豐富的特征和關(guān)系。多頭注意力機(jī)制不僅增強(qiáng)了模型對序列中依賴關(guān)系的學(xué)習(xí)能力，還有效緩解了單一注意力機(jī)制可能出現(xiàn)的有效分辨率降低問題，極大地提升了模型的整體性能和準(zhǔn)確性。
三、Transformer 架構(gòu)的應(yīng)用場景
- 語言模型：
GPT 系列：如 GPT-3、GPT-4 等，具有驚人的語言生成能力和通用性，能生成類人的文本，回答各種問題，甚至參與創(chuàng)意寫作。例如，用戶可以與 GPT 進(jìn)行對話，獲取信息、尋求建議等。
BERT：可用于文本分類、問答系統(tǒng)等任務(wù)。它能夠理解上下文語義，在問答任務(wù)中準(zhǔn)確理解問題并給出高質(zhì)量答案。
- 機(jī)器翻譯：谷歌將 Transformer 應(yīng)用于其搜索引擎和翻譯服務(wù)，提升了翻譯的準(zhǔn)確性和質(zhì)量。用戶在使用谷歌翻譯時能得到更精準(zhǔn)的翻譯結(jié)果。
- 預(yù)測文本：當(dāng)在手機(jī)鍵盤上輸入信息時看到的預(yù)測文本建議，可能就是 Transformer 的功勞。它能根據(jù)輸入的部分內(nèi)容預(yù)測接下來可能輸入的詞語。
- 語音識別：在智能音箱的語音識別中發(fā)揮作用，使得語音助手變得更加智能和實用。例如，能夠更準(zhǔn)確地識別用戶的語音指令并做出相應(yīng)的反應(yīng)。
- 跨領(lǐng)域應(yīng)用：
- DALL·E：從文本描述中生成圖像，展示了 Transformer 在圖像生成領(lǐng)域的應(yīng)用。
- GitHub Copilot：通過生成代碼片段來協(xié)助開發(fā)者，提高編程效率。
- 生物信息學(xué)：研究人員使用 Transformer 來分析蛋白質(zhì)序列，幫助預(yù)測蛋白質(zhì)的結(jié)構(gòu)和功能，這對藥物開發(fā)和疾病研究具有重要意義。
- 音樂生成：AI 作曲系統(tǒng)采用 Transformer 架構(gòu)，能夠創(chuàng)作出令人驚嘆的音樂作品。
- 解決數(shù)學(xué)問題：Meta AI 的研究發(fā)現(xiàn)，Transformer 可以用于解決尋找全局李雅普諾夫函數(shù)的問題。例如，通過后向生成技術(shù)訓(xùn)練模型，在穩(wěn)定性未知的隨機(jī)動力系統(tǒng)上，能找到新的李亞普諾夫函數(shù)，其準(zhǔn)確率超過 80%，而碩士生級別的人類數(shù)學(xué)家在該任務(wù)上的準(zhǔn)確率不到 10%。
- 視頻生成：OpenAI 推出的 Sora 模型使用 Transformer 架構(gòu)，可根據(jù)文本指令創(chuàng)建近似現(xiàn)實且富有想象力的場景，生成多種風(fēng)格、不同畫幅、最長為一分鐘的高清視頻。它還能夠根據(jù)靜態(tài)圖像生成視頻，或?qū)ΜF(xiàn)有視頻進(jìn)行擴(kuò)展或填充缺失的幀。
- 自動提示工程系統(tǒng)：北京大學(xué) - 百川聯(lián)合實驗室提出的 PAS 自動提示工程系統(tǒng)，基于 Transformer 架構(gòu)。它能夠?qū)τ脩糨斎脒M(jìn)行簡潔而有效的補(bǔ)充，在多個基準(zhǔn)測試中表現(xiàn)遠(yuǎn)超既有模型，且所需數(shù)據(jù)量更少。例如，在處理 “如果樹上有 10 只鳥，其中一只被射死了，地上有多少只鳥？” 的問題時，PAS 系統(tǒng)通過補(bǔ)充提示詞，引導(dǎo)模型成功規(guī)避邏輯陷阱，展示清晰的推理過程并給出正確答案。
四、Transformer 架構(gòu)的顯著優(yōu)勢
（一）處理長距離依賴與并行計算的卓越能力
Transformer 模型借助位置編碼，為輸入序列中的各元素賦予順序信息，使其能夠清晰區(qū)分不同位置的元素，從而在處理長距離依賴問題上表現(xiàn)卓越。對比 Transformer 和 LSTM 在不同參數(shù)數(shù)量和上下文長度下的測試損失可以發(fā)現(xiàn)，Transformer 在處理長上下文時優(yōu)勢明顯，能夠更好地利用長上下文信息。而且，隨著參數(shù)和上下文長度的增加，其性能提升更為顯著。與 RNN/LSTM 不同，Transformer 可同時處理所有標(biāo)記，有效避免了信息衰減或消失的問題，并且能夠充分發(fā)揮 GPU 等現(xiàn)代計算設(shè)備的并行計算能力，大幅提升訓(xùn)練效率。例如，在處理百詞長句時，RNN 需要逐詞依次處理，而 Transformer 則可一次性完成，大大縮短了處理時間。
（二）推動模型高效訓(xùn)練與規(guī)模拓展的強(qiáng)大動力
Transformer 的并行計算優(yōu)勢為模型訓(xùn)練帶來了極大的便利，顯著提升了訓(xùn)練效率。在處理大規(guī)模數(shù)據(jù)集，如語言模型預(yù)訓(xùn)練、機(jī)器翻譯等任務(wù)時，它能夠在更短的時間內(nèi)完成訓(xùn)練。以 GPT 系列模型為例，其快速預(yù)訓(xùn)練便得益于 Transformer 架構(gòu)的這一優(yōu)勢。訓(xùn)練效率的提高進(jìn)一步推動了 Transformer 模型規(guī)模的不斷擴(kuò)大，更大規(guī)模的模型能夠?qū)W習(xí)到更豐富的特征和復(fù)雜模式。近年來，像 GPT - 3、Megatron - LM 等超大規(guī)模 Transformer 模型相繼出現(xiàn)，在自然語言處理領(lǐng)域取得了突破性成果，不斷刷新人們對語言模型能力的認(rèn)知。
（三）跨模態(tài)應(yīng)用的廣泛適應(yīng)性
Transformer 架構(gòu)憑借其高度的靈活性，成為眾多非自然語言處理領(lǐng)域先進(jìn)模型構(gòu)建的基礎(chǔ)框架。它具備一項關(guān)鍵能力，即能夠?qū)⒉煌B(tài)的數(shù)據(jù)映射到統(tǒng)一的特征表示空間。在多模態(tài)任務(wù)中，以文本與圖像處理為例，Transformer 首先將文本數(shù)據(jù)轉(zhuǎn)化為詞向量，同時把圖像數(shù)據(jù)轉(zhuǎn)換為像素特征向量。經(jīng)過這一轉(zhuǎn)換過程，來自不同模態(tài)的特征向量便能在同一特征空間內(nèi)進(jìn)行高效處理與交互。相比之下，Transformer 的前期架構(gòu)，如 CNN 雖然在處理視覺數(shù)據(jù)方面表現(xiàn)出色，在圖像處理任務(wù)中有強(qiáng)大的優(yōu)勢，但跨模態(tài)信息的融合能力相對較弱；RNN/LSTM 雖適合處理序列數(shù)據(jù)，尤其是文本和語音數(shù)據(jù)，但在跨模態(tài)任務(wù)中的長程依賴處理和效率方面存在不足。Transformer 這種統(tǒng)一的特征表示方式，極大地降低了不同模態(tài)數(shù)據(jù)融合與比較的復(fù)雜度，有力地助力多模態(tài)模型更加高效地整合和分析來自多種數(shù)據(jù)源的豐富信息。
五、Transformer 架構(gòu)面臨的挑戰(zhàn)
盡管 Transformer 架構(gòu)取得了巨大的成功，但它并非完美無缺，在發(fā)展過程中也面臨著一些挑戰(zhàn)。
（一）居高不下的計算復(fù)雜度
自注意力機(jī)制的計算復(fù)雜度為，其中 N 代表序列長度，d 表示 token 嵌入的維度。這意味著 Transformer 模型的計算復(fù)雜度會隨著輸入序列長度（token 數(shù)量）的增加呈二次方增長。當(dāng)處理長序列數(shù)據(jù)時，這種高計算復(fù)雜度會導(dǎo)致計算資源的大量消耗，對硬件性能提出了極高的要求，在一定程度上限制了模型的應(yīng)用范圍。
（二）高昂的訓(xùn)練和部署成本
隨著基于 Transformer 架構(gòu)的模型規(guī)模不斷擴(kuò)大，訓(xùn)練和部署成本也隨之大幅增加。在計算資源方面，這類模型不僅需要大量的計算資源來支撐復(fù)雜的運(yùn)算，還對并行處理能力有著較高的要求。訓(xùn)練成本不僅要涵蓋高性能的 GPU，還需要大量的存儲空間。并且，隨著序列長度的增加，其平方級的擴(kuò)展會導(dǎo)致內(nèi)存使用量急劇上升，對內(nèi)存的需求也變得極為龐大。這使得訓(xùn)練和部署 Transformer 模型的成本居高不下，在一些資源受限的場景中，其應(yīng)用受到了明顯的限制。
（三）長序列應(yīng)用的局限性
計算復(fù)雜度和計算成本帶來的直接影響是 Transformer 在長序列應(yīng)用方面受到限制。雖然 Transformer 能夠精準(zhǔn)捕捉短距離的文本關(guān)系，但由于其注意力機(jī)制的計算復(fù)雜度會隨著序列長度呈二次增長，處理長文本時的計算成本會變得難以承受。因此，大部分基于 Transformer 架構(gòu)的大模型會將支持的上下文長度限定在一定范圍內(nèi)。盡管目前研究人員意識到這一局限性后，對注意力機(jī)制等方面進(jìn)行了改進(jìn)，使得上下文長度有所拓展，但與一些新興架構(gòu)相比，仍存在一定差距。
六、Transformer 架構(gòu)的挑戰(zhàn)者
面對 Transformer 架構(gòu)的局限性，研究人員積極探索創(chuàng)新，提出了多種潛在的替代架構(gòu)，這些架構(gòu)各具特色，為人工智能的發(fā)展帶來了新的思路和方向。
（一）RetNet：融合創(chuàng)新的架構(gòu)典范
RetNet 引入了獨特的多尺度保留機(jī)制（Retention）來替代多頭注意力，巧妙地融合了 RNN 和 Transformer 的優(yōu)點。它具有并行、循環(huán)和分塊循環(huán)表征三種計算范式。并行表征使得訓(xùn)練能夠并行化，充分利用 GPU 設(shè)備的強(qiáng)大計算能力，加快訓(xùn)練速度；循環(huán)表征法在內(nèi)存和計算方面實現(xiàn)了高效的 O (1) 推理，大大降低了部署成本和延遲，并且無需鍵值緩存技巧，簡化了實現(xiàn)過程；分塊循環(huán)表征法則能夠高效地進(jìn)行長序列建模，通過對每個局部塊進(jìn)行并行編碼提高計算速度，同時對全局塊進(jìn)行循環(huán)編碼節(jié)省 GPU 內(nèi)存。
RetNet 架構(gòu)在訓(xùn)練過程中展現(xiàn)出了顯著的優(yōu)勢，相比標(biāo)準(zhǔn) Transformer 能夠節(jié)省 25 - 50% 的內(nèi)存，實現(xiàn) 7 倍的加速，在高度優(yōu)化的 Flash Attention 方面也具有優(yōu)勢。在推理階段，其推理延遲對批大?。╞atch size）不敏感，能夠?qū)崿F(xiàn)巨大的吞吐量。對于 7B 模型和 8k 序列長度，其解碼速度是帶鍵值緩存的 Transformers 的 8.4 倍，同時內(nèi)存節(jié)省 70%。然而，作為一種融合了 RNN 特點的架構(gòu)，RetNet 的建模長距離依賴能力仍有待進(jìn)一步驗證，目前在實際落地應(yīng)用方面也相對較少，需要更多的實踐探索和優(yōu)化。
（二）Mamba：多框架融合的大膽嘗試
Mamba 創(chuàng)新性地集中了循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的循環(huán)框架、Transformer 的并行計算和注意力機(jī)制、狀態(tài)空間模型（SSM）的線性特性。它引入了一個簡單而有效的選擇機(jī)制，能夠根據(jù)輸入對 SSM 進(jìn)行重新參數(shù)化，從而在濾除不相關(guān)信息的同時，無限期地保留必要和相關(guān)的數(shù)據(jù)。Mamba 還包含一種硬件感知型算法，采用掃描（scan）而非卷積來循環(huán)地計算模型，大大提升了計算速度。后續(xù)的迭代版本 Mamba - 2 利用結(jié)構(gòu)化空間狀態(tài)對偶（SSD/Structured Space - State Duality）構(gòu)建了一個穩(wěn)健的理論框架，使得原本為 Transformer 開發(fā)的算法和系統(tǒng)優(yōu)化技術(shù)能夠遷移應(yīng)用于 SSM。
Mamba 架構(gòu)以其線性增長的低計算開銷和硬件感知型算法，在處理長序列數(shù)據(jù)方面表現(xiàn)出色，顯著提升了計算速度和性能。與 Transformer 相比，Mamba 的計算開銷隨序列長度線性增長，這使得它能夠處理更長的文本序列，同時大幅降低計算成本。在 A100GPU 上，Mamba 使用掃描進(jìn)行循環(huán)計算，能夠?qū)⒂嬎闼俣忍嵘?3 倍，進(jìn)一步增強(qiáng)了其在處理長序列數(shù)據(jù)時的效率和性能。不過，Mamba 架構(gòu)也存在一些問題，如記憶丟失、難以泛化到不同任務(wù)、在復(fù)雜模式方面的表現(xiàn)不及基于 Transformer 的語言模型等。但開源的研究社區(qū)為 Mamba 架構(gòu)提出了許多改進(jìn)方案，隨著研究的不斷深入，其性能有望得到進(jìn)一步優(yōu)化。
（三）RWKV：RNN 變體的新突破
RWKV 是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的一個創(chuàng)新變體。它的架構(gòu)由一系列堆疊的殘差塊組成，每個殘差塊包含具有循環(huán)結(jié)構(gòu)的時間混合（time - mixing）和通道混合（channel - mixing）子塊。其中，token shift 操作是 RWKV 的一大特色，通過將當(dāng)前輸入和上一時間步的輸入進(jìn)行線性插值，模型可以靈活控制每個時間步將多少新信息與舊信息分配給每個頭的接收、鍵、值和門向量。
RWKV 架構(gòu)處于不斷迭代發(fā)展之中。RWKV - 5 引入了多頭的、基于矩陣值的狀態(tài)；RWKV - V6 在 RWKV - V5 的基礎(chǔ)上引入了基于低秩適應(yīng)（LoRA）的動態(tài)遞歸機(jī)制，進(jìn)一步優(yōu)化了 Token Shift 和 time - mixing 過程；最新版本的 RWKV - 7 采用了動態(tài)狀態(tài)演化（Dynamic State Evolution）。隨著版本的不斷更新，基于 RWKV 架構(gòu)的模型在長序列任務(wù)上的表現(xiàn)越來越好，具有恒定的顯存占用、恒定的推理生成速度以及 “無限” 的上下文長度，同時提供免費(fèi)的句嵌入，并且完全不含自注意力機(jī)制。在資源使用方面，RWKV 在運(yùn)行和訓(xùn)練時對 VRAM、CPU、GPU 等資源的需求更低，與較大上下文的 Transformer 相比，其計算需求降低了 10 倍到 100 倍。此外，RWKV 支持以線性方式擴(kuò)展到任何上下文長度，而 Transformer 則是以二次方擴(kuò)展。在答案質(zhì)量和泛化能力方面，RWKV 的表現(xiàn)與 Transformer 架構(gòu)相當(dāng)。然而，RWKV 基底模型對提示詞（prompt）的格式非常敏感，提示詞的格式對生成結(jié)果有較大影響。并且由于架構(gòu)設(shè)計的原因，RWKV 模型在需要回顧的任務(wù)上表現(xiàn)較弱，需要合理地對提示詞進(jìn)行排序，以確保模型能夠更好地理解和執(zhí)行任務(wù)。
（四）Hyena：高效低復(fù)雜度的全新嘗試
Hyena 由兩個高效的二次基元遞歸定義的算子 —— 交織隱式參數(shù)化的長卷積和數(shù)據(jù)控制的門控組成，構(gòu)建了一個高效、靈活且計算復(fù)雜度低的注意力替代算法，旨在取代 Transformer 架構(gòu)中的注意力函數(shù)。Hyena 算子定義了兩種高效的亞二次基本操作：隱式長卷積和數(shù)據(jù)控制的對角矩陣乘法。遞歸深度決定算子大小，Hyena 可表達(dá)為與數(shù)據(jù)相關(guān)的對角矩陣和托普利茨矩陣的乘積，具有亞線性參數(shù)縮放、不受限制的上下文及比注意力機(jī)制更低的時間復(fù)雜度，其時間復(fù)雜度為 O (n*log (n)) 而不是 O (n2)。
在實際應(yīng)用中，Hyena 能夠顯著縮小與注意力機(jī)制的差距，以較小的算力預(yù)算達(dá)到相同效果。當(dāng)序列長度為 2K 時，Hyena 將訓(xùn)練計算量減少了 20%，達(dá)到了 Transformer 的質(zhì)量；當(dāng)序列長度為 8K 時，Hyena 算子的速度是高度優(yōu)化注意力的兩倍；當(dāng)序列長度為 64K 時，速度更是達(dá)到了 100 倍。不過，Hyena 運(yùn)算不支持 Mask（用于大語言模型預(yù)訓(xùn)練建模過程中的遮蓋），這使得使用 Hyena 架構(gòu)進(jìn)行生成式預(yù)訓(xùn)練建模時不夠靈活。目前，Hyena 的跟進(jìn)應(yīng)用相對較少，未來的應(yīng)用空間還需要進(jìn)一步探索和驗證。
（五）線性注意力機(jī)制：改進(jìn) Transformer 的重要方向
線性注意力機(jī)制通過對傳統(tǒng)注意力機(jī)制中的 Softmax 操作進(jìn)行線性化處理，將時間復(fù)雜度降低到線性（O (N)），有效提高了 Transformer 模型的并行性能，降低了復(fù)雜度，在計算效率和模型表達(dá)能力等方面都具有一定優(yōu)勢。目前，Agent Attention、TransNormerLLM、MiniMax - 01 等模型在這方面的研究都取得了一定進(jìn)展。
Agent Attention 在傳統(tǒng)注意力模塊中引入一組額外的代理向量 A，實現(xiàn)了從鍵 K 和值 V 中高效聚合信息，并將這些信息有效廣播回查詢向量 Q。這一設(shè)計不僅顯著提升了計算效率，還保留了全局上下文建模的強(qiáng)大能力。它成功地將傳統(tǒng)的 Softmax 注意力與線性注意力無縫集成，形成了一種全新的注意力范式，在多種視覺 Transformer 模型及不同視覺任務(wù)中均表現(xiàn)出色，尤其在處理高分辨率場景時效果更為顯著。此外，Agent Attention 還可應(yīng)用于預(yù)訓(xùn)練的大規(guī)模擴(kuò)散模型，有效加速圖像生成過程，并顯著提升生成圖像的質(zhì)量。
TransNormerLLM 是由上海人工智能實驗室和 OpenNLPLab 開發(fā)的首個線性注意力 Transformer 大模型。該模型完全摒棄了傳統(tǒng)的 Softmax 注意力機(jī)制，轉(zhuǎn)而采用線性注意力機(jī)制，將 Softmax 注意力分解為多個線性運(yùn)算，從而將計算復(fù)雜度從平方級別降低到線性級別，極大地提高了模型的效率，使其能夠處理更長的序列。為了進(jìn)一步提高線性注意力的計算效率，TransNormerLLM 引入了 Lightning Attention 技術(shù)。該技術(shù)將輸入數(shù)據(jù)分割成多個塊，并分別進(jìn)行計算，減少了內(nèi)存訪問次數(shù)，提高了計算速度。研究團(tuán)隊表示，Lightning Attention 可以將線性注意力在訓(xùn)練時的速度提升兩倍，并且通過感知 IO 將內(nèi)存用量減少 4 倍。
MiniMax - 01 系列模型首次將線性注意力機(jī)制擴(kuò)展到商用模型的級別。MiniMax - Text - 01 架構(gòu)以結(jié)構(gòu)化的方式整合了線性注意力和 Softmax 注意力機(jī)制。通過使用線性注意力，原生 Transformer 的計算復(fù)雜度可從 O (N2) 大幅下降到 O (N)?；?Lightning Attention，MiniMax 還提出了一種 Hybrid - lightning 方法，即每隔 8 層將 Lightning Attention 替換成 Softmax 注意力，這樣既解決了 Softmax 注意力的效率問題，又提升了 Lightning Attention 的 scaling 能力。
不過，線性注意力相比 Softmax 注意力在建模長距離依賴能力方面仍存在一定差距，目前相關(guān)研究正在著重解決這一問題，以進(jìn)一步提升線性注意力機(jī)制的性能。
（六）DeepSeek：探索大語言模型的創(chuàng)新先鋒
DeepSeek 作為大語言模型領(lǐng)域的重要參與者，在架構(gòu)設(shè)計、技術(shù)創(chuàng)新以及實際應(yīng)用方面展現(xiàn)出獨特的思路與潛力，致力于在提升性能的同時，突破傳統(tǒng)模型的局限。
DeepSeek 的核心在于其基于混合專家（MoE）的創(chuàng)新架構(gòu)設(shè)計。以 DeepSeek-V3 為例，這是一款參數(shù)量高達(dá) 6710 億的 MoE 模型，激活規(guī)模為 370 億 。它通過精心設(shè)計的負(fù)載均衡策略和訓(xùn)練目標(biāo)，實現(xiàn)了大規(guī)模 MoE 訓(xùn)練的高效性。在訓(xùn)練過程中，借助算法、框架和硬件的協(xié)同設(shè)計，確保模型能夠充分利用計算資源，提升訓(xùn)練效率。同時，DeepSeek 引入了從 DeepSeek-R1 系列模型中提取推理能力的創(chuàng)新方法，在保持對輸出風(fēng)格和長度有效控制的前提下，增強(qiáng)了模型的推理性能。此外，模型還采用了如多頭潛在注意力（MLA）等先進(jìn)技術(shù)，降低了顯存占用，進(jìn)一步優(yōu)化了模型的運(yùn)行效率。
在性能優(yōu)勢上，DeepSeek 表現(xiàn)卓越。在眾多測評任務(wù)中，它達(dá)到了開源模型的領(lǐng)先水平（sota），甚至能與頂尖的閉源模型相抗衡。在知識類任務(wù)，像 MMLU（大規(guī)模多任務(wù)語言理解評估）和 GPQA（通用問題回答）中，DeepSeek 展現(xiàn)出強(qiáng)大的知識儲備和理解能力；在數(shù)學(xué)競賽類任務(wù)，如 AIME 2024（美國數(shù)學(xué)邀請賽）、CNMO 2024（中國數(shù)學(xué)奧林匹克競賽相關(guān)任務(wù)模擬評估）中，也有出色發(fā)揮，體現(xiàn)了其良好的邏輯推理和問題解決能力；在代碼生成任務(wù)方面，DeepSeek 能夠生成高質(zhì)量、符合規(guī)范的代碼，滿足開發(fā)者的多種需求。而且，與其他同級別模型相比，DeepSeek 的訓(xùn)練成本大幅降低，例如 DeepSeek-V3 的訓(xùn)練成本僅為 Claude-3.5-Sonnet 的 9%。其生成速度也從 20TPS 提升至 60TPS，為用戶帶來了更流暢的交互體驗。同時，DeepSeek 提供了價格優(yōu)惠的 API 服務(wù)，降低了開發(fā)者和企業(yè)的使用門檻，并且全系列模型開源且免費(fèi)商用，極大地促進(jìn)了技術(shù)的傳播與社區(qū)的協(xié)作創(chuàng)新。
然而，DeepSeek 并非十全十美。在實際應(yīng)用中，它存在一些有待改進(jìn)的地方。例如，模型在自我認(rèn)知方面存在偏差，DeepSeek-V3 曾出現(xiàn)錯誤地自稱是 ChatGPT 的情況，這反映出其在身份識別和信息準(zhǔn)確性方面需要優(yōu)化。在提示詞適應(yīng)性上，DeepSeek 對提示詞格式較為敏感，不同的提示詞表述方式可能導(dǎo)致模型輸出結(jié)果出現(xiàn)較大差異，這在一定程度上影響了模型使用的穩(wěn)定性和通用性。在功能拓展方面，面對多模態(tài)信息處理、語音溝通以及視頻理解等復(fù)雜任務(wù)，DeepSeek 的表現(xiàn)還有較大的提升空間，目前它在這些領(lǐng)域的功能相對薄弱，難以滿足用戶多樣化的需求。此外，在處理某些復(fù)雜或特定問題時，DeepSeek 可能會給出錯誤答案，影響了其在專業(yè)領(lǐng)域和高精度任務(wù)中的應(yīng)用效果。
總體而言，DeepSeek 通過創(chuàng)新的架構(gòu)和技術(shù)在大語言模型領(lǐng)域取得了顯著進(jìn)展，為推動行業(yè)發(fā)展提供了新的思路和方向。盡管目前存在一些不足，但隨著技術(shù)的不斷迭代和優(yōu)化，有望在未來進(jìn)一步提升性能，拓展應(yīng)用場景，在人工智能領(lǐng)域發(fā)揮更大的價值。
七、Transformer 架構(gòu)的未來展望
目前，Transformer 架構(gòu)的未來發(fā)展主要有兩條路徑。一條是被更先進(jìn)的全新架構(gòu)所替代，如 RetNet、Mamba 等新興架構(gòu)在計算復(fù)雜度、內(nèi)存使用、推理速度等方面展現(xiàn)出了潛在的優(yōu)勢，有可能在未來成為主流架構(gòu)，推動人工智能技術(shù)實現(xiàn)新的跨越。另一條路徑是在原有架構(gòu)基礎(chǔ)上，通過優(yōu)化注意力機(jī)制等方式進(jìn)行升級。例如，采用線性注意力機(jī)制等改進(jìn)方法，能夠有效降低計算復(fù)雜度，提高模型效率，使其在現(xiàn)有資源條件下發(fā)揮出更大的性能優(yōu)勢。
從 AI 大模型的整體發(fā)展方向來看，一方面，研究人員可能會探索全新的基礎(chǔ)理論和模型架構(gòu)，從根本上顛覆現(xiàn)有技術(shù)體系，帶來前所未有的創(chuàng)新突破。另一方面，也會在現(xiàn)有技術(shù)框架內(nèi)深入挖掘潛力，比如優(yōu)化參數(shù)高效化，使模型能夠在更少的參數(shù)下實現(xiàn)更好的性能；開發(fā)更智能的訓(xùn)練方法，提高訓(xùn)練效率和模型質(zhì)量；降低對數(shù)據(jù)和算力的依賴，讓 AI 技術(shù)更加可持續(xù)發(fā)展。無論選擇哪條路徑，最終的目標(biāo)都是實現(xiàn)更高的性能、更強(qiáng)的泛化能力、更低的資源消耗，推動 AI 技術(shù)在更多實際場景中的廣泛應(yīng)用，讓 AI 更加貼近人們的生活，實現(xiàn)可持續(xù)的普惠化發(fā)展。
張亞勤院士認(rèn)為 Transformer 可能在未來五年內(nèi)被新技術(shù)逐步重構(gòu)；Andrej Karpathy 則大膽預(yù)測 Transformer 有望超越人腦等。這些觀點和研究都表明，在未來，隨著技術(shù)的持續(xù)進(jìn)步，Transformer 架構(gòu)及其替代架構(gòu)將不斷演進(jìn)和完善。它們之間的相互競爭與融合，將為人工智能的發(fā)展注入源源不斷的動力，創(chuàng)造出更多令人期待的可能性。無論是在自然語言處理領(lǐng)域?qū)崿F(xiàn)更加精準(zhǔn)和智能的交互，還是在計算機(jī)視覺領(lǐng)域帶來更強(qiáng)大的圖像理解和生成能力，Transformer 架構(gòu)及其相關(guān)技術(shù)都將發(fā)揮至關(guān)重要的作用，引領(lǐng)人工智能走向更加輝煌的未來。
本文轉(zhuǎn)載自??歐米伽未來研究所??，作者： 歐米伽未來研究所
