Kimi發(fā)布新一代注意力架構(gòu)，推理速度提升6倍，KV緩存暴降75%
月之暗面全新發(fā)布的混合線性注意力架構(gòu)，有望解決大語言模型在處理長序列任務(wù)時(shí)面臨的計(jì)算效率和性能瓶頸。

?

當(dāng)前，主流大模型在處理長文本時(shí)存在兩大根本性效率問題。

?

其一是二次方時(shí)間復(fù)雜度，注意力分?jǐn)?shù)的計(jì)算與序列長度的平方成正比，當(dāng)文本長度大幅增加時(shí)，計(jì)算量將呈指數(shù)級(jí)增長。

?

其二是線性增長的KV緩存，在自回歸生成過程中，模型需要緩存過去所有token的鍵和值，對于百萬級(jí)別的長文本，KV緩存會(huì)消耗大量顯存，限制了模型的吞吐量和并發(fā)處理能力。

?

線性注意力通過數(shù)學(xué)變換將計(jì)算復(fù)雜度從二次方降低到線性，但這種效率提升往往伴隨著模型表達(dá)能力的犧牲。

?

盡管近年來線性注意力研究取得進(jìn)展，但純粹的線性結(jié)構(gòu)由于有限的狀態(tài)容量，在需要精確檢索長序列中特定信息的任務(wù)上仍然面臨理論挑戰(zhàn)。
?

因此，當(dāng)前LLMs在處理長序列任務(wù)時(shí)常常面臨計(jì)算效率和性能瓶頸。
?
而今天，Kimi最新開源的注意力架構(gòu)——Kimi Linear則有望解決這一難題。
?

?

Kimi Linear的架構(gòu)創(chuàng)新

?

Kimi Linear采用了一種精巧的3：1混合層級(jí)結(jié)構(gòu)，每三個(gè)Kimi Delta Attention線性注意力層之后，插入一個(gè)全注意力層。

?

KDA層作為模型的主體，負(fù)責(zé)處理大部分的token間交互，保證模型在處理長文本時(shí)的高效率。MLA層則作為周期性的全局信息樞紐，捕捉序列中任意兩個(gè)token之間的依賴關(guān)系，彌補(bǔ)線性注意力在長距離、精細(xì)化信息檢索上的不足。

?

這種混合設(shè)計(jì)使得Kimi Linear在長序列生成過程中，能將內(nèi)存和KV緩存使用量減少高達(dá)75%。在處理百萬級(jí)別上下文長度時(shí)，實(shí)現(xiàn)高達(dá)6.3倍的解碼吞吐量提升。

?

?

核心技術(shù)創(chuàng)新與性能突破

?

Kimi Delta Attention是架構(gòu)的核心創(chuàng)新，這是一種新型的門控線性注意力變體。

?

?

它基于Gated DeltaNet進(jìn)行關(guān)鍵改進(jìn)，通過更精細(xì)的門控機(jī)制實(shí)現(xiàn)對循環(huán)神經(jīng)網(wǎng)絡(luò)有限狀態(tài)記憶的有效利用。KDA采用增量法則，將注意力狀態(tài)更新過程重新解釋為重構(gòu)損失上的在線梯度下降，穩(wěn)定了學(xué)習(xí)過程并提升性能。

?

另一個(gè)引人注目的設(shè)計(jì)是所有全注意力層都不使用任何顯式的位置編碼。模型將編碼位置信息和時(shí)序偏見的全部責(zé)任交給KDA層，這種策略在長文本任務(wù)上表現(xiàn)出更強(qiáng)的魯棒性和外推能力。

?

這一技術(shù)突破對AI應(yīng)用開發(fā)具有深遠(yuǎn)意義。大幅降低的KV緩存意味著在相同硬件條件下，可以處理更長的上下文內(nèi)容，支持更復(fù)雜的長文檔分析和多輪對話場景。解碼速度的顯著提升直接轉(zhuǎn)化為更低的推理成本和更高的系統(tǒng)吞吐量，為AI應(yīng)用的大規(guī)模商業(yè)化部署創(chuàng)造條件。

?

月之暗面已經(jīng)開源了核心代碼，并提供了vLLM集成支持，這將加速技術(shù)在開發(fā)者社區(qū)的普及和應(yīng)用驗(yàn)證。

?

隨著線性注意力技術(shù)的成熟，它有望成為下一代Agent LLM的基石技術(shù)，在長上下文推理、智能助手和多模態(tài)生成等應(yīng)用中發(fā)揮關(guān)鍵作用。
?

當(dāng)前，人工智能技術(shù)正處在快速演進(jìn)階段，計(jì)算效率的突破將直接決定應(yīng)用落地的廣度和深度。

?

Kimi Linear的出現(xiàn)，為行業(yè)提供了處理長文本任務(wù)的新選擇，也預(yù)示著大模型架構(gòu)創(chuàng)新遠(yuǎn)未到達(dá)終點(diǎn)。