至今為止 Transformer 架構(gòu)依然是 AI 模型的主流架構(gòu)，自從其確立了統(tǒng)治地位后，號稱 Transformer 殺手的各類改進工作就沒有停止過。

在一眾挑戰(zhàn)者中最具影響力的自然是 2023 年社區(qū)爆火的基于結(jié)構(gòu)化的狀態(tài)空間序列模型（SSM）架構(gòu)的 Mamba。

Mamba 的爆火可能和名字有關(guān)，但硬實力確實強大。

在當(dāng)時，Mamba 在語言建模方面可以媲美甚至擊敗 Transformer。而且，它可以隨上下文長度的增加實現(xiàn)線性擴展，其性能在實際數(shù)據(jù)中可提高到百萬 token 長度序列，并實現(xiàn) 5 倍的推理吞吐量提升。

在 Mamba 問世后，涌現(xiàn)出了超多在不同任務(wù)上使用 Mamba 的工作以及一些改進工作，誕生了了 MoE-Mamba、Vision Mamba、VMamba、U-Mamba、MambaByte、MambaOut 等多項工作，被稱為「Transformer 最有力的繼任者」。

但 Mamba 在 2024 年的 ICLR 會議中遭遇了滑鐵盧，最終還是被拒稿。

在 2024 年，在 Mamba 發(fā)布的半年后，Mamba-2 正式發(fā)布，拿下了頂會 ICML 2024。核心層是對 Mamba 的選擇性 SSM 的改進，速度提高了 2-8 倍，同時在語言建模方面繼續(xù)與 Transformers 競爭。

但 Mamba-2 除了讓第一代 Mamba Out 之外，似乎沒能獲得現(xiàn)象級的關(guān)注。

就在最近，Mamba 的第三代迭代工作 Mamba-3 悄悄的出現(xiàn)在了 ICLR 2026，正在盲審環(huán)節(jié)。

• 論文標題：Mamba-3: Improved Sequence Modeling Using State Space Principles
• 論文鏈接：https://openreview.net/pdf?id=HwCvaJOiCj

Mamba-1 使用的是連續(xù)時間動態(tài)模型，并通過「選擇性記憶更新」機制來保留信息，在不依賴注意力機制的情況下實現(xiàn)了高效記憶。

Mamba-2 更進一步，提出狀態(tài)空間更新（SSM）與注意力機制在數(shù)學(xué)上是等價的兩種形式，從而在保持接近 Transformer 性能的同時，大幅提升了在 GPU 上的運行速度。

關(guān)于 Mamba-1 和 Mamba-2 的技術(shù)解析，請參考我們之前的報道。

現(xiàn)在的 Mamba-3 給人的感覺是，這個架構(gòu)終于成熟了。它不僅是注意力機制的替代方案，而是在狀態(tài)演化方式、記憶機制以及硬件并行利用方式上，完成了一次更全面、更統(tǒng)一的設(shè)計。

三大重要改進

Mamba-3 在三個關(guān)鍵領(lǐng)域相對于 Mamba-2 引入了重大改進：

梯形離散化（Trapezoidal Discretization）

研究團隊使用梯形法對底層的連續(xù)時間動力系統(tǒng)進行離散化。最終得到的遞推形式是 Mamba-2 遞推結(jié)構(gòu)的一個更具表達力的超集，并且可以被視為一種卷積。

之前的狀態(tài)更新只考慮區(qū)間起點的信息，而現(xiàn)在會同時結(jié)合起點和終點。

研究團隊將這種新的離散化方式與作用于 B、C 的偏置項結(jié)合使用，發(fā)現(xiàn)這種組合在經(jīng)驗上可以替代語言建模中的短因果卷積。

左圖： 廣義梯形積分法引出的結(jié)構(gòu)化掩碼，是由衰減掩碼與卷積掩碼的乘積構(gòu)成的；右圖： 歐拉方法（使用端點值保持不變）對比梯形積分法（取區(qū)間兩端點的平均值）

復(fù)數(shù)化狀態(tài)空間模型（Complexified State-Space Model）

通過將 Mamba-3 底層的狀態(tài)空間模型視為復(fù)值結(jié)構(gòu)，研究團隊實現(xiàn)了相比 Mamba-2 更具表達力的狀態(tài)更新機制。

這種更新規(guī)則在設(shè)計上仍保持訓(xùn)練和推理的輕量級特性，同時克服了當(dāng)前許多線性模型在狀態(tài)追蹤能力上的不足。研究團隊指出，這種復(fù)數(shù)更新機制等價于一種數(shù)據(jù)依賴的旋轉(zhuǎn)位置編碼，因此可以高效計算。

多輸入多輸出狀態(tài)空間模型（MIMO SSM）

為了提升解碼階段的 FLOP 利用效率，研究團隊將狀態(tài)更新方式從基于外積（outer-product）的形式轉(zhuǎn)換為基于矩陣乘法的形式。從 SSM 的信號處理基礎(chǔ)來看，這一轉(zhuǎn)變正對應(yīng)于從單輸入單輸出（SISO）動態(tài)系統(tǒng)向多輸入多輸出（MIMO）動態(tài)系統(tǒng)的泛化。

Mamba-3 可以多通道同時更新狀態(tài)，極大提升 GPU 并行吞吐效率。

MIMO 形式尤其適合推理階段，因為其額外的表達能力允許在狀態(tài)更新中投入更多計算量，而無需增加狀態(tài)大小，從而不影響速度。

同時，研究團隊也對整體架構(gòu)進行調(diào)整，使其更貼近基線 Transformer 架構(gòu)。Mamba-3 用更常見的 QK-normalization 替換了輸出前投影歸一化機制，并將短卷積設(shè)為可選項。

對比 Mamba-2 與 Mamba-3 的架構(gòu)升級

實證驗證

研究團隊在一系列合成任務(wù)和語言建模任務(wù)上對新模型進行實證驗證：

更好的質(zhì)量（Better Quality）

在標準下游語言建模評測中，Mamba-3 的表現(xiàn)達到或超過 Mamba-2 及其他開源架構(gòu)。例如，Mamba-3-1.5B 在所有下游任務(wù)上的平均準確率優(yōu)于其 Transformer、Mamba-2 和 Gated DeltaNet 對應(yīng)模型。

在使用 100B 規(guī)模的 FineWeb-Edu 語料訓(xùn)練后，對各模型進行下游語言建模評測的結(jié)果。

在參數(shù)規(guī)模匹配的預(yù)訓(xùn)練模型上進行下游語言建模評測結(jié)果，其中包含 Mamba-3 的 MIMO 版本。

更強的能力（Better Capability）

Mamba-3 對 SSM 狀態(tài)的復(fù)數(shù)化使模型能夠解決 Mamba-2 無法處理的合成狀態(tài)追蹤任務(wù)。

通過真實任務(wù)與合成任務(wù)混合評測檢索能力。真實檢索任務(wù)使用數(shù)據(jù)集的完形填空（cloze）變體，并截斷至 2K 長度。

Mamba-3 在關(guān)聯(lián)記憶與問答能力上表現(xiàn)出色，但在半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的信息抽取方面存在不足。此外，Mamba-3 在「大海撈針」（NIAH）任務(wù)上具有很高的準確率，并能夠泛化到其訓(xùn)練上下文之外的場景。

此外，研究團隊表示，基于 RoPE 的高效計算幾乎可以完美解決算術(shù)任務(wù)，而不帶 RoPE 的 Mamba-3 與 Mamba-2 的表現(xiàn)則接近隨機猜測。

更高的推理效率（Better Inference Efficiency）

Mamba-3 的 MIMO 變體在保持相同狀態(tài)規(guī)模的同時，提升了相較于標準 Mamba-3 及其他模型的硬件利用效率。在不增加內(nèi)存需求的前提下實現(xiàn)性能提升，從而推動了推理效率的 Pareto 前沿。

延遲（單位：毫秒）在不同模型、精度設(shè)置以及 d_state 數(shù)值下的對比。在常用的 bf16、d_state = 128 配置下，Mamba-3 的 SISO 和 MIMO 版本都比 Mamba-2 和 Gated DeltaNet 更快。

探索 狀態(tài)大?。ㄍ评硭俣鹊拇碇笜耍?與 預(yù)訓(xùn)練困惑度（性能的代理指標） 之間的關(guān)系。Mamba-3 MIMO 在不增加狀態(tài)大小的前提下推動了 Pareto 前沿。

總結(jié)

Mamba-3 的高效長序列處理能力，使它非常適合應(yīng)用于長文檔理解、科學(xué)時間序列、基因建模等場景 —— 這些領(lǐng)域正是 Transformer 因上下文受限而表現(xiàn)不佳的地方。

由于其線性時間推理且延遲穩(wěn)定，它同樣非常適合用于實時交互場景，例如聊天助手、機器翻譯和語音接口，這些任務(wù)更看重響應(yīng)速度而非模型規(guī)模。

此外，得益于其友好的硬件特性，Mamba-3 有潛力未來運行在本地設(shè)備或邊緣側(cè)，在無需依賴云端的情況下執(zhí)行大模型推理。

更多信息，請參閱原論文。