2025 年，我們可能會看到第一批 AI Agent 加入勞動力大軍，并對公司的生產(chǎn)力產(chǎn)生實質(zhì)性的影響。

——OpenAI CEO Sam Altman

2025 年，每個公司都將擁有 AI 軟件工程師 Agent，它們會編寫大量代碼。

——Meta CEO Mark Zuckerberg

未來，每家公司的 IT 部門都將成為 AI Agent 的 HR 部門。

—— 英偉達 CEO 黃仁勛

2025 新年伊始，在很多趨勢都還不明朗的情況下，幾位 AI 業(yè)界的重要人物幾乎在同一時間做出了類似的判斷 ——2025 年將是 AI Agent 之年。

沒想到，MiniMax 很快就有了動作：開源了最新的基礎語言模型 MiniMax-Text-01 和視覺多模態(tài)模型 MiniMax-VL-01。

新模型的最大亮點是，在業(yè)內(nèi)首次大規(guī)模實現(xiàn)了新的線性注意力機制，這使得輸入的上下文窗口大大變長：一次可處理 400 萬 token，是其他模型的 20-32 倍。

他們相信，這些模型能夠給接下來一年潛在 Agent 相關應用的爆發(fā)做出貢獻。

為什么這項工作對于 Agent 如此重要？

隨著 Agent 進入應用場景，無論是單個 Agent 工作時產(chǎn)生的記憶，還是多個 Agent 協(xié)作所產(chǎn)生的 context，都會對模型的長上下文窗口提出更多需求。

• 開源地址：https://github.com/MiniMax-AI
• Hugging Face：https://huggingface.co/MiniMaxAI
• 技術(shù)報告：https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf
• 網(wǎng)頁端：https://www.hailuo.ai
• API：https://www.minimaxi.com/platform

一系列創(chuàng)新造就比肩頂尖模型的開源模型

MiniMax-Text-01 究竟是如何煉成的？事實上，他們?yōu)榇诉M行了一系列創(chuàng)新。從新型線性注意力到改進版混合專家架構(gòu)，再到并行策略和通信技術(shù)的優(yōu)化，MiniMax 解決了大模型在面對超長上下文時的多項效果與效率痛點。

MiniMax-Text-01 的架構(gòu)

1. Lightning Attention

目前領先的 LLM 大都基于 Transformer，而 Transformer 核心的自注意力機制是其計算成本的重要來源。為了優(yōu)化，研究社區(qū)可以說是絞盡腦汁，提出了稀疏注意力、低秩分解和線性注意力等許多技術(shù)。MiniMax 的 Lightning Attention 便是一種線性注意力。

通過使用線性注意力，原生 Transformer 的計算復雜度可從二次復雜度大幅下降到線性復雜度，如下圖所示。

MiniMax 的相關技術(shù)報告中寫道，這主要是得益于一種右邊積核技巧（right product kernel trick）。以 2022 年論文《The Devil in Linear Transformer》中的 TransNormer 為例，下圖左側(cè)的 NormAttention 機制可轉(zhuǎn)換成使用「右側(cè)矩陣乘法」的線性變體。

而 Lightning Attention 便是基于 TransNormer 實現(xiàn)的一個 I/O 感知型優(yōu)化版本。

以下是 Lightning Attention 前向通過的算法描述。

基于 Lightning Attention，MiniMax 還提出了一種 Hybrid-lightning，即每隔 8 層將 Lightning Attention 替換成 softmax 注意力，從而既解決了 softmax 注意力的效率問題，也提升了 Lightning Attention 的 scaling 能力。

效果如何？下表給出了根據(jù)層數(shù)  l、模型維度  d、批量大小 b 和序列長度 n 計算注意力架構(gòu)參數(shù)量與 FLOPs 的公式。

可以明顯看出，模型規(guī)模越大，Lightning Attention 與 Hybrid-lightning 相對于 softmax 注意力的優(yōu)勢就越明顯。

2. 混合專家（MoE） 

MoE 相對于密集模型的效率優(yōu)勢已經(jīng)得到了大量研究證明。MiniMax 團隊同樣也進行了一番比較實驗。他們比較了一個 7B 參數(shù)的密集模型以及 2B 激活參數(shù)和 20B 總參數(shù)的 MoE 模型。結(jié)果如下圖所示。

可以看到，在多種基準上，當計算負載一樣時，MoE 模型的表現(xiàn)要大幅優(yōu)于密集模型。

MiniMax 還引入了一個新的 allgather 通信步驟，可解決擴大 MoE 模型的規(guī)模時可能會遇到路由崩潰（routing collapse）問題。

3. 計算優(yōu)化

與許多大模型訓練項目一樣，MiniMax 先通過小規(guī)模實驗上述技術(shù)改進的有效性以及 Scaling Law，然后再開始著手大規(guī)模訓練。MiniMax 為此采用了 1500 到 2500 臺 H800 GPU—— 并且在訓練過程中，具體使用 GPU 數(shù)量會動態(tài)變化。而大規(guī)模訓練都有自己的特有挑戰(zhàn)，MiniMax 開發(fā)了一系列針對性的優(yōu)化技術(shù)。

首先，對于 MoE 架構(gòu)，最主要的優(yōu)化目標是降低其通信負載。尤其是對于采用 all-to-all（a2a）通信的 MoE 模型。MiniMax 的解決方案是一種基于 token 分組的重疊方案。

其次，對于長上下文訓練，一大主要挑戰(zhàn)是難以將真實的訓練樣本標準化到統(tǒng)一長度。傳統(tǒng)的方式是進行填充，但這種方法非常浪費計算。MiniMax 的解決思路是進行數(shù)據(jù)格式化，其中不同樣本會沿序列的維度首尾相連。他們將這種技術(shù)命名為 data-packing。這種格式可盡可能地降低計算過程中的計算浪費。

最后，為了將 Lightning Attention 投入實踐，MiniMax 采用了四項優(yōu)化策略：分批核融合、分離式的預填充與解碼執(zhí)行、多級填充、跨步分批矩陣乘法擴展。

MiniMax-Text-01上下文巨長，能力也夠強

基于以上一系列創(chuàng)新，MiniMax 最終得到了一個擁有 32 個專家共 4560 億參數(shù)的 LLM，每個 token 都會激活其中 459 億個參數(shù)。MiniMax 將其命名為 MiniMax-Text-01。在執(zhí)行推理時，它的上下文長度最高可達 400 萬 token，并且其表現(xiàn)出了非常卓越的長上下文能力。

1. MiniMax-Text-01 基準成績優(yōu)秀

在常見的學術(shù)測試集上，MiniMax-Text-01 基本上能媲美甚至超越 GPT-4o、Claude 3.5 Sonnet 等閉源模型以及 Qwen2.5、DeepSeek v3、Llama 3.1 等 SOTA 開源模型。下面直接上成績。

可以看到，在 HumanEval 上，MiniMax-Text-01 與 Instruct Qwen2.5-72B 相比表現(xiàn)出色。此外，MiniMax-Text-01 在 GPQA Diamond 這樣具有挑戰(zhàn)性問答的數(shù)據(jù)集上取得了 54.4 的成績，超過了大多數(shù)開源指令微調(diào)的 LLM 以及最新版本的 GPT-4o。

MiniMax-Text-01 在 MMLU、IFEval 和 Arena-Hard 等測試中也取得了前三名的成績，展示了其在給定限制條件下，應用全面知識來充分滿足用戶查詢、與人類偏好保持一致的卓越能力?？梢韵胂?，基于最新的模型能力，也給開發(fā)者開發(fā) Agent 應用提供了更好的基礎。

2. 領先的上下文能力

那 MiniMax-Text-01 引以為傲的長上下文能力呢？其優(yōu)勢就更為明顯了。

在長上下文理解任務上，MiniMax 測試了 Ruler 和 LongBench v2 這兩個常見基準。首先在 Ruler 上，可以看到，當上下文長度在 64k 或更短時，MiniMax-Text-01 與其它 SOTA 模型不相上下，而當上下文長度超過 128k 時，MiniMax-Text-01 的優(yōu)勢就明顯顯現(xiàn)出來了。

在 Ruler 上，MiniMax-Text-01 與其它模型的性能比較

同樣，MiniMax-Text-01 在 LongBench v2 的長上下文推理任務上的表現(xiàn)也非常突出。

在  LongBench v2 上，MiniMax-Text-01 與其它模型的性能比較

另外，MiniMax-Text-01 的長上下文學習能力（終身學習的一個核心研究領域）也是 SOTA 水平。MiniMax 在 MTOB 基準上驗證了這一點。

在 MTOB 上，MiniMax-Text-01 與其它模型的性能比較

3. 長文本能力Showcase

MiniMax-Text-01 得到了很不錯的基準分數(shù)，但實際表現(xiàn)如何呢？下面展示了一些示例。

首先，來寫首歌吧！

人類評估者也給出了非常正面的評價：詩意的語言和演繹空間為歌曲增添了層層的趣味和情感共鳴，使歌曲既引人入勝又發(fā)人深省。

下面重點來看看 MiniMax-Text-01 的長上下文能力。對于新幾內(nèi)亞的一門小眾語言 Kalamang，先將指令、語法書、單詞表、與英語的對照例句放入 MiniMax-Text-01 的上下文，然后讓其執(zhí)行翻譯?？梢钥吹?，MiniMax-Text-01 給出的答案基本與標準答案一致。

至于長對話記憶任務，MiniMax-Text-01 可說是表現(xiàn)完美。

4. 視覺-語言模型

基于 MiniMax-Text-01，MiniMax 還開發(fā)了一個多模態(tài)版本：MiniMax-VL-01。思路很簡單，就是在文本模型的基礎上整合一個圖像編碼器和一個圖像適配器。簡而言之，就是要將圖像變成 LLM 能夠理解的 token 形式。

因此，其整體架構(gòu)符合比較常見的 ViT-MLP-LLM 范式：MiniMax-VL-01 作為基礎模型，再使用一個 303M 參數(shù)的 ViT 作為視覺編碼器，并使用了一個隨機初始化的兩層式 MLP projector 來執(zhí)行圖像適應。

當然，為了確保 MiniMax-VL-01 的視覺理解能力足夠好，還需要在文本模型的基礎上使用圖像-語言數(shù)據(jù)進行持續(xù)訓練。為此，MiniMax 設計了一個專有數(shù)據(jù)集，并實現(xiàn)了一個多階段訓練策略。

最終，得到的 MiniMax-VL-01 模型在各個基準上取得了如下表現(xiàn)。

可以看到，MiniMax-VL-01 整體表現(xiàn)強勁，整體能與其它 SOTA 模型媲美，并可在某些指標上達到最佳。

下面展示了一個分析導航地圖的示例，MiniMax-VL-01 的表現(xiàn)可得一個贊。

探索無限的上下文窗口讓 Agent 走進物理世界

有人認為 [1]，context 會是貫穿 AI 產(chǎn)品發(fā)展的一條暗線，context 是否充分同步會直接影響智能應用的用戶體驗，這包括用戶的個性化信息、環(huán)境變化信息等各種背景上下文信息。

而為了保證 context 充分同步，足夠大的上下文窗口就成了大模型必須克服的技術(shù)難題。目前，MiniMax 已經(jīng)在這條路上邁出了重要的一步。

不過，400 萬 token 的上下文窗口明顯不是終點。他們在技術(shù)報告中寫道：「我們正在研究更高效的架構(gòu)，以完全消除 softmax 注意力，這可能使模型能夠支持無限的上下文窗口，而不會帶來計算開銷?！?/p>

除此之外，MiniMax 還在 LLM 的基礎上訓練的視覺語言模型，同樣擁有超長的上下文窗口，這也是由 Agent 所面臨的任務所決定的。畢竟，在現(xiàn)實生活中，多模態(tài)任務遠比純文本任務更常見。

「我們認為下一代人工智能是無限接近通過圖靈測試的智能體，交互自然，觸手可及，無處不在。」MiniMax 創(chuàng)始人在去年的一次活動中提到。

或許，「無處不在」也意味著，隨著多模態(tài) token 的加入，Agent 也將逐步進入物理世界。為此，AI 社區(qū)需要更多的技術(shù)儲備。