大家好，我是肆〇柒。當(dāng)下，LLM 智能體在各種復(fù)雜任務(wù)中表現(xiàn)得越來(lái)越出色。然而，記憶這一關(guān)鍵要素卻始終制約著 LLM 智能體的進(jìn)一步發(fā)展。在與這些智能體的交互中，我們常常發(fā)現(xiàn)它們難以像人類(lèi)一樣記住過(guò)去的對(duì)話(huà)、識(shí)別模式或根據(jù)以往經(jīng)驗(yàn)調(diào)整行為。這種“健忘癥”限制了它們?cè)诂F(xiàn)實(shí)世界中的長(zhǎng)期可用性，也讓用戶(hù)對(duì)它們的期待大打折扣。

痛點(diǎn)對(duì)比：傳統(tǒng) RAG 的三大健忘瞬間

• 對(duì)話(huà)一：用戶(hù)曾說(shuō) “The CEO of Twitter is Linda Yaccarino”，但幾天后詢(xún)問(wèn) “Who is the CEO of Twitter?” 時(shí)，傳統(tǒng) RAG 智能體依賴(lài)過(guò)時(shí)知識(shí)錯(cuò)誤回答 “Elon Musk”。
• 對(duì)話(huà)二：在 LOCOMO 數(shù)據(jù)集中，對(duì)于 “When is Melanie planning on going camping?” 這一問(wèn)題，傳統(tǒng)方法因?qū)υ?huà)中前后矛盾（早期計(jì)劃與實(shí)際發(fā)生）難以準(zhǔn)確判斷時(shí)間。
• 對(duì)話(huà)三：面對(duì) “Where did Caroline move from 4 years ago?” 這類(lèi)需要整合多處信息的復(fù)雜問(wèn)題，傳統(tǒng) RAG 無(wú)法有效拼湊分散證據(jù)，導(dǎo)致回答錯(cuò)誤或不完整。

這些痛點(diǎn)凸顯了傳統(tǒng) RAG 的局限性，而由 MIRIX AI 提出的 MIRIX，正是為了解決這些問(wèn)題。攜六種創(chuàng)新記憶類(lèi)型與多智能體架構(gòu)，為 LLM 智能體的記憶難題帶來(lái)了創(chuàng)新的解決方案。它不僅能夠精準(zhǔn)捕捉和存儲(chǔ)豐富的視覺(jué)及多模態(tài)體驗(yàn)，還通過(guò)主動(dòng)檢索機(jī)制讓記憶的調(diào)用變得高效和智能。

它能做什么？3 個(gè)真實(shí)場(chǎng)景

說(shuō)了這么多，MIRIX 到底能幫你做什么？我們先用三個(gè)真實(shí)場(chǎng)景感受一下。

場(chǎng)景一：跨平臺(tái)個(gè)人助理

MIRIX 驅(qū)動(dòng)的跨平臺(tái)個(gè)人助理應(yīng)用程序，是你數(shù)字生活的得力助手。它能實(shí)時(shí)監(jiān)控你的屏幕活動(dòng)，每 1.5 秒截取一次屏幕圖像，智能去重后，每 60 秒左右更新一次記憶。借助 Gemini API，它實(shí)現(xiàn)高效、低延遲的視覺(jué)數(shù)據(jù)傳輸，讓你幾乎實(shí)時(shí)看到記憶更新。你可以在聊天界面中查詢(xún)過(guò)去的操作細(xì)節(jié)、文件摘要或特定事件背景，智能體都能憑借強(qiáng)大的記憶能力給出準(zhǔn)確答復(fù)。如下圖所示。

聊天窗口

語(yǔ)義記憶以樹(shù)結(jié)構(gòu)呈現(xiàn)，清晰展示概念關(guān)系；程序性記憶以列表視圖展示任務(wù)步驟，方便你回顧和總結(jié)經(jīng)驗(yàn)。

比如，一句話(huà)對(duì)話(huà)示例：“上周我在 VS Code 里改了哪個(gè)配置讓代碼高亮失效？”

場(chǎng)景二：可穿戴設(shè)備中的智能助手

在可穿戴設(shè)備領(lǐng)域，MIRIX 為智能個(gè)人助理注入了新的活力。以人工智能眼鏡為例，配備 MIRIX 系統(tǒng)的設(shè)備能夠自動(dòng)總結(jié)會(huì)議內(nèi)容，提煉關(guān)鍵要點(diǎn)；記住你經(jīng)常訪問(wèn)的地點(diǎn)，提供精準(zhǔn)導(dǎo)航建議；識(shí)別重復(fù)出現(xiàn)的視覺(jué)模式，記錄生活中的重要時(shí)刻；回溯之前的對(duì)話(huà)或任務(wù)，讓你迅速獲取相關(guān)記憶。它完美契合輕量級(jí)、便攜設(shè)備需求，程序性記憶學(xué)習(xí)日常習(xí)慣，語(yǔ)義記憶存儲(chǔ)環(huán)境偏好，情景記憶捕獲時(shí)間戳事件，混合存儲(chǔ)設(shè)計(jì)巧妙適應(yīng)硬件限制，確保隱私安全的同時(shí)節(jié)省設(shè)備存儲(chǔ)空間。鑒于可穿戴設(shè)備硬件約束（limited compute and storage），MIRIX 采用 hybrid on-device/cloud memory management，將知識(shí)庫(kù)等關(guān)鍵信息本地存儲(chǔ)，資源記憶等大規(guī)模記憶云端調(diào)取，既保障隱私又節(jié)省空間。

比如，一句話(huà)對(duì)話(huà)示例：“我在咖啡店遇到的那個(gè)人名片上寫(xiě)的郵箱是什么？”

場(chǎng)景三：智能體記憶市場(chǎng)中的數(shù)字資產(chǎn)

MIRIX 提出了一個(gè)大膽而創(chuàng)新的概念 —— 將個(gè)人記憶打造成為一種全新的數(shù)字資產(chǎn)類(lèi)別。在這個(gè)時(shí)代，記憶不再僅僅是過(guò)去事件的被動(dòng)記錄，而是成為了可共享、個(gè)性化和貨幣化的活躍知識(shí)庫(kù)。在智能體記憶市場(chǎng)中，用戶(hù)可以在記憶社交 / 交易平臺(tái)上分享和交換記憶，通過(guò)代幣化的方式實(shí)現(xiàn)記憶的價(jià)值轉(zhuǎn)化。專(zhuān)家社區(qū)聚焦特定領(lǐng)域，集體構(gòu)建專(zhuān)業(yè)知識(shí)記憶庫(kù)。粉絲經(jīng)濟(jì)與約會(huì)應(yīng)用為直觀地展示出與名人或網(wǎng)紅數(shù)字人設(shè)互動(dòng)的新途徑，創(chuàng)造者也迎來(lái)了新的商業(yè)機(jī)會(huì)。

比如，一句話(huà)對(duì)話(huà)示例：“把我上個(gè)月研究‘聯(lián)邦學(xué)習(xí)’的完整工作流掛到市場(chǎng)賣(mài) 5 美元。”

它怎么做到？—— 拆開(kāi)瞅瞅

看完這些場(chǎng)景，我們一起來(lái)看看 MIRIX 是怎么記住“你上周看過(guò)哪份報(bào)告” 的？

與需要重訓(xùn) Transformer 結(jié)構(gòu)才能記憶的最新研究不同，MIRIX 采用外掛式多智能體架構(gòu)，零侵入、零重訓(xùn)，直接兼容 GPT-4、Gemini 等閉源模型，即插即用。接下來(lái)我們拆開(kāi)它的“記憶抽屜”。

記憶分類(lèi)對(duì)照表

記憶組件

MIRIX 有六種記憶類(lèi)型，每種類(lèi)型的功能和結(jié)構(gòu)各不相同，共同構(gòu)成了其堅(jiān)實(shí)的基礎(chǔ)。這六種劃分參考了認(rèn)知科學(xué)中經(jīng)典的情景、語(yǔ)義、程序記憶模型，既保留人類(lèi)記憶的抽象層次，又針對(duì) LLM 場(chǎng)景做了工程化擴(kuò)展。

MIRIX 的六個(gè)記憶組件

核心記憶（Core Memory）

核心記憶分為 persona 和 human 塊。persona 塊編碼智能體的個(gè)性身份、語(yǔ)氣風(fēng)格以及行為模式，塑造智能體獨(dú)特的“人格魅力”；human 塊記錄用戶(hù)的持久信息，包括姓名、愛(ài)好、生活習(xí)慣等關(guān)鍵屬性。例如，human 塊會(huì)存儲(chǔ) “User’s name is David”“User enjoys Japanese cuisine” 等信息。當(dāng)記憶容量接近上限時(shí)，系統(tǒng)會(huì)智能觸發(fā)受控重寫(xiě)過(guò)程，去除冗余和過(guò)時(shí)的信息，確保記憶的緊湊性和相關(guān)性。

情景記憶（Episodic Memory）

情景記憶以結(jié)構(gòu)化方式記錄時(shí)間戳事件，涵蓋事件類(lèi)型、摘要、細(xì)節(jié)、參與者和時(shí)間戳等關(guān)鍵字段。例如，當(dāng)你提到一次旅行計(jì)劃，情景記憶會(huì)記錄提及時(shí)間（如 2025-03-05 10:15）、行程安排（user_message 表示這是用戶(hù)發(fā)送的消息）、參與人員等信息，為后續(xù)提供跟進(jìn)服務(wù)和提醒事項(xiàng)奠定基礎(chǔ)。

語(yǔ)義記憶（Semantic Memory）

語(yǔ)義記憶專(zhuān)注存儲(chǔ)抽象知識(shí)和事實(shí)信息，包含名稱(chēng)、摘要、細(xì)節(jié)和來(lái)源等字段。它不局限于特定時(shí)間和事件，更注重知識(shí)的普遍性和關(guān)聯(lián)性。比如，它會(huì)記錄“巴黎是法國(guó)的首都”這類(lèi)地理知識(shí)，或“用戶(hù)喜歡閱讀科幻小說(shuō)”這類(lèi)個(gè)人偏好信息，為智能體構(gòu)建豐富全面的知識(shí)網(wǎng)絡(luò)。

示例語(yǔ)義記憶的樹(shù)形結(jié)構(gòu)

程序性記憶（Procedural Memory）

程序性記憶存儲(chǔ)結(jié)構(gòu)化、目標(biāo)導(dǎo)向的流程，涵蓋工作流程、指南和腳本的類(lèi)型、目標(biāo)和步驟列表。比如，撰寫(xiě)商務(wù)報(bào)告時(shí)，它提供從資料收集到排版的一系列步驟指導(dǎo)；學(xué)習(xí)烹飪新菜肴時(shí)，給出分步操作流程；在處理差旅報(bào)銷(xiāo)時(shí)，它會(huì)存儲(chǔ) “how to file a travel reimbursement form” 的詳細(xì)步驟，從收集票據(jù)到提交申請(qǐng)，確保用戶(hù)順利完成任務(wù)。

 示例程序性記憶的列表視圖

資源記憶（Resource Memory）

資源記憶處理用戶(hù)正在使用的完整或部分文檔、腳本或多媒體文件，包含標(biāo)題、摘要、資源類(lèi)型和內(nèi)容等字段。閱讀研究報(bào)告時(shí)，它存儲(chǔ)關(guān)鍵章節(jié)和摘要，方便查閱和引用；編輯視頻時(shí)，保存素材片段和編輯進(jìn)度，確保多任務(wù)處理或長(zhǎng)時(shí)間工作中不會(huì)丟失成果。

知識(shí)庫(kù)記憶（Knowledge Vault）

知識(shí)庫(kù)安全存儲(chǔ)憑證、地址、聯(lián)系信息和 API 密鑰等逐字和敏感信息。通過(guò)嚴(yán)格訪問(wèn)控制機(jī)制和敏感度級(jí)別設(shè)置，確保高敏感信息的安全性。銀行賬戶(hù)信息、私人郵箱密碼等在知識(shí)庫(kù)中得到最高級(jí)別保護(hù)，只有經(jīng)過(guò)嚴(yán)格授權(quán)驗(yàn)證，智能體才能在合法必要場(chǎng)景下使用這些信息，有效防止隱私泄露。

主動(dòng)檢索與檢索設(shè)計(jì)

MIRIX 的主動(dòng)檢索機(jī)制解決了現(xiàn)有記憶增強(qiáng)系統(tǒng)中記憶檢索需顯式觸發(fā)的問(wèn)題。它將檢索過(guò)程分為兩個(gè)階段。首先，智能體基于輸入上下文生成精準(zhǔn)的當(dāng)前主題；接著，利用該主題從每個(gè)記憶組件中檢索相關(guān)記憶，并將結(jié)果注入系統(tǒng)提示中。例如，詢(xún)問(wèn)“誰(shuí)是 Twitter 的 CEO？”時(shí)，智能體判斷主題為“Twitter 的 CEO 信息”，從六個(gè)記憶組件中檢索最新記憶內(nèi)容，如對(duì)話(huà)中提到的 CEO 姓名、相關(guān)新聞報(bào)道中的變更記錄等，并整合反饋給用戶(hù)。這一過(guò)程如下圖所示。

主動(dòng)檢索演示

為避免模型依賴(lài)過(guò)時(shí)知識(shí)錯(cuò)誤回答問(wèn)題，主動(dòng)檢索機(jī)制確保回答的及時(shí)性和準(zhǔn)確性。檢索到的內(nèi)容會(huì)進(jìn)行來(lái)源標(biāo)記，讓模型清楚知曉每條信息的內(nèi)容和來(lái)源，從而在生成回答時(shí)合理引用和整合這些記憶。此外，MIRIX 支持多種檢索功能，如 embedding_match、bm25_match 和 string_match，適用于不同類(lèi)型的數(shù)據(jù)和查詢(xún)需求。例如，基于語(yǔ)義相似度的查詢(xún)，embedding_match 能快速找到匹配記憶；基于關(guān)鍵詞精確匹配的場(chǎng)景，string_match 能精準(zhǔn)定位相關(guān)內(nèi)容。MIRIX 正不斷擴(kuò)展更多檢索策略，以滿(mǎn)足日益多樣化的應(yīng)用場(chǎng)景，確保在各種復(fù)雜情況下都能高效精準(zhǔn)地檢索到所需記憶。

多智能體工作流

與需要重訓(xùn) Transformer 結(jié)構(gòu)才能記憶的最新研究不同，MIRIX 采用外掛式多智能體架構(gòu)，零侵入、零重訓(xùn)，直接兼容 GPT-4、Gemini 等閉源模型，即插即用。

記憶更新工作流

多智能體架構(gòu)是 MIRIX 靈活應(yīng)對(duì)用戶(hù)交互復(fù)雜性和異構(gòu)性的關(guān)鍵。在記憶更新工作流中，接收到用戶(hù)輸入后，系統(tǒng)首先在記憶庫(kù)中全面搜索，初步篩選出可能相關(guān)的信息。然后，元記憶管理器分析這些內(nèi)容，精準(zhǔn)將其路由到相應(yīng)的記憶管理器。這些記憶管理器高效執(zhí)行更新任務(wù)，同時(shí)避免冗余信息干擾。更新完成后，它們向元記憶管理器匯報(bào)，元記憶管理器確認(rèn)所有更新任務(wù)成功完成后，才向用戶(hù)發(fā)送更新完成通知。這一過(guò)程既保證了記憶更新的準(zhǔn)確性，又提高了更新效率，使系統(tǒng)能夠及時(shí)跟上用戶(hù)信息的快速變化。這一過(guò)程如下圖所示。

記憶更新工作流程

對(duì)話(huà)檢索工作流

在對(duì)話(huà)檢索工作流中，聊天智能體收到用戶(hù)查詢(xún)后，先進(jìn)行粗略檢索，快速掃描所有六個(gè)記憶組件，獲取與查詢(xún)相關(guān)的高級(jí)別摘要信息。然后，它深入分析查詢(xún)，判斷哪些記憶組件可能藏有更關(guān)鍵的線(xiàn)索。接下來(lái)，聊天智能體選擇合適檢索方法，獲取詳細(xì)結(jié)果，并整合加工，最終形成完整準(zhǔn)確富有邏輯的響應(yīng)呈現(xiàn)給用戶(hù)。如果用戶(hù)查詢(xún)涉及記憶更新，聊天智能體還能直接與相應(yīng)的記憶管理器交互，精準(zhǔn)地對(duì)特定記憶組件進(jìn)行更新，確保記憶的時(shí)效性和完整性。如下圖所示。

響應(yīng)用戶(hù)查詢(xún)的工作流程

技術(shù)架構(gòu)

多智能體架構(gòu)的協(xié)作機(jī)制

MIRIX 的多智能體架構(gòu)由 8 個(gè)智能體組成，包括 1 個(gè) Meta Memory Manager、6 個(gè) Memory Managers 和 1 個(gè) Chat Agent。Meta Memory Manager 起著核心的協(xié)調(diào)作用。當(dāng)接收到用戶(hù)輸入后，它會(huì)先對(duì)輸入內(nèi)容進(jìn)行全面分析，判斷其中的關(guān)鍵信息和記憶需求，然后確定與此輸入相關(guān)的記憶組件，并將任務(wù)精準(zhǔn)地路由到對(duì)應(yīng)的 Memory Managers。例如，如果用戶(hù)輸入的內(nèi)容涉及一個(gè)新的事件描述，Meta Memory Manager 會(huì)識(shí)別出該內(nèi)容包含事件類(lèi)型、參與者、時(shí)間等關(guān)鍵要素，從而判定其屬于情景記憶的范疇，并將任務(wù)分配給情景記憶管理器，由它來(lái)進(jìn)一步處理和存儲(chǔ)該事件信息。這種基于內(nèi)容的動(dòng)態(tài)任務(wù)分配機(jī)制，使得各記憶組件能夠高效地協(xié)作，避免了記憶處理的混亂和冗余。

存儲(chǔ)壓縮技術(shù)的實(shí)現(xiàn)

MIRIX 實(shí)現(xiàn)了高達(dá) 99.9% 的存儲(chǔ)壓縮，這一成果主要得益于其對(duì)原始圖像的處理方式。它不存儲(chǔ)任何原始圖像，而是通過(guò)高效的摘要算法對(duì)圖像內(nèi)容進(jìn)行提煉和壓縮，僅保留關(guān)鍵的結(jié)構(gòu)化信息。具體來(lái)說(shuō)，在處理用戶(hù)屏幕截圖時(shí)，MIRIX 會(huì)先對(duì)圖像進(jìn)行分析，提取出其中的核心內(nèi)容和特征，如圖像中包含的關(guān)鍵物體、文字信息、布局結(jié)構(gòu)等，并將這些信息轉(zhuǎn)化為簡(jiǎn)潔的文本描述或數(shù)據(jù)結(jié)構(gòu)進(jìn)行存儲(chǔ)。同時(shí)，它還會(huì)運(yùn)用去重策略，識(shí)別和過(guò)濾掉相似度極高的圖像內(nèi)容，進(jìn)一步減少存儲(chǔ)負(fù)擔(dān)。這種摘要算法與去重策略相結(jié)合的方式，使得 MIRIX 能夠以極小的存儲(chǔ)空間保存大量的多模態(tài)信息，其存儲(chǔ)效率遠(yuǎn)超傳統(tǒng)方法。例如，在實(shí)驗(yàn)中，對(duì)于 SigLIP 需要存儲(chǔ) 22.55GB 的圖像數(shù)據(jù)，MIRIX 僅需 20.57MB 即可完成存儲(chǔ)，壓縮比達(dá)到了驚人的 949:1。

隱私機(jī)制的保障

在可穿戴設(shè)備場(chǎng)景中，MIRIX 的混合存儲(chǔ)設(shè)計(jì)充分考慮了隱私保護(hù)。對(duì)于知識(shí)庫(kù)記憶中的敏感信息，如用戶(hù)的私人聯(lián)系信息、賬戶(hù)密碼等，MIRIX 采用了嚴(yán)格的敏感度分級(jí)機(jī)制。這些高敏感信息會(huì)被標(biāo)記為最高敏感度級(jí)別，并通過(guò)訪問(wèn)控制機(jī)制進(jìn)行嚴(yán)格保護(hù)。只有在用戶(hù)明確授權(quán)且符合特定的安全策略時(shí)，智能體才能訪問(wèn)這些信息。此外，MIRIX 還將關(guān)鍵信息存儲(chǔ)在本地，而非云端，進(jìn)一步降低了隱私數(shù)據(jù)泄露的風(fēng)險(xiǎn)。例如，在知識(shí)庫(kù)記憶的字段設(shè)計(jì)中，包含 sensitivity_level 字段，用于明確標(biāo)識(shí)每條信息的敏感程度，從而確保高敏感數(shù)據(jù)不會(huì)被隨意檢索和使用。

記憶市場(chǎng)的爭(zhēng)議澄清

針對(duì)記憶市場(chǎng)中可能引發(fā)的數(shù)據(jù)權(quán)屬爭(zhēng)議，MIRIX 強(qiáng)調(diào)其技術(shù)的中立性。其隱私基礎(chǔ)設(shè)施包含三層設(shè)計(jì)：加密層、權(quán)限控制和去中心化存儲(chǔ)。加密層確保所有記憶數(shù)據(jù)在存儲(chǔ)和傳輸過(guò)程中都被加密處理，只有經(jīng)過(guò)授權(quán)的用戶(hù)和智能體才能解密使用；權(quán)限控制允許用戶(hù)精細(xì)地設(shè)置哪些記憶可以共享、交易或限制訪問(wèn)，用戶(hù)對(duì)自身的記憶資產(chǎn)擁有絕對(duì)的控制權(quán)；去中心化存儲(chǔ)則避免了記憶數(shù)據(jù)被集中掌控，降低了數(shù)據(jù)被濫用的風(fēng)險(xiǎn)。這種隱私保護(hù)機(jī)制為記憶市場(chǎng)的健康發(fā)展提供了堅(jiān)實(shí)的基礎(chǔ)，確保了用戶(hù)在共享和交易記憶時(shí)的權(quán)益得到充分保障。

實(shí)驗(yàn)：3 位博士生的 3 萬(wàn)截圖

為了驗(yàn)證 MIRIX 的性能，研究者邀請(qǐng)了 3 位博士生參與實(shí)驗(yàn)。他們?cè)谌粘Ｊ褂秒娔X的過(guò)程中，通過(guò)一個(gè)自動(dòng)化腳本，每秒截取一次屏幕圖像。如果當(dāng)前圖像與上一張圖像相似度超過(guò) 99%，則跳過(guò)當(dāng)前圖像，以減少重復(fù)數(shù)據(jù)。通過(guò)這種方式，研究者收集了大量高分辨率的屏幕截圖，總計(jì)超過(guò) 3 萬(wàn)張。這些截圖涵蓋了他們一個(gè)月內(nèi)的各種計(jì)算機(jī)使用場(chǎng)景，包括閱讀文獻(xiàn)、編寫(xiě)代碼、參加在線(xiàn)會(huì)議等?；谶@些截圖，構(gòu)建了一個(gè)具有挑戰(zhàn)性的多模態(tài)數(shù)據(jù)集，并提出了相關(guān)的問(wèn)題，用于測(cè)試 MIRIX 的記憶能力和推理能力。

實(shí)驗(yàn)設(shè)計(jì)：為什么用截圖

傳統(tǒng)文本記憶系統(tǒng)無(wú)法處理視覺(jué)輸入，而 MIRIX 的一大創(chuàng)新點(diǎn)在于能夠處理多模態(tài)輸入，包括視覺(jué)信息。因此，研究者需要驗(yàn)證 MIRIX 是否能從真實(shí)用戶(hù)的屏幕活動(dòng)中提取并記憶信息。為此，他們選擇了 3 位博士生作為參與者，這些博士生分別來(lái)自計(jì)算機(jī)科學(xué)和物理學(xué)領(lǐng)域，自愿運(yùn)行腳本 1 周到 1 個(gè)月不等。數(shù)據(jù)采集的具體過(guò)程是：每秒截屏一次，然后通過(guò)去重算法（相似度超過(guò) 99% 的圖像被跳過(guò)），最終得到的截圖數(shù)量分別為：第一位博士生 5,886 張（1 天內(nèi)）、第二位博士生 18,178 張（20 天內(nèi)）、第三位博士生 5,349 張（超過(guò) 1 個(gè)月）?？傆?jì)超過(guò) 3 萬(wàn)張高分辨率截圖。為了構(gòu)建測(cè)試問(wèn)題，每位博士生根據(jù)截圖手寫(xiě)問(wèn)答對(duì)，研究者再進(jìn)行交叉驗(yàn)證以確保問(wèn)題的可答性，最終得到 87 個(gè)問(wèn)題（第一位博士生 11 個(gè)、第二位博士生 21 個(gè)、第三位博士生 55 個(gè)）。

對(duì)比基線(xiàn)

為了更全面地評(píng)估 MIRIX 的性能，研究者選擇了以下幾種基線(xiàn)方法進(jìn)行對(duì)比：

結(jié)果速覽

一句話(huà)總結(jié)：MIRIX 用 1% 的存儲(chǔ)空間，換來(lái)了 4 倍的準(zhǔn)確率提升。

具體實(shí)驗(yàn)結(jié)果如下表所示。

ScreenshotVQA 實(shí)驗(yàn)結(jié)果

深入分析

存儲(chǔ)效率

MIRIX 不存原圖，僅保留結(jié)構(gòu)化摘要，壓縮比達(dá)到 949 : 1（SigLIP vs MIRIX）。具體來(lái)說(shuō)，對(duì)于第一位博士生的數(shù)據(jù)，SigLIP 存儲(chǔ)大小為 22.55GB，而 MIRIX 僅為 20.57MB；第二位博士生的數(shù)據(jù)，SigLIP 存儲(chǔ)為 19.88GB，MIRIX 為 19.83MB；第三位博士生，SigLIP 存儲(chǔ) 2.82GB，MIRIX 僅 7.28MB。這種高效的存儲(chǔ)方式使得 MIRIX 在處理大規(guī)模多模態(tài)數(shù)據(jù)時(shí)更具優(yōu)勢(shì)。

準(zhǔn)確率提升

相比 RAG 基線(xiàn)，MIRIX 提高了 35% 的準(zhǔn)確率；相比長(zhǎng)上下文基線(xiàn)，MIRIX 提升了 410% 的準(zhǔn)確率。MIRIX 的高準(zhǔn)確率得益于其獨(dú)特的記憶組件和主動(dòng)檢索機(jī)制。例如，在處理復(fù)雜問(wèn)題時(shí)，MIRIX 能夠快速?gòu)亩鄠€(gè)記憶組件中檢索到相關(guān)信息，并整合后生成準(zhǔn)確的回答。而 Gemini 和 SigLIP 等基線(xiàn)方法由于缺乏這種高效的檢索和整合能力，導(dǎo)致準(zhǔn)確率較低。

錯(cuò)誤案例

盡管 MIRIX 在總體上表現(xiàn)優(yōu)異，但在某些特定情況下也會(huì)出現(xiàn)錯(cuò)誤。例如，Gemini 由于需要一次性處理大量圖像，容易出現(xiàn)“幻覺(jué)”，即生成與問(wèn)題無(wú)關(guān)的回答；SigLIP 在檢索 Top50 圖像時(shí)可能會(huì)漏掉關(guān)鍵幀，從而導(dǎo)致回答不準(zhǔn)確；MIRIX 由于需要對(duì)圖像內(nèi)容進(jìn)行摘要，可能會(huì)丟失一些細(xì)節(jié)信息，從而在某些情況下出現(xiàn)誤判。這些錯(cuò)誤案例為未來(lái)的研究提供了改進(jìn)的方向。

LOCOMO 對(duì)話(huà)實(shí)驗(yàn)

實(shí)驗(yàn)背景

除了多模態(tài)數(shù)據(jù)集的實(shí)驗(yàn)，研究者還對(duì) MIRIX 進(jìn)行了長(zhǎng)對(duì)話(huà)問(wèn)答實(shí)驗(yàn)。實(shí)驗(yàn)使用了 LOCOMO 數(shù)據(jù)集，該數(shù)據(jù)集包含 10 段對(duì)話(huà)，每段對(duì)話(huà)平均有 200 個(gè)問(wèn)題，總共有 26,000 個(gè) token。實(shí)驗(yàn)的設(shè)定是：不直接將對(duì)話(huà)原文輸入模型，而是僅依靠模型從記憶中檢索到的信息來(lái)回答問(wèn)題。這種設(shè)定更能體現(xiàn)模型的記憶能力和推理能力。

實(shí)驗(yàn)結(jié)果

在 LOCOMO 數(shù)據(jù)集上，MIRIX 的表現(xiàn)非常出色，其平均 J 評(píng)分達(dá)到了 85.38%（三次獨(dú)立運(yùn)行的 Overall 區(qū)間為 83.98 % –87.34 %，標(biāo)準(zhǔn)差 1.8 pp，穩(wěn)定性良好），領(lǐng)先最強(qiáng)開(kāi)源對(duì)手 +8.0 pp，逼近 Full-Context 上界（87.5%）。具體來(lái)看，在不同類(lèi)型的問(wèn)答中，MIRIX 的表現(xiàn)如下：

• 單跳問(wèn)題 ：MIRIX 的準(zhǔn)確率為 85.11%，略低于 Full-Context 方法（88.53%），但遠(yuǎn)高于其他基線(xiàn)方法。這表明 MIRIX 在處理簡(jiǎn)單事實(shí)查找問(wèn)題時(shí)已經(jīng)非常接近人類(lèi)水平。
• 多跳問(wèn)題 ：MIRIX 的準(zhǔn)確率為 83.70%，領(lǐng)先第二名 +24 pp。這得益于 MIRIX 的事件整合存儲(chǔ)機(jī)制，能夠快速將分散的信息整合成完整的事件，從而更高效地回答多跳問(wèn)題。
• 開(kāi)放領(lǐng)域問(wèn)題 ：MIRIX 的準(zhǔn)確率為 65.62%，與基線(xiàn)方法的差距相對(duì)較小。這表明在開(kāi)放領(lǐng)域問(wèn)題上，MIRIX 的推理能力還有提升空間。
• 時(shí)間順序問(wèn)題 ：MIRIX 的準(zhǔn)確率為 88.39%，表現(xiàn)非常出色，這得益于其情景記憶組件對(duì)時(shí)間戳事件的精準(zhǔn)記錄和推理能力。

具體如下表

LOCOMO 數(shù)據(jù)集的 LLM-as-a-Judge 評(píng)分

LOCOMO 數(shù)據(jù)集的 LLM-as-a-Judge 評(píng)分（不同運(yùn)行結(jié)果）

實(shí)驗(yàn)亮點(diǎn)

在 LOCOMO 數(shù)據(jù)集上，MIRIX 的表現(xiàn)令人矚目。它在 200 個(gè)問(wèn)題的全面測(cè)試中，以 85.4% 的準(zhǔn)確率逼近人類(lèi)水平的上限（87.5%）。尤其是在需要整合多處對(duì)話(huà)信息的多跳問(wèn)題上，MIRIX 憑借其獨(dú)特的事件整合存儲(chǔ)機(jī)制，比現(xiàn)有方法高出 24%。這使得它能夠快速調(diào)取完整的事件記憶，而無(wú)需在查詢(xún)時(shí)拼湊碎片化信息。

總結(jié)：MIRIX - 讓記憶更高效、精準(zhǔn)與實(shí)用

MIRIX 用約 15MB 存儲(chǔ)空間高效記住 3 萬(wàn)張截圖關(guān)鍵信息，并在對(duì)話(huà)中準(zhǔn)確回答超 85% 的復(fù)雜問(wèn)題，實(shí)現(xiàn)技術(shù)突破，推動(dòng)記憶系統(tǒng)從傳統(tǒng)工具向價(jià)值創(chuàng)造轉(zhuǎn)變。

不放想象一下，MIRIX 的巨大潛力。比如未來(lái)，在會(huì)議場(chǎng)景中，配備 MIRIX 系統(tǒng)的智能眼鏡能精準(zhǔn)總結(jié)會(huì)議內(nèi)容。同時(shí)，用戶(hù)可選擇將 “如何在 3 分鐘內(nèi)提煉會(huì)議紀(jì)要” 的技巧以匿名方式分享給其他授權(quán)用戶(hù)。這種共享是知識(shí)的安全流轉(zhuǎn)，用戶(hù)技能與經(jīng)驗(yàn)成為他人受益資源，且用戶(hù)隱私始終掌控在自己手中。

這種轉(zhuǎn)變預(yù)示著記憶系統(tǒng)未來(lái)發(fā)展方向，即從單純的信息存儲(chǔ)檢索轉(zhuǎn)變?yōu)榭晒蚕?、可?fù)用的知識(shí)資產(chǎn)。MIRIX 通過(guò)隱私保護(hù)機(jī)制確保用戶(hù)對(duì)自身記憶資產(chǎn)擁有絕對(duì)控制權(quán)，其隱私基礎(chǔ)設(shè)施包含加密層、權(quán)限控制和去中心化存儲(chǔ)三層設(shè)計(jì)。加密層確保記憶數(shù)據(jù)存儲(chǔ)傳輸過(guò)程加密，僅授權(quán)用戶(hù)和智能體可解密使用；權(quán)限控制允許用戶(hù)精細(xì)設(shè)置記憶共享、交易或限制訪問(wèn)權(quán)限；去中心化存儲(chǔ)避免記憶數(shù)據(jù)集中掌控，降低數(shù)據(jù)濫用風(fēng)險(xiǎn)。

MIRIX 為開(kāi)發(fā)者帶來(lái)一種新思路。例如，程序性記憶的 JSON 步驟可轉(zhuǎn)化為可交易技能卡，使高效工作流程成為可購(gòu)買(mǎi)數(shù)字商品；知識(shí)庫(kù)記憶則能設(shè)計(jì)得像密碼箱一樣，僅由用戶(hù)解鎖，讓敏感信息保護(hù)機(jī)制更直觀可靠。MIRIX 可以讓這些想法逐漸成為現(xiàn)實(shí)，重新定義 LLM 智能體記憶能力，平衡隱私保護(hù)與價(jià)值創(chuàng)造。至此，大家可通過(guò)其GitHub頁(yè)面下載完整代碼和 Demo 應(yīng)用，體驗(yàn)這一創(chuàng)新技術(shù)如何改變我們與數(shù)字世界的交互方式（如需體驗(yàn)見(jiàn)參考資料）。

記憶，是智能體工作的核心部件，也是 AI 與環(huán)境交互的即時(shí)體現(xiàn)。