編譯 | 沈建苗

審校 | 云昭

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

前不久，ChatGPT推出了長(zhǎng)期記憶功能，讓全球用戶為之點(diǎn)贊。

現(xiàn)在，中國(guó)隊(duì)研究者提出了一種更為SOTA的“記憶管理”方法！同時(shí)，開源了！

近日，上海交大和浙江大學(xué)等領(lǐng)先機(jī)構(gòu)的研究團(tuán)隊(duì)已為AI開發(fā)了第一個(gè)“記憶操作系統(tǒng)”，克服了阻礙模型像人類那樣持久記憶和學(xué)習(xí)的一大難題。

該系統(tǒng)名為MemOS，將記憶視為可以隨時(shí)間的推移加以調(diào)度、共享和改進(jìn)的核心計(jì)算資源，類似傳統(tǒng)操作系統(tǒng)管理CPU和存儲(chǔ)資源那樣。

研究論文已于7月4日發(fā)表在arXiv上，表明性能比現(xiàn)有方法有顯著提升，包括與OpenAI的記憶系統(tǒng)相比，處理時(shí)間推理任務(wù)的表現(xiàn)提升了159%。

研究人員在論文中寫道：“大語(yǔ)言模型（LLM）已成為通用人工智能（AGI）的重要基礎(chǔ)設(shè)施，但缺乏明確定義的記憶管理系統(tǒng)卻阻礙了長(zhǎng)上下文推理、持續(xù)個(gè)性化和知識(shí)一致性的發(fā)展?！?/p>

圖片

1.AI系統(tǒng)的記憶孤島，RAG為什么不能很好解決

目前的AI系統(tǒng)面臨研究人員所說的“記憶孤島”問題，這個(gè)基本的架構(gòu)限制使AI系統(tǒng)無法與用戶保持連貫、長(zhǎng)期的關(guān)系。每個(gè)對(duì)話或會(huì)話基本上都從頭開始，模型無法在交互中保留偏好設(shè)置、積累的知識(shí)或行為模式。這導(dǎo)致了令人沮喪的用戶體驗(yàn)，因?yàn)锳I助手在下一次被要求推薦餐廳時(shí)，可能會(huì)忘記用戶在前一次對(duì)話中提到的飲食禁忌。

雖然檢索增強(qiáng)生成（RAG）等一些解決方案試圖通過在對(duì)話期間提取外部信息來解決這個(gè)問題，但研究人員認(rèn)為這仍然是“缺乏生命周期控制的無狀態(tài)變通方法”。問題不止簡(jiǎn)單的信息檢索來得簡(jiǎn)單，關(guān)鍵在于創(chuàng)建可以真正從經(jīng)驗(yàn)中學(xué)習(xí)和進(jìn)化的系統(tǒng)，就像人類記憶一樣。

研究團(tuán)隊(duì)解釋道：“現(xiàn)有模型主要依賴靜態(tài)參數(shù)和短期上下文狀態(tài)，從而限制了在較長(zhǎng)時(shí)間內(nèi)跟蹤用戶偏好或更新知識(shí)的能力?！边@種局限在企業(yè)環(huán)境中尤為明顯，AI系統(tǒng)需要在可能持續(xù)數(shù)天乃至數(shù)周的復(fù)雜多階段工作流中維護(hù)上下文。

2.AI推理任務(wù)性能超OpenAI

MemOS通過研究人員所謂的“MemCubes”引入了一種全然不同的方法。MemCube是標(biāo)準(zhǔn)化的記憶單元，可以封裝不同類型的信息，并隨著時(shí)間的推移加以組合、遷移和改進(jìn)。這涉及基于文本的顯式知識(shí)和模型內(nèi)的參數(shù)級(jí)適應(yīng)和激活狀態(tài)，從而創(chuàng)建前所未有的統(tǒng)一記憶管理框架。 

圖1. MemCube

在針對(duì)評(píng)估記憶密集型推理任務(wù)的LOCOMO進(jìn)行基準(zhǔn)測(cè)試時(shí)，MemOS在所有類別中的表現(xiàn)始終優(yōu)于既定的基準(zhǔn)方法。相比OpenAI的記憶方法，該系統(tǒng)整體提升了38.98%，在需要跨多次對(duì)話銜接信息的復(fù)雜推理場(chǎng)景中，提升幅度尤為明顯。

圖片

研究人員稱：“MemOS（MemOS-0630）在所有類別中始終名列第一，優(yōu)于mem0、LangMem、Zep和OpenAI-Memory等強(qiáng)大的基準(zhǔn)方法，面對(duì)多跳和時(shí)間推理等具有挑戰(zhàn)性的任務(wù)時(shí)差距尤為懸殊?！?/p>

該系統(tǒng)還大幅提高了效率，通過其創(chuàng)新的KV緩存記憶注入機(jī)制，在某些配置下，首token時(shí)間（time-to-first-token）延遲最多可以縮短94%。

這些性能提升表明，記憶瓶頸是以前未充分理解的一大限制。通過將記憶視為首要計(jì)算資源，MemOS 似乎發(fā)掘了以前受架構(gòu)限制的推理能力。

3.這項(xiàng)技術(shù)有望重塑企業(yè)部署AI的方式

這可能會(huì)對(duì)企業(yè)部署AI帶來變革性的影響，尤其是鑒于企業(yè)日益依賴AI系統(tǒng)與客戶和員工建立復(fù)雜、持久的關(guān)系。MemOS 實(shí)現(xiàn)了研究人員所說的“跨平臺(tái)記憶遷移”，使AI記憶能夠在不同的平臺(tái)和設(shè)備之間移植，打破了所謂的“記憶孤島”，記憶孤島目前將用戶上下文困在特定的應(yīng)用場(chǎng)景中。

試想：眼下許多用戶在一個(gè)AI平臺(tái)中獲得的知識(shí)無法轉(zhuǎn)移到另一個(gè)AI平臺(tái)時(shí)所遇到的挫敗感：營(yíng)銷團(tuán)隊(duì)可能借助與ChatGPT的對(duì)話來開發(fā)詳細(xì)的客戶用戶角色，但在換成不同的AI工具規(guī)劃營(yíng)銷活動(dòng)時(shí)，只能從頭開始。MemOS創(chuàng)建了可以在系統(tǒng)之間移動(dòng)的標(biāo)準(zhǔn)化記憶格式，解決了這個(gè)問題。

研究論文還概述了“付費(fèi)記憶模塊”的潛力，領(lǐng)域主題專家可以將他們的知識(shí)打包成可購(gòu)買的記憶單元。研究人員設(shè)想“臨床輪換的醫(yī)學(xué)生可能希望研究如何管理罕見的自身免疫疾病。經(jīng)驗(yàn)豐富的醫(yī)生可以將診斷啟發(fā)方法、提問路徑和典型病例模式封裝到結(jié)構(gòu)化記憶區(qū)”，該記憶區(qū)可以由其他AI系統(tǒng)安裝和使用。

這種市場(chǎng)模式可以從根本上改變專業(yè)知識(shí)在AI系統(tǒng)中的分發(fā)和變現(xiàn)方式，為專家創(chuàng)造新的經(jīng)濟(jì)機(jī)會(huì)，同時(shí)易于獲得高質(zhì)量的領(lǐng)域主題知識(shí)。對(duì)于企業(yè)來說，這可能意味著快速部署在特定領(lǐng)域擁有深厚專業(yè)知識(shí)的AI系統(tǒng)，不用操心與自定義訓(xùn)練相關(guān)的傳統(tǒng)成本和時(shí)間。

4.架構(gòu)揭秘：與現(xiàn)有方法大有不同

MemOS的技術(shù)架構(gòu)反映了數(shù)十年來從傳統(tǒng)操作系統(tǒng)設(shè)計(jì)中學(xué)到的經(jīng)驗(yàn)，克服了AI記憶管理方面的獨(dú)特挑戰(zhàn)。

該系統(tǒng)采用三層架構(gòu)：用于API調(diào)用的接口層、用于記憶調(diào)度和生命周期管理的操作層，以及用于存儲(chǔ)和治理的基礎(chǔ)設(shè)施層。 

圖2. MemOS架構(gòu)示意圖

該系統(tǒng)的MemScheduler組件動(dòng)態(tài)管理不同類型的記憶：從臨時(shí)激活狀態(tài)到永久參數(shù)修改，并根據(jù)使用模式和任務(wù)要求選擇最佳存儲(chǔ)和檢索策略。這與當(dāng)前方法大相徑庭，當(dāng)前方法通常將記憶視為完全靜態(tài)（嵌入在模型參數(shù)中）或完全短暫（僅限于對(duì)話上下文）。

研究人員特別指出：“重點(diǎn)從模型一次學(xué)習(xí)多少知識(shí)變成了模型是否可以將經(jīng)驗(yàn)轉(zhuǎn)化為結(jié)構(gòu)化記憶并反復(fù)檢索和重建，”并描述了對(duì)所謂的“Mem訓(xùn)練”范式的暢想。這種架構(gòu)理念建議從根本上重新思考AI系統(tǒng)的設(shè)計(jì)方式，從當(dāng)前大規(guī)模預(yù)訓(xùn)練的范式轉(zhuǎn)向更加動(dòng)態(tài)、注重經(jīng)驗(yàn)的學(xué)習(xí)。

這與操作系統(tǒng)發(fā)展有著驚人的相似之處。正如早期計(jì)算機(jī)需要程序員手動(dòng)管理內(nèi)存分配一樣，當(dāng)前的AI系統(tǒng)要求開發(fā)人員認(rèn)真協(xié)調(diào)信息在不同部件之間的流動(dòng)方式。MemOS屏蔽掉了這種復(fù)雜性，有望帶來新一代AI應(yīng)用程序：它們可以構(gòu)建在復(fù)雜的記憶管理上，而無需深厚的技術(shù)專業(yè)知識(shí)。

5.研究人員開源代碼以加快采用

該團(tuán)隊(duì)已將MemOS作為開源項(xiàng)目發(fā)布，在GitHub上提供了完整的代碼，并為包括 HuggingFace、OpenAI和Ollama在內(nèi)的主要AI平臺(tái)提供了集成支持。這種開源策略似乎旨在加快采用，并鼓勵(lì)社區(qū)發(fā)展，而不是追求可能限制廣泛實(shí)施的專有方法。

項(xiàng)目負(fù)責(zé)人Zhiyu Li在GitHub代碼庫(kù)中說道：“我們希望MemOS有助于使AI系統(tǒng)由靜態(tài)生成器變成不斷改進(jìn)的記憶驅(qū)動(dòng)智能體?！痹撓到y(tǒng)目前支持Linux平臺(tái)，并計(jì)劃支持Windows和macOS，這表明團(tuán)隊(duì)優(yōu)先考慮企業(yè)和開發(fā)人員的采用，而不是消費(fèi)者立即可以享用。

開源發(fā)布策略反映了AI研究領(lǐng)域一個(gè)更廣泛的趨勢(shì)：底層基礎(chǔ)設(shè)施方面的改進(jìn)公開共享，以惠及整個(gè)生態(tài)系統(tǒng)。這種做法歷來加快了深度學(xué)習(xí)框架等領(lǐng)域的創(chuàng)新，可能會(huì)對(duì) AI 系統(tǒng)的記憶管理產(chǎn)生類似的積極影響。

6.大廠新賽點(diǎn)：記憶管理，OpenAI、谷歌、Anthropic已入局

當(dāng)下，各大AI公司竭力克服當(dāng)前的記憶方法存在的局限性，凸顯了這一挑戰(zhàn)對(duì)該行業(yè)來說多么重大。OpenAI最近為ChatGPT引入了記憶功能，而Anthropic、谷歌及其他提供商已嘗試了多種持久上下文。然而，這些方法的范圍通常有限，常常缺少M(fèi)emOS所提供的系統(tǒng)性方法。

這項(xiàng)研究的時(shí)機(jī)表明，記憶管理已成為AI界競(jìng)相角力的一個(gè)方面。能夠有效解決記憶問題的公司可能會(huì)在用戶留存和滿意度方面獲得顯著優(yōu)勢(shì)，因?yàn)樗麄兊腁I系統(tǒng)將能夠隨著時(shí)間的推移建立更深入、更實(shí)用的關(guān)系。

業(yè)內(nèi)觀察家早就預(yù)測(cè)，AI的下一大突破不一定來自更大的模型或更多的訓(xùn)練數(shù)據(jù)，而是來自更好地模仿人類認(rèn)知能力的架構(gòu)創(chuàng)新。記憶管理正是這樣的重大進(jìn)步，有望支持當(dāng)前的無狀態(tài)系統(tǒng)無法實(shí)現(xiàn)的新應(yīng)用和新場(chǎng)景。

這一突破無疑是AI研究向更有狀態(tài)、更持久的系統(tǒng)轉(zhuǎn)變的一部分，這種系統(tǒng)可以隨著時(shí)間的推移積累和完善知識(shí)，而這些是被視為AGI所必需的功能。對(duì)于評(píng)估AI實(shí)施的企業(yè)技術(shù)領(lǐng)導(dǎo)者來說，MemOS 可能代表著構(gòu)建AI系統(tǒng)方面的重大進(jìn)步：這類系統(tǒng)可以維護(hù)上下文并逐漸改進(jìn)，而不是將每次交互都視為孤立的。

研究團(tuán)隊(duì)表示，他們計(jì)劃探究跨模型記憶共享、自進(jìn)化記憶塊以及更廣泛的“記憶市場(chǎng)”生態(tài)系統(tǒng)。

但也許MemOS最重大的影響不是具體的技術(shù)實(shí)現(xiàn)，而是證明將記憶視為首要的計(jì)算資源有望大幅提升AI能力。

在這個(gè)主要專注于擴(kuò)展模型大小和訓(xùn)練數(shù)據(jù)的行業(yè)，MemOS表明下一個(gè)突破可能來自更好的架構(gòu)，而不是更大的計(jì)算機(jī)。

論文鏈接：https://arxiv.org/pdf/2507.03724

GitHub鏈接：https://github.com/MemTensor/MemOS

參考鏈接：https://venturebeat.com/ai/chinese-researchers-unveil-memos-the-first-memory-operating-system-that-gives-ai-human-like-recall/

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，譯者：沈建苗