Meta FAIR團(tuán)隊(duì)剛剛發(fā)布了Code World Model (CWM)，這是一個(gè)32B參數(shù)的開(kāi)源大語(yǔ)言模型，標(biāo)志著代碼生成領(lǐng)域的一次根本性轉(zhuǎn)變。想象一下傳統(tǒng)的代碼模型就像一個(gè)只會(huì)背誦菜譜的廚師，雖然能夠準(zhǔn)確復(fù)述每道菜的制作步驟，但并不真正理解食材如何變化、調(diào)料如何融合。而CWM的革命性突破在于它不僅知道代碼怎么寫(xiě)，更重要的是理解代碼運(yùn)行時(shí)會(huì)發(fā)生什么。這就像培養(yǎng)了一個(gè)真正懂得烹飪?cè)淼拇髲N，能夠預(yù)測(cè)每個(gè)步驟后食物的狀態(tài)變化。

1.什么是"代碼世界模型"：給AI裝上程序員的大腦

代碼世界模型是一個(gè)能夠模擬和預(yù)測(cè)代碼執(zhí)行環(huán)境的AI系統(tǒng)。傳統(tǒng)的代碼AI就像一個(gè)擅長(zhǎng)抄寫(xiě)的學(xué)生，能夠?qū)懗稣Z(yǔ)法正確的代碼，但不知道這些代碼運(yùn)行起來(lái)會(huì)產(chǎn)生什么結(jié)果。而世界模型則像給AI安裝了一個(gè)程序員的大腦，讓它能夠在腦海中"運(yùn)行"代碼，預(yù)測(cè)每一行代碼執(zhí)行后變量會(huì)如何變化，程序會(huì)進(jìn)入什么狀態(tài)。

這種能力的獲得并非偶然。CWM通過(guò)兩種全新的訓(xùn)練數(shù)據(jù)來(lái)學(xué)習(xí)這種"執(zhí)行理解"能力。第一種是Python解釋器的執(zhí)行軌跡，就像給學(xué)生展示每道數(shù)學(xué)題的詳細(xì)解題過(guò)程，讓AI看到每行代碼執(zhí)行后局部變量的真實(shí)狀態(tài)變化。第二種是Docker化存儲(chǔ)庫(kù)中的代理交互數(shù)據(jù)，這相當(dāng)于讓AI觀摩真實(shí)程序員在實(shí)際項(xiàng)目中如何編輯代碼、運(yùn)行測(cè)試、修復(fù)bug的完整過(guò)程。

圖片

Meta團(tuán)隊(duì)構(gòu)建了一個(gè)名為"ForagerAgent"的軟件工程代理來(lái)大規(guī)模收集這些寶貴的訓(xùn)練數(shù)據(jù)。這個(gè)代理就像一個(gè)勤奮的實(shí)習(xí)生，在數(shù)千個(gè)真實(shí)的GitHub項(xiàng)目中反復(fù)練習(xí)解決編程問(wèn)題，每次都詳細(xì)記錄下自己的思考過(guò)程、操作步驟和得到的反饋。最終，它從1萬(wàn)個(gè)Docker鏡像和3150個(gè)代碼庫(kù)中收集了約300萬(wàn)條這樣的學(xué)習(xí)軌跡。

圖片

2.技術(shù)架構(gòu)：精心設(shè)計(jì)的AI大腦

CWM的技術(shù)架構(gòu)就像一個(gè)精心設(shè)計(jì)的大腦，每個(gè)組件都有其獨(dú)特的作用。這個(gè)AI大腦擁有32B個(gè)參數(shù)，采用了當(dāng)前最先進(jìn)的Transformer架構(gòu)。想象人類(lèi)大腦的神經(jīng)元網(wǎng)絡(luò)，CWM擁有64層深度的神經(jīng)網(wǎng)絡(luò)，每一層都在處理和提煉信息。

特別值得一提的是CWM的"注意力機(jī)制"設(shè)計(jì)。傳統(tǒng)模型的注意力就像用手電筒照明，一次只能看到有限的范圍。而CWM采用了一種革命性的混合窗口策略：它既有聚光燈般的局部注意力來(lái)處理精細(xì)的代碼細(xì)節(jié)（8000個(gè)token的窗口），又有探照燈般的全局注意力來(lái)把握整個(gè)項(xiàng)目的宏觀結(jié)構(gòu)（131000個(gè)token的超長(zhǎng)窗口）。

圖片

這種設(shè)計(jì)讓CWM能夠同時(shí)理解一行代碼的具體作用和它在整個(gè)項(xiàng)目中的地位，就像一個(gè)優(yōu)秀的程序員既能專(zhuān)注于細(xì)節(jié)實(shí)現(xiàn)，又不會(huì)迷失在代碼的海洋中。

更令人驚嘆的是，經(jīng)過(guò)量化優(yōu)化后，這個(gè)擁有32B參數(shù)的AI大腦可以在單張80GB的GPU上運(yùn)行。這就像把一臺(tái)超級(jí)計(jì)算機(jī)的能力壓縮到了一臺(tái)高端工作站中，大大降低了研究門(mén)檻。

3.三階段訓(xùn)練：從新手到專(zhuān)家的成長(zhǎng)歷程

CWM的訓(xùn)練過(guò)程就像培養(yǎng)一個(gè)程序員從新手成長(zhǎng)為專(zhuān)家的完整歷程。

圖片

第一階段是通用預(yù)訓(xùn)練，就像讓學(xué)生學(xué)習(xí)基礎(chǔ)的編程語(yǔ)法和常見(jiàn)模式。CWM在這個(gè)階段消化了8萬(wàn)億個(gè)token的代碼數(shù)據(jù)，相當(dāng)于閱讀了無(wú)數(shù)本編程教科書(shū)和代碼示例。

第二階段是中期訓(xùn)練，這是CWM獲得"世界模型"能力的關(guān)鍵時(shí)期。在這個(gè)階段，CWM不再只是學(xué)習(xí)靜態(tài)的代碼文本，而是開(kāi)始學(xué)習(xí)代碼的動(dòng)態(tài)執(zhí)行過(guò)程。它學(xué)習(xí)了額外的5萬(wàn)億token數(shù)據(jù)，包括Python執(zhí)行軌跡、真實(shí)的軟件工程任務(wù)解決過(guò)程、代碼變更歷史等。這就像讓一個(gè)編程學(xué)生不僅要背誦代碼，還要親自動(dòng)手運(yùn)行、調(diào)試、修改代碼，真正理解程序的運(yùn)行機(jī)制。

第三階段是后訓(xùn)練，分為監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)兩個(gè)部分。監(jiān)督微調(diào)階段用1000億token的指令數(shù)據(jù)教會(huì)CWM如何與人類(lèi)交互，如何理解和響應(yīng)編程需求。強(qiáng)化學(xué)習(xí)階段則通過(guò)1720億token的實(shí)踐訓(xùn)練，讓CWM在真實(shí)的編程、數(shù)學(xué)和軟件工程環(huán)境中反復(fù)練習(xí)，通過(guò)試錯(cuò)來(lái)提升自己的能力。

圖片

這個(gè)過(guò)程采用了一種名為GRPO（Group Relative Policy Optimization）的先進(jìn)算法，這個(gè)算法的巧妙之處在于它通過(guò)比較同組內(nèi)不同方案的效果來(lái)學(xué)習(xí)，就像讓學(xué)生通過(guò)對(duì)比不同解題方法的優(yōu)劣來(lái)提高解題能力。

圖片

CWM-RL是一種異步的強(qiáng)化學(xué)習(xí)權(quán)重更新機(jī)制，允許模型權(quán)重在任何時(shí)刻（軌跡間、步驟間、甚至token生成中）靈活更新，徹底消除了傳統(tǒng)RL中各工作節(jié)點(diǎn)必須同步等待的開(kāi)銷(xiāo)，從而最大化吞吐量并最小化空閑時(shí)間。雖然這種設(shè)計(jì)會(huì)導(dǎo)致單個(gè)軌跡可能使用混合版本的權(quán)重，但通過(guò)頻繁更新機(jī)制，系統(tǒng)確保生產(chǎn)內(nèi)容相對(duì)合理，實(shí)現(xiàn)了效率與一致性的良好平衡。

圖片

工作節(jié)從多個(gè)RL環(huán)境中生成軌跡數(shù)據(jù)并通過(guò)傳輸隊(duì)列發(fā)送給訓(xùn)練節(jié)點(diǎn)，訓(xùn)練節(jié)點(diǎn)將接收到的數(shù)據(jù)或復(fù)習(xí)混合數(shù)據(jù)打包成訓(xùn)練批次（不超過(guò)最大上下文長(zhǎng)度）進(jìn)行單次梯度更新，而環(huán)境的執(zhí)行和驗(yàn)證可以在工作節(jié)點(diǎn)本地進(jìn)行，也可以在遠(yuǎn)程集群或云端完成。

4.四大核心能力：AI程序員的超能力

CWM具備四大核心能力，每一項(xiàng)都代表了AI編程領(lǐng)域的重大突破。

第一項(xiàng)能力是"神經(jīng)調(diào)試器"功能。想象一個(gè)程序員能夠在腦海中完整地"運(yùn)行"一段代碼，預(yù)測(cè)每一步會(huì)發(fā)生什么，而不需要真正執(zhí)行它。CWM就具備了這種超能力。給定一個(gè)函數(shù)和初始狀態(tài)，它能夠預(yù)測(cè)每一步執(zhí)行后局部變量的變化、堆棧的狀態(tài)，甚至可能出現(xiàn)的異常情況。這對(duì)于代碼教學(xué)、代碼審查和bug診斷都具有革命性的意義。學(xué)生可以通過(guò)這個(gè)功能更好地理解代碼執(zhí)行流程，程序員可以在不運(yùn)行代碼的情況下進(jìn)行調(diào)試分析。

第二項(xiàng)能力是端到端的代理編程。這意味著CWM可以像真正的程序員一樣，從理解一個(gè)GitHub問(wèn)題開(kāi)始，到最終提交完整的代碼補(bǔ)丁。它的工作流程包括分析問(wèn)題描述、在大型代碼庫(kù)中定位相關(guān)文件、通過(guò)執(zhí)行軌跡分析找到問(wèn)題根源、生成修復(fù)補(bǔ)丁，最后通過(guò)測(cè)試驗(yàn)證解決方案的有效性。整個(gè)過(guò)程完全自動(dòng)化，就像擁有了一個(gè)24小時(shí)不休息的高級(jí)程序員。

第三項(xiàng)能力是多模態(tài)代碼理解。CWM不僅理解高級(jí)編程語(yǔ)言如Python，還能理解編譯器的中間表示、GPU并行計(jì)算代碼、操作系統(tǒng)調(diào)用，甚至容器化環(huán)境中的復(fù)雜配置。這種跨層次的理解能力讓它能夠處理從算法設(shè)計(jì)到系統(tǒng)部署的全棧編程問(wèn)題。

第四項(xiàng)能力是形式化推理。通過(guò)學(xué)習(xí)Lean數(shù)學(xué)證明，CWM具備了將代碼問(wèn)題轉(zhuǎn)化為數(shù)學(xué)問(wèn)題來(lái)求解的能力。它可以進(jìn)行代碼正確性的數(shù)學(xué)證明、函數(shù)等價(jià)性分析，甚至基于數(shù)學(xué)原理提出算法優(yōu)化建議。這種能力讓AI編程從經(jīng)驗(yàn)驅(qū)動(dòng)向理論驅(qū)動(dòng)轉(zhuǎn)變。

5.性能表現(xiàn)：超越同級(jí)別的卓越成績(jī)

CWM在多個(gè)權(quán)威基準(zhǔn)測(cè)試中的表現(xiàn)令人印象深刻。在SWE-bench Verified這個(gè)最具挑戰(zhàn)性的軟件工程基準(zhǔn)測(cè)試中，CWM達(dá)到了65.8%的成績(jī)。這個(gè)測(cè)試的基準(zhǔn)在于要求模型在真實(shí)的GitHub代碼庫(kù)中解決實(shí)際的軟件工程問(wèn)題，包括理解復(fù)雜的代碼庫(kù)結(jié)構(gòu)、準(zhǔn)確定位bug位置、生成完整可用的代碼補(bǔ)丁。

圖片

在LiveCodeBench這個(gè)實(shí)時(shí)更新的編程競(jìng)賽基準(zhǔn)測(cè)試中，CWM取得了68.6%的成績(jī)。這個(gè)測(cè)試的特點(diǎn)是題目會(huì)不斷更新，避免了訓(xùn)練數(shù)據(jù)泄露的問(wèn)題，更真實(shí)地反映了模型的編程能力。

在數(shù)學(xué)推理方面，CWM在Math-500上達(dá)到了96.6%的接近完美成績(jī)，在美國(guó)數(shù)學(xué)邀請(qǐng)賽AIME 2024上取得了76.0%的成績(jī)，展現(xiàn)了其強(qiáng)大的數(shù)學(xué)推理能力。

圖片

特別值得關(guān)注的是CWM采用了"測(cè)試時(shí)擴(kuò)展"（TTS）技術(shù)來(lái)進(jìn)一步提升性能。這個(gè)技術(shù)的原理是為同一個(gè)問(wèn)題生成多個(gè)候選解決方案，然后通過(guò)測(cè)試用例或形式化驗(yàn)證來(lái)選擇最佳答案。這種方法雖然增加了推理時(shí)的計(jì)算開(kāi)銷(xiāo)，但顯著提升了答案的準(zhǔn)確率，體現(xiàn)了世界模型在驗(yàn)證和搜索中的獨(dú)特價(jià)值。

CWM的工程實(shí)現(xiàn)考慮了實(shí)際應(yīng)用的各種需求。系統(tǒng)提示工程是其中的關(guān)鍵環(huán)節(jié)，CWM需要專(zhuān)門(mén)設(shè)計(jì)的系統(tǒng)提示才能發(fā)揮最佳性能。這些提示模板就像給AI提供的工作指南，告訴它如何識(shí)別不同類(lèi)型的任務(wù)、如何格式化輸入和輸出、如何與外部工具交互。

在技術(shù)實(shí)現(xiàn)上，CWM繼承了Llama-3的分詞器設(shè)計(jì)，同時(shí)添加了專(zhuān)用的控制token來(lái)標(biāo)記不同的工作模式。這些控制token就像交通信號(hào)燈，指導(dǎo)AI在不同的工作狀態(tài)之間切換，確保它能夠正確處理軌跡分析、推理步驟、工具調(diào)用等不同類(lèi)型的任務(wù)。

硬件方面，雖然CWM是一個(gè)擁有32B參數(shù)的大模型，但通過(guò)精心的優(yōu)化設(shè)計(jì)，研究人員可以在相對(duì)可及的硬件上運(yùn)行它。完整的評(píng)估環(huán)境需要160GB的GPU內(nèi)存（比如兩張英偉達(dá)H100顯卡），但對(duì)于單純的推理任務(wù)，通過(guò)量化技術(shù)可以在單張80GB的GPU上運(yùn)行。

6.CWM的發(fā)布不僅僅是一個(gè)新模型的問(wèn)世，更是構(gòu)建了一個(gè)完整的開(kāi)放科學(xué)生態(tài)系統(tǒng)。

Meta提供了三個(gè)不同訓(xùn)練階段的模型檢查點(diǎn)：

• 預(yù)訓(xùn)練模型用于研究基礎(chǔ)架構(gòu)和預(yù)訓(xùn)練效果
• 監(jiān)督微調(diào)模型展示指令遵循能力的發(fā)展
• 完整的指令調(diào)優(yōu)模型則可以直接使用

這種分層發(fā)布的方式讓研究人員可以深入理解CWM能力發(fā)展的每個(gè)關(guān)鍵節(jié)點(diǎn)。配套的研究工具鏈同樣完善。推理工具包括本地服務(wù)端點(diǎn)和高性能的Fastgen服務(wù)器，讓研究人員可以方便地部署和使用模型。

在許可證設(shè)計(jì)上，Meta采用了雙重許可模式：代碼部分采用最開(kāi)放的BSD-3許可證，而模型權(quán)重則采用專(zhuān)門(mén)的研究許可證。這種設(shè)計(jì)平衡了開(kāi)放研究與商業(yè)考慮，確保學(xué)術(shù)機(jī)構(gòu)和研究人員可以自由使用，同時(shí)也為未來(lái)的商業(yè)應(yīng)用保留了靈活性。

CWM的技術(shù)突破將在多個(gè)層面產(chǎn)生深遠(yuǎn)影響。對(duì)于軟件開(kāi)發(fā)而言，神經(jīng)調(diào)試器功能將改變程序員調(diào)試代碼的方式。想象一下，程序員可以在編寫(xiě)代碼的同時(shí)就看到執(zhí)行預(yù)測(cè)，及時(shí)發(fā)現(xiàn)潛在問(wèn)題，這將大大提高開(kāi)發(fā)效率和代碼質(zhì)量。

對(duì)于編程教育，CWM提供了一個(gè)前所未有的教學(xué)工具。學(xué)生不再需要依賴抽象的概念解釋?zhuān)梢灾苯?看到"代碼的執(zhí)行過(guò)程。這種可視化的學(xué)習(xí)方式將讓編程學(xué)習(xí)變得更加直觀和高效。

對(duì)于AI研究社區(qū)，CWM開(kāi)創(chuàng)了世界模型在代碼生成中應(yīng)用的先河。這個(gè)方向的研究潛力巨大，可能會(huì)催生出更多創(chuàng)新的架構(gòu)設(shè)計(jì)和訓(xùn)練方法。同時(shí)，CWM提供的開(kāi)源工具和數(shù)據(jù)集也將加速整個(gè)領(lǐng)域的研究進(jìn)展。

更重要的是，CWM代表了AI從"模式匹配"向"理解推理"的根本性轉(zhuǎn)變。傳統(tǒng)的代碼生成模型本質(zhì)上是在進(jìn)行高級(jí)的模式匹配，根據(jù)訓(xùn)練數(shù)據(jù)中的相似例子來(lái)生成代碼。而CWM通過(guò)理解代碼的執(zhí)行邏輯，能夠進(jìn)行真正的推理和規(guī)劃。Meta CWM的發(fā)布標(biāo)志著AI編程領(lǐng)域進(jìn)入了一個(gè)新紀(jì)元。這不僅僅是參數(shù)規(guī)?；蛐阅苤笜?biāo)的提升，而是在概念層面的根本性突破。通過(guò)讓AI理解代碼的執(zhí)行過(guò)程，CWM為構(gòu)建真正智能的編程助手奠定了基礎(chǔ)。