目前深度學(xué)習(xí)系統(tǒng)在語言智能方面已經(jīng)有了非常大的進(jìn)展, 在語言理解、表達(dá)、邏輯推理等方面都有近似人類能力的表現(xiàn)。但是, 目前最好的深度學(xué)習(xí)系統(tǒng)在現(xiàn)實(shí)世界任務(wù)（例如駕駛）中仍遠(yuǎn)未達(dá)到人類相當(dāng)?shù)目煽啃? 這可能是因?yàn)槿祟惡驮S多動(dòng)物具備學(xué)習(xí)世界模型的能力，即世界如何運(yùn)作的內(nèi)部模型。

Yann LeCun提出的通用人工智能研究必須解決三個(gè)主要挑戰(zhàn)：

• 機(jī)器如何通過觀察來學(xué)習(xí)代表世界、學(xué)習(xí)預(yù)測(cè)和學(xué)習(xí)采取行動(dòng)？現(xiàn)實(shí)世界中的交互既昂貴又危險(xiǎn)，Agent應(yīng)該在沒有交互的情況下（通過觀察）盡可能多地了解世界，以盡量減少學(xué)習(xí)特定任務(wù)所需的昂貴和危險(xiǎn)試驗(yàn)的數(shù)量。
• 機(jī)器如何以與基于梯度的學(xué)習(xí)兼容的方式進(jìn)行推理和計(jì)劃？我們最好的學(xué)習(xí)方法依賴于估計(jì)和使用損失的梯度，這只能在可微架構(gòu)中執(zhí)行，并且很難與基于邏輯的符號(hào)推理相協(xié)調(diào)。
• 機(jī)器如何學(xué)習(xí)以分層方式、多抽象層次和多時(shí)間尺度來表示感知和行動(dòng)計(jì)劃？人類和許多動(dòng)物能夠構(gòu)想多層次的抽象，通過將復(fù)雜的動(dòng)作分解為較低層次的序列，可以進(jìn)行長期預(yù)測(cè)和長期規(guī)劃。

1、什么是世界模型？

與大語言模型相比，世界模型是一個(gè)更復(fù)雜更high-level的概念，它涉及到具身智能和現(xiàn)實(shí)世界的感知、理解和交互。世界模型通過對(duì)周圍環(huán)境進(jìn)行建模，使人工智能系統(tǒng)能夠像人類一樣理解和預(yù)測(cè)環(huán)境，從而做出相應(yīng)的行動(dòng)。其本質(zhì)是對(duì)輸入數(shù)據(jù)中的豐富語義以及背后的物理規(guī)律進(jìn)行學(xué)習(xí)，從而對(duì)物理世界的演化產(chǎn)生深刻理解。

隨著自動(dòng)駕駛技術(shù)的不斷成熟，車輛需要在復(fù)雜多變的道路環(huán)境中安全地行駛，這就要求系統(tǒng)不僅能“看見”周圍的世界，還要能“理解”和“推測(cè)”未來的變化。

自動(dòng)駕駛的世界模型（World Model）是指一種能夠理解和預(yù)測(cè)周圍環(huán)境的AI認(rèn)知框架，它幫助自動(dòng)駕駛系統(tǒng)像人類一樣感知、推理和決策。簡單來說，它是自動(dòng)駕駛汽車的“大腦”，用于構(gòu)建對(duì)現(xiàn)實(shí)世界的數(shù)字化理解，并預(yù)測(cè)未來可能發(fā)生的情況。

傳統(tǒng)地圖只能告訴我們現(xiàn)在的位置、道路的形狀和一些靜態(tài)信息，但世界模型不僅記錄當(dāng)下路況，還能夠模擬未來幾秒鐘、幾分鐘里可能會(huì)發(fā)生的變化。當(dāng)一輛自動(dòng)駕駛汽車行駛在城市道路上，它通過攝像頭、激光雷達(dá)等傳感器不斷獲取如路邊行人、其他車輛、交通信號(hào)燈等周圍環(huán)境信息。

世界模型會(huì)把這些輸入數(shù)據(jù)轉(zhuǎn)換成一種更小、更抽象的內(nèi)部“狀態(tài)”，類似于把一幅高分辨率的街景圖壓縮成一串?dāng)?shù)字編碼。當(dāng)汽車需要判斷前方車輛是在減速還是加速、行人是否有可能橫穿馬路時(shí)，它會(huì)在這個(gè)

“數(shù)字空間”里模擬幾次不同的動(dòng)作效果，快速判斷最安全的方案。

2、世界模型的核心功能

世界模型在自動(dòng)駕駛中的作用類似于人類的“常識(shí)”，主要包括以下能力：

• 環(huán)境感知：識(shí)別車輛、行人、交通標(biāo)志、道路結(jié)構(gòu)等。
• 狀態(tài)預(yù)測(cè)：預(yù)測(cè)周圍車輛、行人的未來行為（如變道、減速）。
• 場景理解：理解復(fù)雜交通場景（如十字路口、施工區(qū)）。
• 決策規(guī)劃：基于預(yù)測(cè)結(jié)果，規(guī)劃最優(yōu)行駛路徑。
• 仿真模擬：在虛擬環(huán)境中測(cè)試極端情況（如惡劣天氣、突發(fā)事故）。

實(shí)現(xiàn)這樣的“抽象與模擬”的過程可以分為三個(gè)關(guān)鍵步驟：先是“壓縮”，也就是把原始的圖像、點(diǎn)云等高維感知數(shù)據(jù)變成一個(gè)更簡潔的向量表示；接著是“預(yù)測(cè)”，也就是在這個(gè)向量空間里學(xué)習(xí)環(huán)境如何隨時(shí)間變化；最后是“還原”，即把預(yù)測(cè)得到的向量再“解碼”回圖像或其他可視化信息，幫助系統(tǒng)評(píng)估模擬結(jié)果是否符合真實(shí)情況。

世界模型能夠在潛在空間中模擬多種場景變化，其中包括在高峰時(shí)段的城市道路、夜晚燈火昏暗的郊區(qū)公路、雨天積水的路段，甚至是突發(fā)事故或行人闖入的極端情況。換句話說，世界模型相當(dāng)于給算法準(zhǔn)備了一個(gè)“千變?nèi)f化的訓(xùn)練場”，幫助它在各種復(fù)雜情形下都能提前“練手”，提升泛化能力。

3、世界模型的實(shí)現(xiàn)方式

自動(dòng)駕駛的世界模型通常由多個(gè)AI技術(shù)融合而成：

（1）感知模型（Perception Model）

• 通過攝像頭、激光雷達(dá)（LiDAR）、毫米波雷達(dá)等傳感器獲取數(shù)據(jù)。
• 使用計(jì)算機(jī)視覺（CV）+深度學(xué)習(xí)識(shí)別物體（如車輛、行人、紅綠燈）。

（2）預(yù)測(cè)模型（Prediction Model）

• 基于歷史數(shù)據(jù)預(yù)測(cè)其他交通參與者的行為（如是否會(huì)突然變道）。
• 常用LSTM（長短期記憶網(wǎng)絡(luò)）、Transformer、強(qiáng)化學(xué)習(xí)（RL）等技術(shù)。世界模型既能為當(dāng)前的環(huán)境狀態(tài)建立一個(gè)穩(wěn)定的數(shù)字化表示，又能在這個(gè)空間里做長短期的多步預(yù)測(cè)。

（3）規(guī)劃與控制模型（Planning & Control）

• 結(jié)合高精地圖、交通規(guī)則，計(jì)算最優(yōu)行駛路徑。
• 使用強(qiáng)化學(xué)習(xí)（RL）、最優(yōu)控制算法進(jìn)行實(shí)時(shí)調(diào)整。

（4）仿真與驗(yàn)證（Simulation）

• 在虛擬環(huán)境（如CARLA、Waymo Simulator）中測(cè)試極端情況，確保模型在現(xiàn)實(shí)世界中的魯棒性。在實(shí)際采集和理解真實(shí)圖像時(shí)，直接在攝像頭或雷達(dá)數(shù)據(jù)的原始像素或點(diǎn)云上進(jìn)行預(yù)測(cè)計(jì)算，速度會(huì)很慢且耗費(fèi)大量算力；而如果先把環(huán)境“壓縮”成低維的數(shù)字表示，再在這個(gè)空間里進(jìn)行多步推演，計(jì)算效率會(huì)高很多，也更容易應(yīng)對(duì)傳感器噪聲帶來的不確定性。

4、為什么自動(dòng)駕駛需要世界模型？

過去，自動(dòng)駕駛算法大多數(shù)依賴“模型外訓(xùn)練”（Model-Free Training），需要在真實(shí)或高度仿真的場景里不斷嘗試、碰撞和糾正，這樣會(huì)消耗大量的仿真資源和時(shí)間。

而世界模型所帶來的“模型內(nèi)訓(xùn)練”（Model-Based Training）思路則是，當(dāng)汽車收集到足夠多的真實(shí)駕駛數(shù)據(jù)后，先用這些數(shù)據(jù)訓(xùn)練出一個(gè)能夠高度還原現(xiàn)實(shí)世界的模型。之后，算法在這個(gè)模型里進(jìn)行不斷的強(qiáng)化學(xué)習(xí)和策略優(yōu)化，極大減少了對(duì)真實(shí)車輛、真實(shí)道路的依賴。這就像飛行員先在模擬器里反復(fù)訓(xùn)練，再到真機(jī)上飛行，既能提高安全性，也能大幅節(jié)省訓(xùn)練成本。

另外，車載計(jì)算單元（ECU）通常算力有限、內(nèi)存受限，因此需要將訓(xùn)練完成的世界模型進(jìn)行剪枝、量化，或者利用知識(shí)蒸餾等手段壓縮模型規(guī)模，才能在實(shí)時(shí)運(yùn)行時(shí)保證延遲足夠低。很多廠商還會(huì)借助專門的硬件加速平臺(tái)，比如NVIDIA Drive或者英偉達(dá)的Xavier模塊，將深度神經(jīng)網(wǎng)絡(luò)模型加載到專用芯片里。在這樣一個(gè)軟硬結(jié)合的架構(gòu)里，車輛能夠在幾毫秒內(nèi)完成世界模型的編碼與預(yù)測(cè)，從而為決策模塊提供快速且可靠的“未來場景”信息。

世界模型針對(duì)自動(dòng)駕駛的價(jià)值

• 場景構(gòu)建與仿真 - 作為世界模擬器world simulator, 仿真世界的復(fù)雜性

     用于生成高保真的復(fù)雜的場景數(shù)據(jù)，用于訓(xùn)練和驗(yàn)證自主智能系統(tǒng)(特別是端到端系統(tǒng)中的決策過程decision-making), 可在云上構(gòu)建閉環(huán)的自監(jiān)督訓(xùn)練系統(tǒng);

     結(jié)合語言大模型的能力，例如利用視頻、文本和動(dòng)作等抽象的輸入方式生成真實(shí)的場景，及利用文本來做場景編輯和定制;

     構(gòu)建Failure-case生成系統(tǒng), 解決各種corner-case問題, 改善learning-based規(guī)劃系統(tǒng)的性能 。

• 決策 Decision-making - 直接作為決策大腦, 模仿人類的感知和決策過程

     通過感知學(xué)習(xí)環(huán)境及其未來動(dòng)態(tài)的表示，提供對(duì)周圍環(huán)境(道路、車輛、行人等)的結(jié)構(gòu)化理解，輔助決策系統(tǒng)；

     準(zhǔn)確的預(yù)測(cè)未來使自動(dòng)駕駛汽車能夠預(yù)測(cè)并規(guī)劃其行動(dòng)，提高道路上的安全性和效率;

     擁有類人的counterfactual reasoning能力, 能夠處理已知數(shù)據(jù)分布之外的復(fù)雜場景(out-of-domain cases 罕見的事故和行為場景), 做出最安全可靠的決策。

4、世界模型的車企案例

目前工業(yè)界, 世界模型最多的應(yīng)用是在自動(dòng)駕駛領(lǐng)域, 英國的具身智能明星公司Wavye給了非常好的解釋 :

• [商業(yè)模式成熟度] 與可以使用數(shù)千萬輛汽車的自動(dòng)駕駛不同，其他形式的具身智能，如制造業(yè)或人形機(jī)器人，現(xiàn)在還缺乏可靠的大規(guī)模設(shè)備基礎(chǔ)以及清晰的商業(yè)模式;
• [數(shù)據(jù)] 其他領(lǐng)域與汽車領(lǐng)域相比, 數(shù)據(jù)的可獲取難度都較高, 也缺乏廣泛的數(shù)據(jù)來源;
• [場景及范化] 針對(duì)于某一場景的具身智能, 比如在受控的倉庫環(huán)境中進(jìn)行簡單的抓取和放置機(jī)器人任務(wù), 很難遷移到更廣泛的環(huán)境和物理空間, 去解決其他場景的任務(wù); (但是汽車駕駛場景中有較為規(guī)范的行車環(huán)境(道路)和規(guī)則)

• 理想汽車 - 利用世界模式，打造自動(dòng)駕駛模擬考場 

     理想汽車, 將世界模型應(yīng)用于自動(dòng)駕駛，主要是用來做端到端模型的完整驗(yàn)證測(cè)試, 在產(chǎn)品交付之前，要做更多更有效的測(cè)試，每個(gè)模型的發(fā)版至少進(jìn)行了1000萬公里測(cè)試。如果用實(shí)車做測(cè)試，一方面是成本，另一方面是場景限制，測(cè)試效果可能達(dá)不到交付「有監(jiān)督自動(dòng)駕駛」的程度，特別是當(dāng)模型迭代比較迅速的時(shí)候;

     理想的世界模型支撐了全新一代理想智能駕駛大范圍、高速迭代，提供了自動(dòng)化的AI能力評(píng)價(jià)體系，其核心采用diffusion transformer做駕駛場景的視頻生成 + 3DGS做場景重建;

     端到端算法可以自由地與真實(shí)環(huán)境交互，從而在仿真環(huán)境中就可實(shí)現(xiàn)上路實(shí)測(cè)的效果。

• 蔚來 - NIO World Model (NWM)

類似于GAIA-1的自回歸World Model，NWM 能基于 3 秒的駕駛視頻，生成 120 秒的想象視頻。NWM 具備與生俱來的閉環(huán)仿真測(cè)試能力，已在復(fù)雜交互場景中全面測(cè)試并驗(yàn)證性能。

號(hào)稱解決了兩個(gè)關(guān)鍵挑戰(zhàn): 時(shí)空一致性spatial-temporal consistency, 精確可控 precise controllability。

5、世界模型部署面臨的挑戰(zhàn)

在實(shí)際汽車硬件上部署世界模型時(shí)，也有一些有趣的技術(shù)細(xì)節(jié)。盡管世界模型是自動(dòng)駕駛的核心，要讓世界模型真正落地并發(fā)揮優(yōu)勢(shì)，也并非易事，仍面臨以下難題：

• 第一大挑戰(zhàn)是復(fù)雜場景的泛化能力。

    世界模型要學(xué)會(huì)準(zhǔn)確地還原現(xiàn)實(shí)，就需要大量涵蓋各種道路、天氣、交通密度等場景的高質(zhì)量數(shù)據(jù)。而有些如暴雨天的道路積水、急彎處突然出現(xiàn)的行人或者車輛失控等極端或風(fēng)險(xiǎn)場景在真實(shí)環(huán)境下往往難以收集到足夠樣本。

    長尾問題（Corner Cases）：現(xiàn)實(shí)世界存在大量罕見場景（如極端天氣、突發(fā)事故、動(dòng)物闖入等），模型難以覆蓋所有可能性。例如：特斯拉Autopilot曾因無法識(shí)別橫穿馬路的白色卡車導(dǎo)致事故。

    多模態(tài)數(shù)據(jù)融合：攝像頭、激光雷達(dá)（LiDAR）、毫米波雷達(dá)等傳感器數(shù)據(jù)如何高效融合，避免信息沖突。

• 第二大挑戰(zhàn)是實(shí)時(shí)性與計(jì)算效率。

    高延遲問題：世界模型需要在毫秒級(jí)完成感知→預(yù)測(cè)→決策→控制的全流程，對(duì)算力要求極高。例如：城市復(fù)雜路口需實(shí)時(shí)處理數(shù)十個(gè)動(dòng)態(tài)物體的軌跡預(yù)測(cè)。

    車載計(jì)算平臺(tái)（如英偉達(dá)Drive Orin）的算力有限，難以支持超大規(guī)模模型部署。

• 第三大難題安全性保障。

    自動(dòng)駕駛是典型的安全關(guān)鍵系統(tǒng)，如果模型內(nèi)的“潛在向量”像黑盒一樣無法理解，當(dāng)車輛決策出現(xiàn)異常時(shí)很難追根溯源。

    人類行為不可預(yù)測(cè)：行人、騎手、其他車輛的意圖難以100%準(zhǔn)確建模（如突然變道、闖紅燈）。

    概率化決策：需引入貝葉斯網(wǎng)絡(luò)、蒙特卡洛方法等處理不確定性，但會(huì)增加計(jì)算復(fù)雜度。

    敏感信息處理：自動(dòng)駕駛車輛采集的街景可能包含人臉、車牌等隱私數(shù)據(jù)，需符合GDPR等法規(guī)。

此外，模型可能會(huì)被對(duì)抗攻擊擾亂，使其對(duì)同一個(gè)路況輸出完全不同的預(yù)測(cè)，這會(huì)對(duì)行車安全造成嚴(yán)重威脅。對(duì)此，在部署前進(jìn)行大規(guī)模的對(duì)抗樣本測(cè)試，評(píng)估在噪聲或故意篡改下的魯棒性，并對(duì)潛在向量空間做安全檢查，確保在異常輸入下能及時(shí)觸發(fā)緊急制動(dòng)或安全預(yù)警。

6、世界模型的未來趨勢(shì)

隨著自監(jiān)督學(xué)習(xí)和多源數(shù)據(jù)融合技術(shù)的發(fā)展，世界模型將進(jìn)一步優(yōu)化。目前，大多數(shù)世界模型仍然需要大量帶標(biāo)簽或弱標(biāo)簽數(shù)據(jù)來學(xué)習(xí)，盡管挑戰(zhàn)重重，行業(yè)正通過以下技術(shù)路徑尋求突破：

• 仿真與合成數(shù)據(jù)：

     利用CARLA、Waymo Simulator生成海量極端場景數(shù)據(jù)，降低實(shí)車測(cè)試成本。未來的世界模型有望與符號(hào)推理結(jié)合，比如把交通規(guī)則、路網(wǎng)拓?fù)?、駕駛意圖等用邏輯符號(hào)表達(dá)，與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的表示互相補(bǔ)充，既能做出嚴(yán)格符合規(guī)則的決策，也能充分利用數(shù)據(jù)驅(qū)動(dòng)的優(yōu)勢(shì)。

• 輕量化模型：

     知識(shí)蒸餾（Knowledge Distillation）、模型剪枝（Pruning）等技術(shù)壓縮模型規(guī)模。讓車輛能夠在更小、更高效的內(nèi)部空間里對(duì)未來環(huán)境做多步預(yù)測(cè)，從而加快決策速度、降低誤判風(fēng)險(xiǎn)，并在面對(duì)多樣化與復(fù)雜化的道路場景時(shí)表現(xiàn)得更從容。

• 車路協(xié)同（V2X）：

     通過5G、路側(cè)設(shè)備彌補(bǔ)單車智能的感知盲區(qū)。世界模型還能夠與云端和其他車輛協(xié)同感知，實(shí)現(xiàn)實(shí)時(shí)在線更新：當(dāng)某一地區(qū)突然發(fā)生大規(guī)模擁堵或事故時(shí)，其他車輛探測(cè)到的路況信息、云端的高精地圖更新，都可以立即反饋到每輛車的世界模型里，讓它們快速調(diào)整預(yù)測(cè)，提高對(duì)極端情況的敏銳度。 

• 端到端大模型：

     類似ChatGPT的自動(dòng)駕駛通用模型，需要在數(shù)據(jù)收集、長期預(yù)測(cè)穩(wěn)定性、可解釋性、安全性和車端部署效率等方面持續(xù)優(yōu)化與攻堅(jiān)，讓模型自己從數(shù)以百萬計(jì)的無標(biāo)簽駕駛視頻中挖掘時(shí)空規(guī)律，用對(duì)比學(xué)習(xí)來保證不同時(shí)間或不同視角下的潛在表示保持一致，這樣就能在不依賴人工標(biāo)注的情況下持續(xù)改進(jìn)。

伴隨著深度學(xué)習(xí)、硬件加速和車聯(lián)網(wǎng)等技術(shù)的不斷進(jìn)步，世界模型將在自動(dòng)駕駛領(lǐng)域扮演越來越關(guān)鍵的角色，其部署和應(yīng)用是技術(shù)、數(shù)據(jù)、安全、成本、法規(guī)等多維度的系統(tǒng)工程，需車企、科技公司、政府協(xié)同推進(jìn)，最終實(shí)現(xiàn)更安全、更智能的無人駕駛出行體驗(yàn)。短期內(nèi)可能先在特定場景（如高速NOA、Robotaxi）落地，而全無人駕駛的普及仍需5-10年技術(shù)迭代。

本文轉(zhuǎn)載自??數(shù)字化助推器??  作者：天涯咫尺TGH