因?yàn)檠劬κ軅麜簳r(shí)失去立體視覺，李飛飛更加堅(jiān)定了做世界模型的決心。

在a16z的最新播客節(jié)目中，“AI教母”李飛飛講述了五年前因?yàn)橐淮谓悄p傷暫時(shí)失去立體視覺的經(jīng)歷：

盡管憑借多年經(jīng)驗(yàn)?zāi)芟胂蟪鋈S世界，但一只眼睛看東西時(shí)，我開始害怕開車。

但作為一名科學(xué)家，她也把這次經(jīng)歷當(dāng)成一次寶貴的“實(shí)驗(yàn)”機(jī)會(huì)。

這次生病讓她明白了立體視覺對(duì)空間交互具有決定性作用，“就像語(yǔ)言模型處理文本時(shí)需要理解上下文，物理世界的交互也必須建立在三維空間表征基礎(chǔ)上”。

整體而言，李飛飛在節(jié)目中解釋了為什么空間智能是當(dāng)今AI系統(tǒng)關(guān)鍵且缺失的部分，以及她的新公司如何應(yīng)對(duì)這一挑戰(zhàn)。

同時(shí)，另一位嘉賓Martin Casado（ a16z合伙人、李飛飛公司早期投資者）也分享了二人在世界模型上達(dá)成共識(shí)的故事，并從投資者的角度分析了世界模型的潛力和價(jià)值。

省流版如下：

• “數(shù)據(jù)驅(qū)動(dòng)范式”所爆發(fā)的能量，至今遠(yuǎn)超李飛飛當(dāng)初創(chuàng)建ImageNet時(shí)的想象；
• 創(chuàng)辦World Labs并非跟風(fēng)基礎(chǔ)模型創(chuàng)業(yè)潮，而是源于對(duì)智能本質(zhì)的持續(xù)探索；
• 要實(shí)現(xiàn)世界模型這一愿景，需要集結(jié)產(chǎn)業(yè)級(jí)的算力、數(shù)據(jù)和人才密度；
• 動(dòng)物通過5億年進(jìn)化出的三維認(rèn)知系統(tǒng)，遠(yuǎn)比人類晚近出現(xiàn)的語(yǔ)言系統(tǒng)更精妙；
• 當(dāng)前的技術(shù)突破點(diǎn)在于，如何讓AI像人類一樣，從單目視覺輸入中重建完整三維場(chǎng)景理解。

值得一提的是，嘉賓們深入淺出的講解方式也獲得了網(wǎng)友一致好評(píng)：

下面具體來看。

構(gòu)建能真正理解物理世界的AI模型

李飛飛自述，其實(shí)早在大語(yǔ)言模型（LLM）興起之前，她就深刻意識(shí)到了構(gòu)建世界模型（LWM）的重要性。

這不僅和她之前生病的經(jīng)歷有關(guān)，更主要的是和她一直以來的學(xué)術(shù)經(jīng)歷相符。

回顧博士和教授生涯，若以今日認(rèn)知審視過去十年AI的發(fā)展軌跡，最令李飛飛震撼的恰恰是她曾倡導(dǎo)的“數(shù)據(jù)驅(qū)動(dòng)范式”所爆發(fā)的能量。

當(dāng)年她帶領(lǐng)團(tuán)隊(duì)開發(fā)了一個(gè)名為ImageNet的視覺識(shí)別系統(tǒng)，這個(gè)系統(tǒng)收錄了超過1000萬張經(jīng)過精確標(biāo)注的圖片，迅速成為全球規(guī)模最大的圖像資料庫(kù)之一，以此徹底改變了計(jì)算機(jī)視覺和深度學(xué)習(xí)的研究格局。

不過在她看來，如今由大規(guī)模數(shù)據(jù)驅(qū)動(dòng)的模型所展現(xiàn)出的“類思維機(jī)器涌現(xiàn)行為”，仍遠(yuǎn)超其最初的想象。

這種矛盾感促使她不斷追問：當(dāng)業(yè)界都在追逐語(yǔ)言模型時(shí)，我們是否忽略了更本質(zhì)的維度？

選擇創(chuàng)辦World Labs，李飛飛自述并非跟風(fēng)基礎(chǔ)模型創(chuàng)業(yè)潮，而是源于對(duì)智能本質(zhì)的持續(xù)探索。

在她眼里，語(yǔ)言固然是思想和信息的高效編碼載體，但它對(duì)三維物理世界的表征存在天然缺陷——

我們生存的實(shí)體空間充滿動(dòng)物演化史沉淀的感知智能，而語(yǔ)言只是人類文明后期產(chǎn)生的有損壓縮符號(hào)。

環(huán)顧自然，沒有漂浮的詞匯表，只有具象的物質(zhì)世界。

這種認(rèn)知讓她確信：真正的通用智能必須建立在對(duì)物理空間結(jié)構(gòu)、物體組合關(guān)系的理解之上。

這也是World Labs的使命，即構(gòu)建能真正理解物理世界的AI模型，用集中攻堅(jiān)的方式，讓AI真正理解我們生活的三維世界。

創(chuàng)立World Labs的契機(jī)

當(dāng)李飛飛構(gòu)思World Labs時(shí)，她需要的不僅是資金支持，更渴望找到思想共鳴的伙伴。

而這個(gè)人就是a16z合伙人、李飛飛公司早期投資者Martin Casado。

作為斯坦福大學(xué)2009年入職的年輕助理教授，李飛飛與當(dāng)時(shí)即將獲得博士學(xué)位的Martin早有交集。不過后來Martin轉(zhuǎn)型成為企業(yè)家和投資人，而她則深耕人工智能領(lǐng)域，被譽(yù)為“AI教母”。

在一次關(guān)于LLM的學(xué)術(shù)聚會(huì)上，當(dāng)眾人熱議語(yǔ)言模型時(shí)，李飛飛向Martin提出：

我們?nèi)笔У氖鞘澜缒Ｐ停╳orld model）。

就是這樣一句話，瞬間點(diǎn)燃了二人的合作火花。與其他投資人禮貌性點(diǎn)頭不同，他們后來又在斯坦福校園展開深談，而Martin對(duì)三維世界的理解令李飛飛印象深刻。

Martin在節(jié)目中解釋道，蒙眼狀態(tài)下僅靠語(yǔ)言描述在房間執(zhí)行任務(wù)幾乎不可能成功，因?yàn)檎Z(yǔ)言對(duì)物理空間的轉(zhuǎn)譯是低效且失真的。但摘下眼罩后，大腦瞬間重構(gòu)三維空間的能力讓我們能精準(zhǔn)抓取杯子、避開障礙，這種對(duì)物理世界的即時(shí)建模才是智能的根基。

換句話說，語(yǔ)言適合傳遞抽象概念，但應(yīng)對(duì)實(shí)體世界必須依賴空間智能，這正是當(dāng)前AI最欠缺的能力。

同時(shí)他也提到，自動(dòng)駕駛行業(yè)投入上千億美元仍未能完美解決二維導(dǎo)航問題，而語(yǔ)言模型卻突然以驚人效率處理了文本任務(wù)。這種反差讓他意識(shí)到，生成式AI已經(jīng)提供了去做其他事情的契機(jī)。

這些想法也得到了李飛飛的認(rèn)同，她表示，“這與我多年的思考完全契合”。

盡管ChatGPT等語(yǔ)言模型的成功令人振奮，但我始終堅(jiān)信世界模型才是智能的下一里程碑。

李飛飛再次表示，這并非否定語(yǔ)言的價(jià)值，而是指出其局限性——

當(dāng)我們需要建造機(jī)器人、設(shè)計(jì)新材料或探索虛擬宇宙時(shí)，必須讓AI獲得類似生物的空間認(rèn)知能力。從遠(yuǎn)古動(dòng)物到現(xiàn)代人類，所有改變物理世界的創(chuàng)造行為，本質(zhì)上都是三維智能的體現(xiàn)。

一旦世界模型取得突破，我們可以創(chuàng)造無限虛擬宇宙：有些為機(jī)器人訓(xùn)練設(shè)計(jì)，有些用于社交體驗(yàn)，還有些專屬于敘事藝術(shù)或旅行探索。

這種能力將人類帶入真正的多元宇宙時(shí)代。想象一下，建筑師能在數(shù)字世界瞬間構(gòu)建城市原型，科學(xué)家可以在分子級(jí)3D空間模擬新材料的合成。

關(guān)鍵在于突破“視野之外”

在想法上達(dá)成一致后，投身創(chuàng)業(yè)的李飛飛意識(shí)到：

要實(shí)現(xiàn)世界模型這一愿景，需要集結(jié)產(chǎn)業(yè)級(jí)的算力、數(shù)據(jù)和人才密度。

具體到技術(shù)層面，世界模型能通過單張2D圖像重建完整三維場(chǎng)景，包括視野之外的物體背面。

這種能力帶來根本性變革：計(jì)算機(jī)首次能像人類一樣對(duì)空間進(jìn)行測(cè)量、堆疊和操縱。無論是從單幀視頻生成360度環(huán)境，還是讓機(jī)器人理解深度信息執(zhí)行抓取任務(wù)，三維表征都成為智能交互的基礎(chǔ)。

這解釋了為何游戲開發(fā)、藝術(shù)創(chuàng)作和工業(yè)設(shè)計(jì)等領(lǐng)域都在急切等待這項(xiàng)技術(shù)突破。

并且，與六歲孩子討論“樹木為何不長(zhǎng)眼睛”的經(jīng)歷讓李飛飛深刻領(lǐng)悟：進(jìn)化需求催生了空間感知能力。

動(dòng)物通過5億年進(jìn)化出的三維認(rèn)知系統(tǒng)，遠(yuǎn)比人類晚近出現(xiàn)的語(yǔ)言系統(tǒng)更精妙。

在她看來，當(dāng)前AI發(fā)展恰似在重演進(jìn)化歷程——我們先攻克了語(yǔ)言處理這類“新技能”，現(xiàn)在才真正挑戰(zhàn)空間智能這個(gè)古老而核心的命題。

而在嘗試發(fā)起挑戰(zhàn)的人當(dāng)中，World Labs擁有自己的優(yōu)勢(shì)。

據(jù)李飛飛介紹，雖然三維AI研究相比語(yǔ)言模型是較新領(lǐng)域，但在計(jì)算機(jī)視覺領(lǐng)域早有積累。

其聯(lián)合創(chuàng)始人Ben Mildenhal在伯克利期間開創(chuàng)的神經(jīng)輻射場(chǎng)（NeRF）技術(shù)，四年前就革新了深度學(xué)習(xí)的三維重建方法；另一位創(chuàng)始人Christoph Lassner在高斯?jié)姙R表示法（Gaussian Splatting）上的先驅(qū)工作，也為三維表征提供了新范式。

更早時(shí)期，團(tuán)隊(duì)成員在GAN圖像生成、風(fēng)格遷移等方向的基礎(chǔ)研究，都為當(dāng)前突破埋下伏筆。

這些分散在學(xué)界和工業(yè)界的探索，如今在World Labs匯聚成系統(tǒng)化攻關(guān)。

李飛飛表示，破解三維智能需要特殊的人才組合：既要AI專家處理數(shù)據(jù)與模型架構(gòu)，又需要計(jì)算機(jī)圖形學(xué)專家解決內(nèi)存與渲染問題。

因此，他們組建了可能是全球最頂尖的跨學(xué)科團(tuán)隊(duì)——涵蓋計(jì)算機(jī)視覺、擴(kuò)散模型、圖形學(xué)、優(yōu)化算法等領(lǐng)域的開拓者。

這種集中火力的方式，與當(dāng)年LLM發(fā)展初期各大公司“各自為戰(zhàn)”形成鮮明對(duì)比。

李飛飛堅(jiān)信，唯有將最聰明的大腦聚集在“世界模型”這個(gè)北極星問題下，才能實(shí)現(xiàn)從實(shí)驗(yàn)室技術(shù)到產(chǎn)品化的跨越。

p.s. 北極星問題一說出自李飛飛自傳《我看見的世界》，指科研中的一些關(guān)鍵問題。

而當(dāng)前的技術(shù)突破點(diǎn)在于：如何讓AI像人類一樣，從單目視覺輸入中重建完整三維場(chǎng)景理解。

這不僅是機(jī)器人精準(zhǔn)抓取的基礎(chǔ)，更是打開無限虛擬宇宙的鑰匙。

當(dāng)計(jì)算機(jī)能自主補(bǔ)全視野之外的物體結(jié)構(gòu)時(shí)，建筑設(shè)計(jì)將變成空間組合游戲，分子模擬可視作三維拼圖，甚至數(shù)字孿生世界也能實(shí)時(shí)生成演化。

這場(chǎng)革命正在發(fā)生——而World Labs要做的，就是加速這個(gè)進(jìn)程。