微軟用「光」跑AI登上Nature!100倍能效顛覆GPU,華人首席研究員扛鼎
過(guò)去的幾十年,各大公司都在芯片上暗暗較勁:芯片漲價(jià)、GPU短缺、AI算力焦慮...
就在大家盯著芯片迭代升級(jí)時(shí),微軟在悄悄做另一件事:用光重新定義計(jì)算。
他們花了四年,用手機(jī)攝像頭、Micro LED和透鏡,拼出了一臺(tái)模擬光學(xué)計(jì)算機(jī)(AOC)。
如今,這個(gè)實(shí)驗(yàn)已經(jīng)登上Nature,帶來(lái)了一個(gè)足以顛覆GPU的未來(lái)想象。

光子登場(chǎng):固定點(diǎn)搜索的秘密
幾十年來(lái),算力的故事幾乎都寫(xiě)在硅片上:摩爾定律的加速、GPU的堆疊、能耗的焦慮。
可在英國(guó)劍橋,微軟研究院的一支小團(tuán)隊(duì)走了一條完全不同的路——讓光來(lái)算數(shù)。
他們拼出了一臺(tái)模擬光學(xué)計(jì)算機(jī)(AOC),材料一點(diǎn)也不稀有:Micro LED、光學(xué)鏡頭、還有來(lái)自手機(jī)的攝像頭傳感器。
看上去更像是一臺(tái)實(shí)驗(yàn)室「組裝機(jī)」,卻打開(kāi)了算力的另一種可能。

英國(guó)劍橋Microsoft Research實(shí)驗(yàn)室模擬光學(xué)計(jì)算機(jī)的詳細(xì)圖像。它是使用市售部件制造的,例如micro-LED燈和智能手機(jī)攝像頭的傳感器
其實(shí),光學(xué)計(jì)算的設(shè)想早在20世紀(jì)60年代就被提出過(guò),只是在當(dāng)時(shí)受限于工藝,一直停留在理論層面。
如今,微軟團(tuán)隊(duì)把它真正做了出來(lái)。
AOC真正的秘密不在這些零件,在于它的運(yùn)行方式——固定點(diǎn)搜索。
它把光學(xué)和模擬電子電路放進(jìn)一個(gè)循環(huán)回路:光學(xué)部分完成矩陣–向量乘法,電子部分處理非線性、加減法和退火操作。
每一次循環(huán)只需約20納秒,信號(hào)在回路中不斷迭代,直到收斂到一個(gè)穩(wěn)定的「固定點(diǎn)」。
而這個(gè)固定點(diǎn),就是問(wèn)題的答案。

微軟模擬光學(xué)計(jì)算機(jī)的內(nèi)部結(jié)構(gòu):左上是整體示意,右下是光子與電子交替計(jì)算的鏈路
這種方式解決了兩個(gè)長(zhǎng)期困擾光學(xué)計(jì)算的難題:
一是避免了混合架構(gòu)里高成本的數(shù)模轉(zhuǎn)換,大幅降低能耗;
二是天然具備抗噪聲的優(yōu)勢(shì)。
在迭代過(guò)程中,固定點(diǎn)就像一塊磁鐵,把答案牢牢吸住,不會(huì)輕易跑偏。
也正因?yàn)槿绱?,AOC才能在同一平臺(tái)上既處理優(yōu)化問(wèn)題,又能勝任AI推理。

四年前,這還是實(shí)驗(yàn)室里的一次冒險(xiǎn)嘗試。
如今,它已經(jīng)登上Nature,第一次讓光學(xué)計(jì)算不再是紙面概念,而是真正走進(jìn)了公眾視野。

微軟CEO Satya Nadella在X上轉(zhuǎn)發(fā)AOC研究,稱其為「以更高效率解決復(fù)雜現(xiàn)實(shí)問(wèn)題的新方法」,并強(qiáng)調(diào)該成果已發(fā)表于Nature
從銀行到醫(yī)院:AOC的第一次實(shí)戰(zhàn)
微軟團(tuán)隊(duì)最想讓公眾看到的的,不是炫技,而這項(xiàng)技術(shù)真的能用在現(xiàn)實(shí)世界里。
于是微軟團(tuán)隊(duì)選擇了兩個(gè)最有代表性的場(chǎng)景——金融和醫(yī)療來(lái)進(jìn)行驗(yàn)證。
在金融領(lǐng)域,他們和巴克萊銀行合作,把清算所每天都要面對(duì)的「貨銀對(duì)付」結(jié)算問(wèn)題搬上了AOC。
傳統(tǒng)清算所要在幾十萬(wàn)筆交易中找到最高效的結(jié)算方式,這里團(tuán)隊(duì)先構(gòu)建了一個(gè)縮小版:
46筆交易、37個(gè)參與方,轉(zhuǎn)化為41個(gè)變量的優(yōu)化問(wèn)題。
結(jié)果顯示,AOC只用了7次迭代就找到了最優(yōu)解。

多個(gè)金融機(jī)構(gòu)之間的交易如何通過(guò)AOC得到最優(yōu)解
巴克萊的高級(jí)工程師Shrirang Khedekar也參與了論文,他評(píng)價(jià)說(shuō):
「我們相信有巨大的潛力可以探索。我們?cè)诮鹑谛袠I(yè)也存在其他優(yōu)化問(wèn)題,我們相信AOC技術(shù)有可能在解決這些問(wèn)題方面發(fā)揮作用?!?/span>

Hitesh Ballani在英國(guó)劍橋的Microsoft Research實(shí)驗(yàn)室指導(dǎo)未來(lái)AI基礎(chǔ)設(shè)施的研究
醫(yī)療領(lǐng)域同樣展現(xiàn)了突破性。
團(tuán)隊(duì)把MRI壓縮感知成像重寫(xiě)成AOC能跑的優(yōu)化問(wèn)題,在硬件上先測(cè)試了一個(gè)32×32的Shepp–Logan phantom腦部切片圖像,用64個(gè)變量就成功復(fù)原了原始圖像。
更進(jìn)一步,他們用數(shù)字孿生(AOC-DT)重建了一個(gè)包含20萬(wàn)變量的真實(shí)腦部MRI數(shù)據(jù)集。

MRI圖像重建:Shepp–Logan phantom的復(fù)原過(guò)程,以及用AOC-DT重建大規(guī)模腦部MRI
Microsoft Health Futures的生物醫(yī)學(xué)信號(hào)處理總監(jiān)Michael Hansen直言:
「為了透明起見(jiàn),我們現(xiàn)在不能在臨床上使用它。這只是一個(gè)小規(guī)模的實(shí)驗(yàn),但它給人的感覺(jué)是——如果真的做到全規(guī)模,后果將難以想象?!?/span>
他還設(shè)想,未來(lái)MRI原始數(shù)據(jù)可以直接流式傳輸?shù)紸zure上的AOC,再把結(jié)果實(shí)時(shí)回傳到醫(yī)院。
那將意味著,掃描時(shí)間或許能從30分鐘縮短到5分鐘,不僅大幅提升效率,也能讓病人少受煎熬。
「我們必須找到方法來(lái)獲取原始數(shù)據(jù),并將其流式傳輸?shù)接?jì)算機(jī)所在的地方。」
從金融到醫(yī)療,這兩個(gè)案例釋放出的信號(hào)非常明確:
AOC已經(jīng)不再是實(shí)驗(yàn)室里的概念嘗試,而是真正邁向?qū)ΜF(xiàn)實(shí)世界的改造。
AI新路徑:GPU之外的可能性
而讓研究團(tuán)隊(duì)最興奮的突破,其實(shí)不是金融或醫(yī)療領(lǐng)域,而是人工智能。
一次實(shí)驗(yàn)室里的午餐交流,讓事情出現(xiàn)了轉(zhuǎn)折。
研究員Jannes Gladrow意識(shí)到:AOC的「固定點(diǎn)搜索」機(jī)制,天然適合那些需要反復(fù)迭代、最終收斂到平衡狀態(tài)的平衡模型(比如深度平衡網(wǎng)絡(luò)DEQ、現(xiàn)代 Hopfield網(wǎng)絡(luò))。

Deep Equilibrium Network(DEQ, 平衡模型) 的三種等價(jià)表示
在GPU 上,這類模型的算力消耗極大,而在AOC上,它們幾乎就是「為光子而生」。
于是團(tuán)隊(duì)嘗試把一些簡(jiǎn)單的AI任務(wù)映射到AOC。結(jié)果很快出現(xiàn):
在MNIST和Fashion-MNIST分類任務(wù)上,AOC與數(shù)字孿生(AOC-DT)的結(jié)果幾乎99%對(duì)齊;
在非線性回歸任務(wù)中(如擬合高斯曲線、正弦曲線),AOC同樣表現(xiàn)穩(wěn)定,曲線幾乎與仿真結(jié)果重合;
通過(guò)時(shí)間復(fù)用技術(shù),研究人員還把硬件擴(kuò)展到等效4096權(quán)重的規(guī)模,證明它不僅能跑「小玩具」,而是具備進(jìn)一步放大的潛力。

AOC在MNIST分類和非線性回歸(高斯曲線、正弦曲線)上的實(shí)驗(yàn)結(jié)果。
這些實(shí)驗(yàn)讓人看到一條GPU之外的新路徑。
微軟研究人員認(rèn)為,未來(lái)的大語(yǔ)言模型在推理時(shí)最吃力的部分——狀態(tài)跟蹤,或許正好可以交給 AOC。
想象一下,如果復(fù)雜的推理過(guò)程不再依賴耗能巨大的GPU,而是交由光學(xué)計(jì)算機(jī)完成,所需能耗可能會(huì)降低兩個(gè)數(shù)量級(jí)。
在一個(gè)為算力能耗焦慮的時(shí)代,這樣的結(jié)果無(wú)疑點(diǎn)燃了行業(yè)的想象力。
長(zhǎng)跑與愿景:算力的另一條賽道
微軟研究團(tuán)隊(duì)很清楚,現(xiàn)在的AOC還只是個(gè)原型,離真正的商用還有一段陡坡。
它現(xiàn)在能處理的權(quán)重規(guī)模是幾百級(jí)別,但研究人員已經(jīng)畫(huà)出了擴(kuò)展路線圖:
未來(lái)通過(guò)模塊化擴(kuò)展,每個(gè)模塊可以支持約400萬(wàn)權(quán)重。
幾十到上千個(gè)模塊拼接,就能把整體規(guī)模推到0.1–20 億權(quán)重。
更震撼的,是能效對(duì)比。
團(tuán)隊(duì)估算,成熟版本的AOC有望達(dá)到500 TOPS/W(約2fJ/操作),而當(dāng)前最先進(jìn)的GPU(如NVIDIA H100)大約只有4.5 TOPS/W。
這意味著能效差距高達(dá)兩個(gè)數(shù)量級(jí)。
正如項(xiàng)目研究員Jannes Gladrow所說(shuō):
「AOC帶來(lái)的最重要特性,是我們估算它的能效能提升約一百倍。光憑這一點(diǎn),在硬件領(lǐng)域幾乎是前所未聞的?!?/span>

換句話說(shuō),在未來(lái)的大模型推理任務(wù)中,如果GPU是「油老虎」,AOC就可能成為「新能源汽車(chē)」。
不僅能跑,而且能以極低的能耗持續(xù)運(yùn)行。
群星閃耀:拼出光學(xué)計(jì)算機(jī)的人
這臺(tái)用光來(lái)思考的機(jī)器背后,不是某個(gè)天才的孤軍奮戰(zhàn),而是一群跨學(xué)科研究者的集體智慧。
Francesca Parmigiani,是微軟劍橋研究院的首席研究經(jīng)理。
她帶領(lǐng)團(tuán)隊(duì)把一個(gè)在學(xué)術(shù)圈流傳半個(gè)世紀(jì)的概念變成真實(shí)硬件,并堅(jiān)持要把「數(shù)字孿生」開(kāi)放出來(lái),讓更多研究者能參與實(shí)驗(yàn)。

她常說(shuō),AOC 不是一臺(tái)通用計(jì)算機(jī),而是一臺(tái)能在關(guān)鍵場(chǎng)景跑出新可能的「光學(xué)加速器」。
Jannes Gladrow是團(tuán)隊(duì)里的機(jī)器學(xué)習(xí)專家。

一次非正式的午餐交流上,他突然意識(shí)到AOC的固定點(diǎn)機(jī)制與平衡模型天然契合。
這一靈感讓AOC不再局限于優(yōu)化問(wèn)題,而是第一次與AI緊密結(jié)合。
他把模型映射到硬件,跑出了手寫(xiě)數(shù)字分類與函數(shù)回歸的結(jié)果,也因此打開(kāi)了一條GPU之外的道路。
醫(yī)療應(yīng)用的火花來(lái)自Michael Hansen。

他把MRI數(shù)據(jù)重建引入實(shí)驗(yàn),并設(shè)想未來(lái)的掃描原始數(shù)據(jù)可以直接流向AOC,再實(shí)時(shí)回傳到醫(yī)院。
這種跨領(lǐng)域的設(shè)想,讓光學(xué)計(jì)算機(jī)與現(xiàn)實(shí)世界真正接軌。
而在實(shí)驗(yàn)室里,忙著搭建原型的身影常常是擔(dān)任首席研究員的Jiaqi Chu。

她負(fù)責(zé)把微型LED、透鏡和傳感器拼裝在一起,讓那些「光學(xué)數(shù)學(xué)」在現(xiàn)實(shí)設(shè)備上運(yùn)行起來(lái)。

從左往右分別是Jiaqi Chu、Francesca Parmigiani和James Clegg
她的工作證明了這不是一臺(tái)只能存在于論文里的幻想機(jī),而是一臺(tái)可以用現(xiàn)成零件拼出的新型計(jì)算機(jī)。
正是這些人的交匯,讓光學(xué)計(jì)算機(jī)從概念走向現(xiàn)實(shí),從銀行清算到 MRI,再到 AI 的未來(lái)路徑,拼出了算力世界里一條全新的可能。
四年前,一個(gè)小團(tuán)隊(duì)用手機(jī)攝像頭和LED燈拼裝出一臺(tái)怪模怪樣的機(jī)器。
今天,它登上了Nature,證明自己能跑金融和醫(yī)療的難題,還能打開(kāi)AI 的新路徑。
研究負(fù)責(zé)人Hitesh Ballani說(shuō),他們的目標(biāo)是讓AOC成為未來(lái)AI基礎(chǔ)設(shè)施的一部分。
這場(chǎng)算力的長(zhǎng)跑,或許已經(jīng)開(kāi)辟出一條全新的賽道。






























