近日，斯坦福大學Gordon Wetzstein教授團隊提出一種將反向設計的介質(zhì)表面波導與人工智能驅(qū)動的全息顯示相結(jié)合的近眼顯示設計，能夠以緊湊的眼鏡形式呈現(xiàn)全彩色3D增強現(xiàn)實。 新興的空間計算系統(tǒng)能夠?qū)?shù)字信息無縫疊加在用戶所觀察到的物理環(huán)境上，為娛樂、教育、通信和培訓等各個領(lǐng)域提供變革性的體驗。然而，由于增強現(xiàn)實（AR）顯示器的光學投影部件龐大且無法準確呈現(xiàn)虛擬內(nèi)容的三維深度線索等因素，其廣泛應用受到限制。為此，研究人員提出了一種全息增強現(xiàn)實系統(tǒng)，該系統(tǒng)利用反向設計的全彩色介質(zhì)表面光柵、緊湊的色散補償波導幾何結(jié)構(gòu)和人工智能驅(qū)動的全息算法克服了這些挑戰(zhàn)。這些元件經(jīng)過共同設計，消除了空間光調(diào)制器和波導之間需要龐大準直光學元件的需求，并在緊湊的設備形態(tài)中呈現(xiàn)出鮮艷、全彩色的3D增強現(xiàn)實內(nèi)容。為了在原型中提供前所未有的視覺質(zhì)量，研究人員開發(fā)了一種創(chuàng)新的圖像形成模型，將物理準確的波導模型與使用相機反饋自動校準的學習組件相結(jié)合。獨特的納米光子介質(zhì)表面波導和人工智能驅(qū)動的全息算法的共同設計，代表了在緊湊的可穿戴設備中創(chuàng)造引人注目的3D增強現(xiàn)實體驗的重大進展。

比較現(xiàn)有增強現(xiàn)實眼鏡

傳統(tǒng)的增強現(xiàn)實眼鏡使用振幅空間光調(diào)制器，例如有機發(fā)光二極管或微型發(fā)光二極管，需要一個投影器為基礎(chǔ)的光學引擎，其厚度通常至少與投影鏡頭的焦距相同。全息增強現(xiàn)實眼鏡設計使用相位空間光調(diào)制器，可以非?？拷肷涔鈻?，從而使設備形態(tài)最小化。此外，與傳統(tǒng)的增強現(xiàn)實眼鏡不同，該全息設計可以為虛擬內(nèi)容提供完整的三維深度線索。

反向設計的介質(zhì)表面波導

該系統(tǒng)的波導幾何結(jié)構(gòu)被設計成適應紅、綠、藍波前的不同傳播角度。具體而言，幾何結(jié)構(gòu)被約束為保持全彩色3D全息圖所需的獨立自由度，通過將所有三種顏色的傳播波前耦合出來的方式實現(xiàn)。

該系統(tǒng)的介質(zhì)表面光柵具有優(yōu)化的納米尺度特征（如左圖所示），可以高效地將光散射進入和出離我們的波導。介質(zhì)表面的周期（Λ）和高度（H）分別為384納米和220納米。右圖所示的歸一化磁場圖示出了紅色（638 nm）、綠色（521 nm）和藍色（445 nm）波長在出射耦合器處經(jīng)由介質(zhì)表面光柵的衍射情況。黑色箭頭表示入射和衍射光的波矢。比例尺：400 nm。

掃描電子顯微鏡圖像展示了介質(zhì)表面設計的成功制造。比例尺：2 μm（左圖），200 nm（右圖）

學習的物理波導模型

研究人員構(gòu)建了一個學習的物理波導模型，通過將波導的物理特性（綠色高亮顯示）與從相機反饋中學習得到的人工智能組件（橙色高亮顯示）相結(jié)合，準確預測系統(tǒng)的輸出。研究人員通過分析推導得到的物理項包括照明聚焦光照射空間光調(diào)制器和頻率相關(guān)系數(shù)，用于模擬波導內(nèi)的傳播。該系統(tǒng)學習得到的組件包括參數(shù)化的空間映射，用于表征制造的介質(zhì)表面光柵的衍射效率變化，以及用于建模內(nèi)容相關(guān)的非理想特性的卷積神經(jīng)網(wǎng)絡，例如空間上變化的空間光調(diào)制器的非線性響應。該模型是完全可微的，使得可以在運行時使用簡單的梯度下降計算全息計算機生成的相位圖案，以實現(xiàn)任意目標場景的渲染。

在這里，研究人員比較了使用傳統(tǒng)的自由空間傳播模型和學習得到的物理波導模型生成的相同場景的視頻全息圖像。這個比較展示了解析波導模型和人工智能算法混合的重要性，以實現(xiàn)高質(zhì)量的全彩色全息圖像。

這個例子展示了增強現(xiàn)實眼鏡設計如何獨特地呈現(xiàn)全彩色的3D視頻全息圖像。在空間光調(diào)制器上顯示的相位調(diào)制圖案產(chǎn)生一個波前，通過波導傳播，重構(gòu)出眼鏡中一個完整的3D場景視圖。

在這個3D增強現(xiàn)實場景中，虛擬機器人、魔方和自行車與真實的玩具鴨子和動作人物一起呈現(xiàn)。移動攝像機以聚焦不同的物體，以突出展示如何通過波導在不同深度呈現(xiàn)3D增強現(xiàn)實內(nèi)容。

值得注意的是，用于生成這些全息圖像的我們?nèi)⒃鰪姮F(xiàn)實眼鏡的組件可以適應可穿戴形態(tài)，正如下面的3D打印原型所示：

論文：https://www.nature.com/articles/s41586-024-07386-0

?源代碼：https://github.com/computational-imaging/holographic-AR-glasses

譯自（有刪改）：https://www.computationalimaging.org/publications/holographicar/

誰是Gordon Wetzstein？

Gordon Wetzstein是斯坦福大學電氣工程系副教授，兼任計算機科學系副教授。他是斯坦福計算成像實驗室的負責人，也是斯坦福圖像系統(tǒng)工程中心的教職人員聯(lián)合主任。Wetzstein教授的研究涉及計算機圖形學、視覺、人工智能、計算光學和應用視覺科學的交叉領(lǐng)域，其研究在下一代成像、可穿戴計算和神經(jīng)渲染系統(tǒng)等方面具有廣泛的應用。Wetzstein教授是Optica的會士，并獲得了眾多獎項，包括IEEE VGTC虛擬現(xiàn)實技術(shù)成就獎、NSF CAREER獎、Alfred P. Sloan獎學金、ACM SIGGRAPH顯著新研究人員獎、總統(tǒng)早期科學家和工程師獎（PECASE）、SPIE早期職業(yè)成就獎、電子成像年度科學家獎、Alain Fournier博士學位論文獎，以及許多最佳論文和演示獎項。

本文轉(zhuǎn)載自公眾號AIGC最前線   

原文鏈接：???https://mp.weixin.qq.com/s/vsJwUBlDE33IDe4AHLBq7g???