相比于電子計算，光計算具有高速、高帶寬、低功耗的優(yōu)勢，但目前光計算還不夠成熟，只在某些特定領(lǐng)域得到了非常有限的應(yīng)用。近日，Nature 上一篇 Perspective 文章剖析了深度光學(xué)和深度光子學(xué)的人工智能推理應(yīng)用，展示了該領(lǐng)域（尤其是光 - 電混合系統(tǒng)）的發(fā)展?jié)摿Α?/p>

為了高速且低功耗地執(zhí)行各種應(yīng)用中的人工智能任務(wù)，我們需要加速器。光計算系統(tǒng)也許能夠滿足這些領(lǐng)域特定的需求，但即便已經(jīng)歷半個世紀(jì)的研究，通用型光計算系統(tǒng)仍還未發(fā)展成一項成熟的實用技術(shù)。但是，人工智能推理（尤其是用于視覺計算應(yīng)用的推理）也許能為基于光學(xué)和光子學(xué)系統(tǒng)的推理提供機會。

本文將回顧用于人工智能的光學(xué)計算的近期研究成果并探討其潛力和挑戰(zhàn)。

計算系統(tǒng)的能力正與它們試圖理解的飛速增長的視覺數(shù)據(jù)進(jìn)行軍備競賽。在自動駕駛、機器人視覺、智能家居、遙感、顯微技術(shù)、監(jiān)控、國防和物聯(lián)網(wǎng)等多種應(yīng)用中，計算成像系統(tǒng)都會記錄和處理前所未有的巨量數(shù)據(jù)。對這些數(shù)據(jù)的解讀不可能由人類完成，而是要使用基于人工智能（AI）構(gòu)建的算法。

在這些應(yīng)用之中，深度神經(jīng)網(wǎng)絡(luò)（DNN）正快速發(fā)展成為視覺數(shù)據(jù)處理的標(biāo)準(zhǔn)算法方法。這主要是因為 DNN 在許多基準(zhǔn)上都取得了當(dāng)前最佳的結(jié)果，而且往往超出其它方法一大截。深度學(xué)習(xí)近來的這些突破性進(jìn)展主要得益于現(xiàn)代圖形處理單元（GPU）的強大處理能力和并行計算能力以及大規(guī)模視覺數(shù)據(jù)集的可用性，這些進(jìn)展讓 DNN 可以高效地使用監(jiān)督式機器學(xué)習(xí)策略執(zhí)行訓(xùn)練。

但是，高端 GPU 和其它運行日趨復(fù)雜的神經(jīng)網(wǎng)絡(luò)的加速器的功耗和帶寬需求非常高，它們需要大量處理時間而且具有尺寸龐大的外形。這些限制讓人難以在邊緣設(shè)備中使用 DNN，比如相機、自動化載具、機器人或物聯(lián)網(wǎng)外圍設(shè)備。以自動汽車中的視覺系統(tǒng)為例，其必須要能使用有限的計算資源實時地做出穩(wěn)定可靠的決策。當(dāng)汽車在高速行駛時，瞬間的決策關(guān)乎人的生死。事實上，如果計算成像系統(tǒng)能做到更精簡，那么幾乎所有邊緣設(shè)備都能從中受益，這能帶來更低的延遲以及尺寸、重量和功耗方面的改進(jìn)。

DNN 一般都包含訓(xùn)練和推理兩個階段，這兩個階段的計算需求差異很大。在訓(xùn)練階段，會向 DNN 輸入大量有標(biāo)注的樣本，然后針對某個特定任務(wù)，使用迭代方法優(yōu)化該 DNN 的參數(shù)。訓(xùn)練完成后，可使用該 DNN 來執(zhí)行推理：以前向通過的方式向該網(wǎng)絡(luò)輸入一個數(shù)據(jù)（比如一張圖像），經(jīng)過該網(wǎng)絡(luò)處理后計算得到所需結(jié)果。雖然某些應(yīng)用也會使用 GPU 來執(zhí)行推理，但對許多邊緣設(shè)備而言，由于前述原因，使用 GPU 并不現(xiàn)實。

盡管電子 AI 加速器很靈活，但光神經(jīng)網(wǎng)絡(luò)（ONN）和光子回路可能為該應(yīng)用與其它機器學(xué)習(xí)應(yīng)用帶來一次范式轉(zhuǎn)換。光計算系統(tǒng)有望實現(xiàn)大規(guī)模的并行計算，同時設(shè)備尺寸還更小，而且在某些實現(xiàn)中的功耗非常低。事實上，在計算系統(tǒng)中使用光來實現(xiàn)通信的光互連（optical interconnect）技術(shù)已經(jīng)在現(xiàn)如今的數(shù)據(jù)中心中得到了廣泛應(yīng)用，而且在計算系統(tǒng)更深處越來越多地使用光互連可能是持續(xù)擴展的關(guān)鍵。

不同于電互連技術(shù)，隨著光學(xué)、光電和電子設(shè)備的更深度整合，光互連有望為通信的帶寬密度和單位比特的能量消耗帶來幾個數(shù)量級的提升和改善。這種改進(jìn)過的互連技術(shù)能實現(xiàn)電 - 光混合 DNN，而且這種低功耗、高并行的集成技術(shù)還可用作模擬光處理器的部件。

盡管光計算機潛力巨大而且也已歷經(jīng)約半個世紀(jì)的研究，但通用型光計算仍還不是一項成熟的實用技術(shù)。但是，推理任務(wù)（尤其是用于視覺計算應(yīng)用的推理任務(wù)）已可使用全光學(xué)或光 - 電混合系統(tǒng)來很好地實現(xiàn)。舉個例子，線性光學(xué)元件可以近乎「免費」地計算卷積、傅立葉變換、隨機投影和許多其它運算，因為這些運算可作為光與物質(zhì)交互或光傳播的副產(chǎn)物。這些運算是 DNN 架構(gòu)的基本構(gòu)建模塊，驅(qū)動著大多數(shù)現(xiàn)代視覺計算算法。我們有望以光速執(zhí)行這些運算，同時功耗需求很低乃至沒有。本文認(rèn)為這具有變革性的潛力。

回顧光計算的歷史

下圖 1 展示了人工智能及相關(guān)光學(xué)和光子學(xué)實現(xiàn)的時間軸。其中展示了一些經(jīng)過挑選的里程碑和論文，并重點關(guān)注了近期進(jìn)展。

以具體年份計則如下所示：

• 1949 年，Donald O. Hebb 發(fā)表《行為的組織（The Organization of Behavior）》一書
• 1957 年，F(xiàn)rank Rosenblatt 提出感知器
• 1960 年，Widrow & Hoff 提出自適應(yīng)開關(guān)電路
• 1964 年，Lugt 提出光學(xué)相關(guān)性（Optical correlation）
• 1982 年，John Hopfield 提出 Hopfield 網(wǎng)絡(luò)；Kohonen 提出自組織特征圖
• 1984 年，Goodman et al. 發(fā)表論文《用于超大規(guī)模集成電路系統(tǒng)的光互連（Optical interconnections for VLSI systems）》
• 1985 年，F(xiàn)arhat et al. 發(fā)表論文《Hopfield 模型的光學(xué)實現(xiàn)（Optical implementation of the Hopfield model）》
• 1986 年，Rumelhart et al. 提出使用反向傳播的多層感知器
• 1990 年，LeCun et al. 使用 CNN 實現(xiàn)數(shù)字字符識別；Psaltis et al. 使用非線性光反應(yīng)晶體的光神經(jīng)網(wǎng)絡(luò)（ONN）
• 2006 年，Hinton & Salakhutdinov 提出深度自編碼器
• 2012 年，Krizhevksy et al. 提出深度 CNN
• 2017 年，Shen et al. 提出使用納米光子電路的深度學(xué)習(xí)；Tait et al. 提出神經(jīng)形態(tài)光子網(wǎng)絡(luò)
• 2018 年，Chang et al. 提出光 CNN；Lin et al. 提出全光衍射神經(jīng)網(wǎng)絡(luò)
• 2019 年，F(xiàn)eldman et al. 提出高帶寬光子神經(jīng)突觸網(wǎng)絡(luò)

用于人工智能的光子回路

現(xiàn)代 DNN 架構(gòu)是級聯(lián)的線性層后面跟著非線性激活函數(shù)，而且這會重復(fù)很多次。最一般形式的線性層是全連接層。在這種情況下，每個輸出神經(jīng)元都是所有輸入神經(jīng)元的加權(quán)和。從數(shù)學(xué)上看，這可以表示成一種矩陣 - 向量乘法，從而可以有效地使用光學(xué)技術(shù)實現(xiàn)。也就是說我們可以使用光子回路來執(zhí)行人工智能的相關(guān)計算。不過相關(guān)技術(shù)還面臨著可編程性等有待解決的問題。

使用自由空間、透鏡和復(fù)雜介質(zhì)進(jìn)行計算

還有一種可替代光子回路的選擇：在自由空間或某種介質(zhì)中傳播的光場上直接構(gòu)建計算能力。（見下圖 2）從數(shù)學(xué)上講，在自由空間中傳播的波可用基爾霍夫衍射積分（Kirchhoff’s diffraction integral）來描述，這相當(dāng)于讓該場與一個固定的核（kernel）執(zhí)行卷積。該運算又是卷積神經(jīng)網(wǎng)絡(luò)（CNN）的一大基本構(gòu)建模塊，而 CNN 又是最常用的視覺計算框架。

圖 2：光波傳播概況。如圖所示，上面一行展示了波在自由空間和不同介質(zhì)中的傳播，下面一行是相應(yīng)的線性矩陣運算。其中 a 是波穿過自由空間的情況，其在數(shù)學(xué)上被描述成波場與一個復(fù)值核的卷積。b-g 則使用了不同的介質(zhì)，它們也因此有各自不同的矩陣。

使用深度計算光學(xué)和成像來執(zhí)行推理

計算成像領(lǐng)域研究的是光學(xué)和圖像處理的聯(lián)合設(shè)計，這可用于增強計算式相機（computational camera）能力等應(yīng)用。將相機解釋成編碼器 - 解碼器系統(tǒng)會很有幫助。因此，我們可以從整體角度將相機設(shè)計問題看作是光學(xué)和成像處理的端到端優(yōu)化問題。因此可以針對經(jīng)由損失函數(shù)和訓(xùn)練數(shù)據(jù)集定義的特定任務(wù)對物理透鏡和深度神經(jīng)網(wǎng)絡(luò)進(jìn)行聯(lián)合優(yōu)化。（見下圖 3）

圖 3：光學(xué)編碼器 - 電子解碼器系統(tǒng)示意圖。其中傳感器充當(dāng)瓶頸，在角度、波長譜、曝光時間、相位和其它入射光指標(biāo)上進(jìn)行積分。自由曲面透鏡或定制傳感器電子設(shè)備能以離線方式針對特定任務(wù)進(jìn)行優(yōu)化，然后經(jīng)過生產(chǎn)加工后用于從光學(xué)和電子方面記錄圖像編碼。然后可以使用神經(jīng)網(wǎng)絡(luò)或其它可微分的圖像處理算法來從觀測結(jié)果提取所需的信息。這些編碼器和解碼器一起可共同組成一個混合式的光 - 電神經(jīng)網(wǎng)絡(luò)。

我們也可以將光學(xué)操作的原理解讀為一種形式的計算，即與處理數(shù)據(jù)記錄的電子平臺一起工作的預(yù)處理器或協(xié)處理器?；谶@一解讀，我們可以讓光學(xué)組件做盡可能多的工作，進(jìn)而優(yōu)化計算成像系統(tǒng)的延遲和功耗需求。

顯微鏡應(yīng)用

光學(xué)顯微鏡也是深度學(xué)習(xí)方法已經(jīng)取得重大影響的一個領(lǐng)域，其涵蓋多種模態(tài)，包括相干成像以及明視野顯微鏡和熒光顯微鏡。解決顯微圖像重建和增強的反向問題已經(jīng)是一項持續(xù)數(shù)十年的熱門研究課題，之前方法的一大關(guān)鍵是建立成像系統(tǒng)的前向模型?；谏疃葘W(xué)習(xí)的數(shù)據(jù)驅(qū)動方法是解決光學(xué)顯微鏡反向問題的另一條途徑。

圖 4：深度光學(xué)和光子學(xué)應(yīng)用示例 I。a. 光學(xué)圖像分類；b. 混合光電圖像分類；c. 使用偽隨機投影的圖像分類；d. 虛擬染色；e. 虛擬重新聚焦。

圖 5：深度光學(xué)和光子學(xué)應(yīng)用示例 I。a. 單像素相機；b. 用于視頻超分辨率的神經(jīng)傳感器；c. 納米光子回路；d. 光子集成電路；e. 光學(xué)干涉儀；f. 逆向設(shè)計的非均勻介質(zhì)。

展望未來

文章認(rèn)為，混合光 - 電計算系統(tǒng)是這一領(lǐng)域最有發(fā)展前景的方向。混合系統(tǒng)既具備光計算的帶寬和速度優(yōu)勢，又具備電計算的靈活性，而且還能利用模擬和數(shù)字光學(xué) / 光電 / 電子系統(tǒng)的高能效技術(shù)基礎(chǔ)。混合光 - 電推理機器能將 AI 推理用于計算機視覺、機器人學(xué)、顯微和其它視覺計算任務(wù)，進(jìn)而實現(xiàn)光學(xué)計算機早該具有的變革性能力。