用光訓練神經(jīng)網(wǎng)絡，清華成果最新登上了Nature！

無法應用反向傳播算法怎么辦？

他們提出了一種全前向模式（Fully Forward Mode，F(xiàn)FM）的訓練方法，在物理光學系統(tǒng)中直接執(zhí)行訓練過程，克服了傳統(tǒng)基于數(shù)字計算機模擬的限制。

簡單點說，以前需要對物理系統(tǒng)進行詳細建模，然后在計算機上模擬這些模型來訓練網(wǎng)絡。而FFM方法省去了建模過程，允許系統(tǒng)直接使用實驗數(shù)據(jù)進行學習和優(yōu)化。

這也意味著，訓練不需要再從后向前檢查每一層（反向傳播），而是可以直接從前向后更新網(wǎng)絡的參數(shù)。

打個比方，就像拼圖一樣，反向傳播需要先看到最終圖片（輸出），然后逆向一塊塊檢查復原；而FFM方法更像手中已有部分完成的拼圖，只需按照一些光原理（對稱互易性）繼續(xù)填充，而無需回頭檢查之前的拼圖。

這樣下來，使用FFM優(yōu)勢也很明顯：

一是減少了對數(shù)學模型的依賴，可以避免模型不準確帶來的問題；二是節(jié)省了時間（同時能耗更低），使用光學系統(tǒng)可以并行處理大量的數(shù)據(jù)和操作，消除反向傳播也減少了整個網(wǎng)絡中需要檢查和調整的步驟。

論文共同一作是來自清華的薛智威、周天貺，通訊作者是清華的方璐教授、戴瓊海院士。此外，清華電子系徐智昊、之江實驗室虞紹良也參與了這項研究。

消除反向傳播

一句話概括FFM原理：

將光學系統(tǒng)映射為參數(shù)化的現(xiàn)場神經(jīng)網(wǎng)絡，通過測量輸出光場來計算梯度，并使用梯度下降算法更新參數(shù)。

簡單說就是讓光學系統(tǒng)自學，通過觀察自己如何處理光線（即測量輸出光場）來了解自己的表現(xiàn)，然后利用這些信息來逐步調整自己的設置（參數(shù)）。

下圖展示了FFM在光學系統(tǒng)中的運行機制：

其中a為傳統(tǒng)設計方法的局限性；b為光學系統(tǒng)的組成；c為光學系統(tǒng)到神經(jīng)網(wǎng)絡的映射。

展開來說，一般的光學系統(tǒng)（b），包括自由空間透鏡光學和集成光子學，由調制區(qū)域（暗綠色）和傳播區(qū)域（淺綠色）組成。在這些區(qū)域中，調制區(qū)域的折射率是可調的，而傳播區(qū)域的折射率是固定的。

而這里的調制和傳播區(qū)域可以映射到神經(jīng)網(wǎng)絡中的權重和神經(jīng)元連接。

在神經(jīng)網(wǎng)絡中，這些可調整的部分就像是神經(jīng)元之間的連接點，可以改變它們的強度（權重）來學習。

利用空間對稱互易性原理，數(shù)據(jù)和誤差計算可以共享相同的前向物理傳播過程和測量方法。

這有點像鏡子里的反射，系統(tǒng)中的每個部分都能以相同的方式響應光的傳播和錯誤反饋。這意味著無論光如何進入系統(tǒng)，系統(tǒng)都能以一致的方式處理它，并根據(jù)結果來調整自己。

這樣，可以在現(xiàn)場直接計算梯度，用于更新設計區(qū)域內的折射率，從而優(yōu)化系統(tǒng)性能。

通過現(xiàn)場梯度下降方法，光學系統(tǒng)可以逐步調整其參數(shù)，直至達到最優(yōu)狀態(tài)。

原文將上述全前向模式的梯度下降方法（替代反向傳播）用方程最終表示為：

一種光學神經(jīng)網(wǎng)絡訓練方法

作為一種光學神經(jīng)網(wǎng)絡訓練的方法，F(xiàn)FM有以下優(yōu)勢：

與理想模型相當?shù)臏蚀_率

使用FFM可以在自由空間光學神經(jīng)網(wǎng)絡（Optical Neural Network，ONN）上實現(xiàn)有效的自訓練過程。

要說明這個結論，研究人員首先用一個單層的ONN在基準數(shù)據(jù)集上進行了對象分類訓練（a）。

具體來說，他們用了一些手寫數(shù)字的圖片（MNIST數(shù)據(jù)集）來訓練這個系統(tǒng)，然后將結果進行了可視化（b）。

結果顯示，通過FFM學習訓練的ONN在實驗光場與理論光場之間相似性極高（SSIM超過0.97）。

換句話說，它學習得非常好，幾乎能夠完美復制給它的示例。

不過研究人員也提醒：

由于系統(tǒng)存在的不完美之處，理論上計算出的光場和梯度無法完全準確地反映實際物理現(xiàn)象。

接下來，研究人員用更復雜的圖片（Fashion-MNIST數(shù)據(jù)集）來訓練系統(tǒng)識別不同的時尚物品。

一開始，當層數(shù)從2層增加到8層，計算機訓練網(wǎng)絡的平均準確度幾乎只有理論準確度的一半。

而通過FFM學習方法，系統(tǒng)的網(wǎng)絡準確度提升到92.5%，接近理論值。

這表明了，隨著網(wǎng)絡層數(shù)的增加，傳統(tǒng)方法訓練的網(wǎng)絡性能下降，而FFM學習能夠維持高精度。

同時，通過將非線性激活納入FFM學習，可以進一步提升ONN的性能。在實驗中，非線性FFM學習能夠將分類準確率從90.4%提高到93.0%。

研究進一步證明，通過批量訓練非線性ONN，錯誤傳播過程可以被簡化，并且訓練時間僅增加1到1.7倍。

高分辨率的聚焦能力

FFM在實際應用中也能實現(xiàn)高質量的成像，即使在復雜的散射環(huán)境中也能達到接近物理極限的分辨率。

首先，當光波進入散射介質（如霧、煙或生物組織等），聚焦會變得復雜，不過光波在介質中的傳播往往保持一定的對稱性。

FFM就利用了這種對稱性，通過優(yōu)化光波的傳播路徑和相位，以減少散射效應對聚焦的負面影響。

其效果也很顯著，圖b展示了FFM與PSO（粒子群優(yōu)化）這兩種優(yōu)化方法的對比。

具體來說，實驗采用了兩種散射介質，一種是隨機相位板（Scatterer-I），另一種是透明膠帶（Scatterer-II）。

在這兩種介質中，FFM僅經(jīng)過25次設計迭代就實現(xiàn)了收斂（更快找到優(yōu)化解），收斂損失值分別為1.84和2.07（越低性能越好）。

而PSO方法需要至少400次設計迭代才能達到收斂，且在最終收斂時的損失值為2.01和2.15。

同時，圖c展示了FFM能夠不斷自我優(yōu)化，它設計的焦點從最初的隨機分布逐漸演化和收斂到一個緊密的焦點。

在3.2 mm × 3.2 mm的設計區(qū)域內，研究人員進一步對FFM和PSO優(yōu)化的焦點進行了均勻采樣，并比較了它們的FWHM（半峰全寬）和PSNR（峰值信噪比）。

結果顯示，F(xiàn)FM聚焦精度更高，成像質量更好。

圖e進一步評估了設計的焦點陣列在掃描位于散射介質后面的分辨率圖時的性能。

結果令人驚喜，F(xiàn)FM設計的焦點尺寸接近64.5 μm的衍射極限，這是光學成像理論上的最高分辨率標準。

能夠并行成像視線之外的物體

既然在散射介質中如此厲害，研究人員又嘗試了非視距（NLOS）場景，即物體被隱藏在視線之外的地方。

FFM利用了從隱藏物體到觀察者之間光路的空間對稱性，這允許系統(tǒng)通過全光學的方式在現(xiàn)場重建和分析動態(tài)隱藏物體。

通過設計輸入波前，F(xiàn)FM能夠同時將物體中的所有網(wǎng)格投影到它們的目標位置，實現(xiàn)隱藏物體的并行恢復。

實驗中使用了字母形狀的隱藏鉻靶“T”、“H”和“U”，并設置了曝光時間（1毫秒）和光功率（0.20 mW），以實現(xiàn)對這些動態(tài)目標的快速成像。

結果顯示，沒有FFM設計的波前，圖像會嚴重扭曲。而FFM設計的波前能夠恢復所有三個字母的形狀，SSIM（結構相似性指數(shù)）達到1.0，表明與原始圖像的高度相似性。

進一步，與人工神經(jīng)網(wǎng)絡（ANN）在光子效率和分類性能方面相比，F(xiàn)FM顯著優(yōu)于ANN，尤其是在低光子條件下。

具體而言，在光子數(shù)量受限的情況下（如許多反射或高度漫射的表面），F(xiàn)FM能夠自適應地糾正波前畸變，并需要更少的光子來進行準確分類。

在非Hermitian系統(tǒng)中自動搜索異常點

FFM方法不僅適用于自由空間光學系統(tǒng)，還可以擴展到集成光子系統(tǒng)的自我設計。

研究人員使用串聯(lián)和并聯(lián)配置的對稱光子核心，構建了一個集成神經(jīng)網(wǎng)絡（a）。

實驗中，對稱核心通過不同水平的注入電流配置了可變光衰減器（VOA），實現(xiàn)了不同的衰減系數(shù)，以模擬不同的權重。

在圖c中，對稱核心中編程矩陣值的保真度非常高，時間漂移的標準偏差分別為0.012%，0.012%和0.010%，表明矩陣值非常穩(wěn)定。

并且，研究人員可視化了每層的誤差。對比實驗梯度與理論模擬值，其平均偏差為3.5%。

在大約100次迭代（epoch）后，網(wǎng)絡達到了收斂狀態(tài)。

實驗結果顯示，在三種不同的對稱比例配置下（1.0、0.75或0.5），網(wǎng)絡的分類準確度分別為94.7%、89.2%和89.0%。

而使用FFM方法的神經(jīng)網(wǎng)絡，得到的分類準確度為94.2%、89.2%和88.7%。

相比之下，如果使用傳統(tǒng)的計算機模擬方法來設計網(wǎng)絡，實驗的分類準確度會低一些，分別為71.7%、65.8%和55.0%。

最后，研究人員還展示了FFM可以自我設計非厄米特系統(tǒng)，通過數(shù)值模擬，無需物理模型即可實現(xiàn)對特異點的遍歷。

非厄米特系統(tǒng)是物理學中的一個概念，它涉及到量子力學和光學等領域中的系統(tǒng)，這些系統(tǒng)不滿足厄米特性（Hermitian）條件。

厄米特性與系統(tǒng)的對稱性和能量的實數(shù)性有關，非厄米特系統(tǒng)則不滿足這些條件，它們可能具有一些特殊的物理現(xiàn)象，比如特異點（Exceptional Points），這是系統(tǒng)的動力學行為在某些點上會發(fā)生奇異變化的地方。

總結全文，F(xiàn)FM是一種在物理系統(tǒng)上實現(xiàn)計算密集型訓練過程的方法，能夠高效并行執(zhí)行大多數(shù)機器學習操作。

更多詳細實驗設置、數(shù)據(jù)集準備過程，歡迎查閱原文。

代碼：https://zenodo.org/records/10820584《Nature》原文：https://www.nature.com/articles/s41586-024-07687-4