?1965 年，戈登?摩爾歸納了一條經(jīng)驗之談：集成電路上可以容納的晶體管數(shù)目大約每經(jīng)過 18 個月到 24 個月就會增加一倍。換言之，處理器的性能大約每兩年翻一倍。

這條經(jīng)驗之談被稱為「摩爾定律」，之后的四十年里，半導體芯片制造工藝確實以令人目眩的速度成倍提高。但近年來，摩爾定律的加倍效應已在放緩，甚至有人預言在不久的將來會失效。

業(yè)界紛紛提出各種方案應對這種發(fā)展瓶頸，來自斯坦福大學的神經(jīng)形態(tài)工程師 Kwabena Boahen 最近提出了一種新思路：人工神經(jīng)元應該模仿生物神經(jīng)元的樹突，而非突觸。研究論文發(fā)表在《Nature》上。

論文地址：https://www.nature.com/articles/s41586-022-05340-6

當前，神經(jīng)形態(tài)計算旨在通過模仿構成人腦的神經(jīng)元和突觸的機制來實現(xiàn)人工智能（AI）。人工神經(jīng)網(wǎng)絡反復調(diào)整連接神經(jīng)元的突觸，以修改每個突觸的「權重」，即一個神經(jīng)元對另一個神經(jīng)元的影響強度，然后神經(jīng)網(wǎng)絡確定由此產(chǎn)生的行為模式是否更善于找到解決方案。隨著時間的推移，系統(tǒng)會發(fā)現(xiàn)哪些模式最適合計算結果，并采用這些模式作為默認模式。

神經(jīng)網(wǎng)絡通常包含很多層神經(jīng)元，例如 GPT-3 擁有 1750 億個權重，連接相當于 830 萬個神經(jīng)元，深度為 384 層。隨著神經(jīng)網(wǎng)絡規(guī)模和功能的不斷增加，它們變得越來越昂貴和耗能。以 GPT-3 為例，OpenAI 花費 460 萬美元讓 9200 個 GPU 運行兩周來訓練這個大型模型。Kwabena Boahen 說：「GPT-3 在訓練期間消耗的能量轉化為碳排放相當于 1300 輛汽車?！?/p>

這也是 Boahen 提出神經(jīng)網(wǎng)絡下一步應該嘗試數(shù)圖學習的重要原因。模仿神經(jīng)網(wǎng)絡中的樹突將增加傳輸信號中傳達的信息量，讓 AI 系統(tǒng)不再需要 GPU 云中的兆瓦級功率，在手機等移動設備上就可以支持運行。

樹突可以大量分支，允許一個神經(jīng)元與許多其他神經(jīng)元連接。已有研究發(fā)現(xiàn)，樹突從其分支接收信號的順序決定了其響應的強度。

Boahen 提出的樹突計算模型只有在接收到來自神經(jīng)元的精確序列信號時才會做出反應。這意味著每個樹突都可以編碼數(shù)據(jù)，而不僅僅是 0/1 這樣簡單的電信號?；A系統(tǒng)將變得更加強大，這取決于它擁有的連接數(shù)量和接收到的信號序列的長度。

在實際構建方面，Boahen 提出用鐵電 FET（FeFET）來模擬樹突，具有 5 個柵極的 1.5 微米長的 FeFET 就可以模擬具有 5 個突觸的 15 微米長的樹突。Boahen 說，這種構建版本可能會在「3D 芯片」中實現(xiàn)。

感興趣的讀者可以閱讀論文原文，了解更多研究細節(jié)。

參考鏈接：https://spectrum.ieee.org/dendrocentric-learning?