偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

多突觸神經(jīng)元模型問世,國內(nèi)團(tuán)隊(duì)打造類腦計(jì)算新引擎,登上《自然·通訊》

人工智能 新聞
近日,國防科技大學(xué)智能科學(xué)學(xué)院胡德文課題組與中國科學(xué)院自動(dòng)化研究所李國齊課題組合作提出了一種新型脈沖神經(jīng)元模型——多突觸發(fā)放(Multi-Synaptic Firing, MSF)脈沖神經(jīng)元

本文第一作者為范良偉,國防科技大學(xué)講師。共同通訊作者分別為沈輝,國防科技大學(xué)教授;李國齊,中國科學(xué)院自動(dòng)化研究所研究員、國家杰出青年基金獲得者;胡德文,國防科技大學(xué)教授、國家杰出青年基金獲得者、國防科技大學(xué)智能科學(xué)學(xué)院認(rèn)知科學(xué)團(tuán)隊(duì)創(chuàng)始人和帶頭人,2012、2018 年兩次獲國家自然科學(xué)獎(jiǎng)二等獎(jiǎng)。

當(dāng)前人工智能技術(shù)迅猛發(fā)展的同時(shí),其高能耗問題也日益凸顯。脈沖神經(jīng)網(wǎng)絡(luò)(Spiking Neural Networks, SNNs)被認(rèn)為是一種更具生物合理性、能效更高的計(jì)算范式。

然而,目前業(yè)界仍缺乏一種在計(jì)算效率和生物合理性之間實(shí)現(xiàn)良好平衡的脈沖神經(jīng)元模型,這成為制約 SNNs 發(fā)展與應(yīng)用的關(guān)鍵問題之一。

具體而言,現(xiàn)有的脈沖神經(jīng)元模型 —— 包括泄漏積分發(fā)放(Leaky Integrate-and-Fire, LIF)、自適應(yīng) LIF(Adaptive LIF, ALIF)、霍奇金-赫胥黎(Hodgkin-Huxley, HH)以及多室模型(Multi-compartment models)—— 主要關(guān)注于模擬神經(jīng)元的動(dòng)態(tài)行為,并假設(shè)神經(jīng)元之間僅通過單個(gè)突觸(即單通道)連接。

由于脈沖神經(jīng)元的信息表示方式是二值化的,單通道連接方式使得 SNNs 難以同時(shí)編碼輸入信號(hào)的空間強(qiáng)度分布與時(shí)間動(dòng)態(tài)性。這種信號(hào)編碼過程中出現(xiàn)的信息損失使得 SNNs 在時(shí)空計(jì)算任務(wù)中的性能難以匹敵甚至超越連續(xù)值人工神經(jīng)網(wǎng)絡(luò)(ANNs)。

近日,國防科技大學(xué)智能科學(xué)學(xué)院胡德文課題組與中國科學(xué)院自動(dòng)化研究所李國齊課題組合作提出了一種新型脈沖神經(jīng)元模型——多突觸發(fā)放(Multi-Synaptic Firing, MSF)脈沖神經(jīng)元 (下圖 1)。

圖 1 多突觸脈沖神經(jīng)元模型

該神經(jīng)元模型兼具生物合理性和計(jì)算高效性,可以同時(shí)編碼輸入信號(hào)的時(shí)空動(dòng)態(tài)信息,在不增加計(jì)算延遲或顯著功耗的前提下,能夠?qū)崿F(xiàn)高性能的類腦計(jì)算,相關(guān)研究在線發(fā)表于《自然?通訊》(Nature Communications)。

  • 論?標(biāo)題:A multisynaptic spiking neuron for simultaneously encoding spatiotemporal dynamics
  • 作者:Liangwei Fan, Hui Shen, Xiangkai Lian, Yulin Li, Man Yao, Guoqi Li, and Dewen Hu
  • 論?鏈接:https://www.nature.com/articles/s41467-025-62251-6
  • 代碼鏈接:https://github.com/fanliangwei/Multisynaptic-spiking-neurons

研究概覽

本研究受到生物學(xué)中「多突觸連接」現(xiàn)象的啟發(fā),即允許神經(jīng)元的一個(gè)軸突在同一目標(biāo)神經(jīng)元上建立多個(gè)具有不同發(fā)放閾值的突觸。這種現(xiàn)象在多種生物大腦中廣泛存在,包括秀麗隱桿線蟲、果蠅、小鼠、大鼠以及人類大腦。

通過這種結(jié)構(gòu),MSF 神經(jīng)元可實(shí)現(xiàn)時(shí)空信息的同時(shí)編碼:即借助不同突觸的瞬時(shí)發(fā)放率和精確的脈沖時(shí)序來同時(shí)編碼輸入信號(hào)的空間強(qiáng)度分布與時(shí)間動(dòng)態(tài)。

在理論層面上,該研究表明 MSF 神經(jīng)元是一種通用且更精細(xì)的神經(jīng)元抽象模型,傳統(tǒng)的 LIF 神經(jīng)元和經(jīng)典的 ReLU 神經(jīng)元可視作其在某些具體參數(shù)下的特例,從而揭示了 ANNs 與 SNNs 之間的內(nèi)在聯(lián)系。

更重要的是,該研究進(jìn)一步通過理論推導(dǎo)得到了最優(yōu)的突觸閾值選擇方案,并提供了誤差反向傳播訓(xùn)練替代梯度函數(shù)的參數(shù)優(yōu)化準(zhǔn)則,避免了深層 SNNs 模型訓(xùn)練時(shí)出現(xiàn)梯度消失或爆炸問題,使基于 MSF 神經(jīng)元構(gòu)建的 SNNs 可擴(kuò)展至大規(guī)模、深層模型而不發(fā)生性能退化。

在實(shí)驗(yàn)層面上,該研究首先通過信號(hào)重建任務(wù),揭示了 MSF 神經(jīng)元可通過獨(dú)立的頻率編碼與時(shí)間編碼方式,同時(shí)編碼輸入信號(hào)的空間強(qiáng)度分布與時(shí)間動(dòng)態(tài)特性(下圖 2)。圖片和視頻重建結(jié)果表明,基于 MSF 神經(jīng)元構(gòu)建的脈沖自編碼模型重建出的圖像具有更好的紋理、顏色等細(xì)節(jié)信息。

圖 2 信號(hào)重建任務(wù)

其次,在靜態(tài)與動(dòng)態(tài)識(shí)別、基于圖像與事件流的目標(biāo)檢測(cè)、腦機(jī)接口以及強(qiáng)化學(xué)習(xí)等多個(gè)基準(zhǔn)任務(wù)上的大量實(shí)驗(yàn)結(jié)果表明,MSF 神經(jīng)元憑借其優(yōu)越的時(shí)空編碼能力,在不增加模型復(fù)雜度的前提下,性能相較于傳統(tǒng) LIF 神經(jīng)元取得了顯著提升。

特別地,在連續(xù)事件流的時(shí)空計(jì)算任務(wù)中,基于 MSF 神經(jīng)元構(gòu)建的 SNNs 甚至超越了基于 ReLU 神經(jīng)元構(gòu)建的、具有相同網(wǎng)絡(luò)結(jié)構(gòu)的 ANNs,并展現(xiàn)出更高的能效比(下圖 3)。

圖 3 靜態(tài)和動(dòng)態(tài)識(shí)別任務(wù)

研究團(tuán)隊(duì)已成功將 MSF 神經(jīng)元模型部署于國產(chǎn)神經(jīng)形態(tài)硬件平臺(tái),并在真實(shí)自動(dòng)駕駛場(chǎng)景下完成事件驅(qū)動(dòng)的目標(biāo)檢測(cè)任務(wù),驗(yàn)證了其在類腦計(jì)算芯片的硬件兼容性(下圖 4)。

有趣的是,實(shí)驗(yàn)還發(fā)現(xiàn)訓(xùn)練后的模型在突觸數(shù)量分布上類似于觀察到的人類大腦皮層,進(jìn)一步印證了該模型具備一定的生物學(xué)合理性與可解釋性。

圖 4 神經(jīng)形態(tài)硬件上的部署

總結(jié)

該成果推動(dòng)了類腦計(jì)算向更復(fù)雜、更具自然智能的方向發(fā)展,為構(gòu)建低功耗、高性能、可擴(kuò)展的人工智能系統(tǒng)奠定了基礎(chǔ),有望加速 SNNs 在邊緣計(jì)算與神經(jīng)形態(tài)芯片等前沿領(lǐng)域中的實(shí)際落地與應(yīng)用。

研究團(tuán)隊(duì)表示,未來將繼續(xù)探索 MSF 神經(jīng)元在更廣泛任務(wù)中的應(yīng)用潛力,助力人工智能技術(shù)邁向更加智能、綠色與可持續(xù)的發(fā)展方向。

論文其它作者還包括國防科技大學(xué)連祥凱、李昱霖,中國科學(xué)院自動(dòng)化研究所姚滿。相關(guān)工作得到了國家自然科學(xué)基金委重點(diǎn)項(xiàng)目、湖南省科技創(chuàng)新計(jì)劃項(xiàng)目等項(xiàng)目的支持。

責(zé)任編輯:張燕妮 來源: 機(jī)器之心
相關(guān)推薦

2025-02-20 13:48:24

計(jì)算架構(gòu)芯片

2020-10-11 21:39:35

計(jì)算機(jī)互聯(lián)網(wǎng) 技術(shù)

2023-10-07 13:16:40

ChatGPT神經(jīng)元模型

2021-09-24 09:28:34

計(jì)算數(shù)據(jù) 技術(shù)

2021-04-29 08:50:39

人工智能神經(jīng)網(wǎng)絡(luò)技術(shù)

2020-10-15 14:23:30

計(jì)算機(jī)互聯(lián)網(wǎng) 技術(shù)

2021-09-28 14:09:08

芯片半導(dǎo)體技術(shù)

2022-10-31 15:17:49

AI系統(tǒng)

2025-08-05 09:00:00

AI計(jì)算機(jī)芯片

2024-03-19 09:22:54

AI神經(jīng)網(wǎng)絡(luò)

2022-05-24 11:05:51

神經(jīng)元人工智能計(jì)算機(jī)

2025-05-27 15:35:02

大模型技術(shù)AI

2019-05-07 19:12:28

機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)Python

2022-12-30 13:35:48

2019-10-11 14:48:42

技術(shù)研發(fā)指標(biāo)

2024-12-09 09:30:00

AI模型

2022-02-28 17:37:57

神經(jīng)元MIT科學(xué)

2022-02-08 15:07:37

AI機(jī)器學(xué)習(xí)電子

2022-02-15 15:20:26

計(jì)算神經(jīng)元研究

2022-03-22 18:17:57

混合辦公
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)