將肉眼直接用來(lái)“照相”，也許將成為可能……

哈佛團(tuán)隊(duì)推出的新模型能夠分析神經(jīng)信號(hào)，甚至從視覺(jué)皮層中直接提取影像。

相比于傳統(tǒng)神經(jīng)解析工具，這項(xiàng)成果大大提高了識(shí)別效率和連續(xù)性。

Nature的編輯也評(píng)價(jià)它“十分優(yōu)雅”：

這款模型名叫CEBRA（發(fā)音同zebra），是將對(duì)比式學(xué)習(xí)與非線(xiàn)性獨(dú)立分析相結(jié)合的產(chǎn)物。

一名團(tuán)隊(duì)成員表示，這個(gè)名字十分貼切，因?yàn)镃EBRA可以把信息“條紋化”，就像斑馬一樣。

在小鼠身上進(jìn)行的實(shí)驗(yàn)中，CEBRA視頻解析的準(zhǔn)確率超過(guò)了95%。

團(tuán)隊(duì)還發(fā)現(xiàn)，CEBRA在跨越大鼠和小鼠兩個(gè)物種時(shí)的表現(xiàn)具有一致性。

所以可以展望CEBRA在其他物種上的應(yīng)用，說(shuō)不定人眼攝像機(jī)也會(huì)成為可能。

論文通訊作者也表示，未來(lái)的目標(biāo)是將CEBRA集成到腦機(jī)接口中：

本質(zhì)上，CEBRA是一個(gè)神經(jīng)信號(hào)解析模型。

所以它的技能不只有圖像獲取，只要和神經(jīng)信號(hào)有關(guān)的事情，它都能做。

比如根據(jù)神經(jīng)活動(dòng)來(lái)預(yù)測(cè)肢體的運(yùn)動(dòng)行為。

還可以根據(jù)神經(jīng)信號(hào)判斷肢體活動(dòng)是主動(dòng)還是被動(dòng)做出。

對(duì)比式非線(xiàn)性學(xué)習(xí)

行為或神經(jīng)數(shù)據(jù)的降維壓縮一直是神經(jīng)信號(hào)識(shí)別中不可缺少的一環(huán)。

研究團(tuán)隊(duì)將對(duì)比式學(xué)習(xí)引入非線(xiàn)性獨(dú)立成分分析模型，提出了新的框架。

對(duì)比式學(xué)習(xí)是一種強(qiáng)大的自驅(qū)動(dòng)學(xué)習(xí)方式，使用呈現(xiàn)對(duì)比關(guān)系的樣本進(jìn)行訓(xùn)練，以發(fā)現(xiàn)數(shù)據(jù)間的共性與個(gè)性。

用CEBRA的模型訓(xùn)練神經(jīng)網(wǎng)絡(luò)，可以得到一種編碼器。

這種編碼器則可以生成由動(dòng)作或時(shí)間調(diào)控的低維嵌入空間。

具體而言，是通過(guò)將離散或連續(xù)的變量與時(shí)間相結(jié)合使數(shù)據(jù)對(duì)得到分布，然后再交由編碼器處理。

CEBRA獲取神經(jīng)活動(dòng)嵌入時(shí)同時(shí)使用用戶(hù)定義（監(jiān)督驅(qū)動(dòng)、假設(shè)式）和只帶有時(shí)間（自驅(qū)動(dòng)、發(fā)現(xiàn)式）的標(biāo)簽。

這一過(guò)程中，CEBRA將行為及時(shí)間標(biāo)簽與神經(jīng)信號(hào)一并優(yōu)化，映射到低維嵌入空間。

根據(jù)數(shù)據(jù)集大小的不同，優(yōu)化計(jì)算可以采用批量計(jì)算、隨機(jī)梯度下降等不同方式。

優(yōu)化后得到的低維嵌入既可以用于數(shù)據(jù)可視化，也可以在解碼等下游工作中使用。

相比于傳統(tǒng)的非線(xiàn)性降維方式，對(duì)比式訓(xùn)練無(wú)需生成模型，適用廣泛性更強(qiáng)。

魯棒性與實(shí)用性兼具

在事實(shí)信息重構(gòu)的測(cè)試中，CEBRA的表現(xiàn)顯著優(yōu)于pi-VAE。

然后，團(tuán)隊(duì)又使用了一個(gè)海馬數(shù)據(jù)集進(jìn)行測(cè)試，該數(shù)據(jù)集被用來(lái)作為神經(jīng)嵌入算法的基準(zhǔn)。

在這一輪測(cè)試中，團(tuán)隊(duì)賦予了pi-VAE卷積網(wǎng)絡(luò)加持，但最終結(jié)果仍是CEBRA更勝一籌。

魯棒性方面，團(tuán)隊(duì)使用了代數(shù)拓?fù)鋵W(xué)方法進(jìn)行測(cè)試。

將CEBRA生成的低維嵌入投影到球面，團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)環(huán)形拓?fù)浣Y(jié)構(gòu)。

通過(guò)計(jì)算Eilenberg-MacLane坐標(biāo)發(fā)現(xiàn)，CEBRA的環(huán)形拓?fù)浣Y(jié)構(gòu)與（真實(shí)）空間跨維度匹配。

至于跨個(gè)體甚至物種的表現(xiàn)，團(tuán)隊(duì)在訓(xùn)練時(shí)就使用了包含多種動(dòng)物的數(shù)據(jù)集。

測(cè)試結(jié)果也表明，CEBRA生成的結(jié)果具有很高的個(gè)體間和種間一致性。

與完全在未見(jiàn)過(guò)的個(gè)體上進(jìn)行訓(xùn)練相比，CEBRA的結(jié)果錯(cuò)誤更少、效率也更高。

實(shí)際應(yīng)用中，團(tuán)隊(duì)在小鼠身上進(jìn)行了實(shí)驗(yàn)。

他們讓小鼠反復(fù)觀看幾段視頻，并與小鼠視覺(jué)皮層的信號(hào)一并作為訓(xùn)練數(shù)據(jù)。

另有一些視頻則用作測(cè)試數(shù)據(jù)，結(jié)果顯示，CEBRA視頻解析的準(zhǔn)確率超過(guò)了95%，遠(yuǎn)高于其他模型。

論文地址：
https://www.nature.com/articles/s41586-023-06031-6

項(xiàng)目主頁(yè)：
https://github.com/AdaptiveMotorControlLab/CEBRA