腦機(jī)接口時(shí)代，天天都有新鮮玩意兒。

今天帶來(lái)四個(gè)字：腦植音樂(lè)。

具體來(lái)說(shuō)，就是先用AI來(lái)觀察某段音樂(lè)會(huì)讓人的大腦中產(chǎn)生什么樣的電波，然后直接在有需要的人的大腦里模擬這個(gè)電波的活動(dòng)，以此來(lái)達(dá)到治療某類(lèi)疾病的目的。

讓我們把目光轉(zhuǎn)向若干年前的Albany醫(yī)療中心，看看里面的神經(jīng)科學(xué)家們是怎么做的。

語(yǔ)言障礙者的福音！

在Albany醫(yī)療中心，一首名叫「Another Brick in the Wall」的音樂(lè)悠然響起，充斥著整個(gè)醫(yī)院病房。

而聆聽(tīng)者卻不是醫(yī)生，而是躺在病床上準(zhǔn)備接受癲癇手術(shù)的病人們。

神經(jīng)科學(xué)家們圍聚在旁，從電腦屏幕上觀察病人大腦中的電極活動(dòng)。

主要觀察的內(nèi)容，就是大腦部分區(qū)域在聽(tīng)到一些獨(dú)屬于音樂(lè)的東西后所產(chǎn)生的電極活動(dòng)，然后看看通過(guò)這些記錄下來(lái)的電極活動(dòng)能不能復(fù)現(xiàn)出他們?cè)诼?tīng)什么音樂(lè)。

上面提到的屬于音樂(lè)的東西，包括音調(diào)、節(jié)奏、和聲，以及歌詞。

這項(xiàng)研究進(jìn)行了十來(lái)年。加利福尼亞大學(xué)伯克利分校的神經(jīng)科學(xué)家們對(duì)29位接受過(guò)該實(shí)驗(yàn)的癲癇患者的數(shù)據(jù)進(jìn)行了詳細(xì)分析。

結(jié)果是肯定的——科學(xué)家們可以根據(jù)病人大腦中的電極活動(dòng)，重建這段音樂(lè)。

在復(fù)現(xiàn)的歌曲中，其中的一句歌詞「All in all it was just a brick in the wall」的節(jié)奏非常完整，雖說(shuō)歌詞不算太清晰，但研究人員表示，可以破譯出來(lái)，并非混沌一片。

而這首歌曲也是科學(xué)家們第一個(gè)通過(guò)大腦電極活動(dòng)重建歌曲成功的案例。

結(jié)果表明，通過(guò)對(duì)腦電波的記錄和解除，是可以捕捉到一些音樂(lè)元素以及音節(jié)的。

用專(zhuān)業(yè)術(shù)語(yǔ)來(lái)說(shuō)，這些音樂(lè)元素也叫韻律（prosody），即節(jié)奏、重音、抑揚(yáng)頓挫等等。這些元素是無(wú)法單靠語(yǔ)言來(lái)表達(dá)其中的意義的。

此外，由于這些顱內(nèi)腦電圖（iEEG）只記錄在大腦表層進(jìn)行的活動(dòng)（也就是最接近聽(tīng)覺(jué)中心的部分），因此朋友們不用擔(dān)心短期內(nèi)會(huì)有人通過(guò)這個(gè)手段來(lái)偷聽(tīng)你在聽(tīng)什么歌（笑）。

但是，對(duì)于那些得了中風(fēng)，或者癱瘓，導(dǎo)致交流困難的人來(lái)說(shuō)，這種從大腦表層電極活動(dòng)進(jìn)行的復(fù)現(xiàn)，可以幫助他們重現(xiàn)樂(lè)曲的音樂(lè)性。

顯然，這比之前那種機(jī)器人式的、語(yǔ)調(diào)呆呆的復(fù)現(xiàn)要好得多。就像上面提到的一樣，有些東西光靠文字真不夠，咱聽(tīng)的是那個(gè)調(diào)調(diào)。

Helen Wills神經(jīng)科學(xué)研究所的神經(jīng)科學(xué)家，兼加州大學(xué)伯克利分校的心理學(xué)教授Robert Knight表示，這是一項(xiàng)了不起的成果。

「對(duì)于我來(lái)說(shuō)，音樂(lè)的魅力之一就在于它的前奏和所要表達(dá)的情感內(nèi)容。而隨著腦機(jī)接口領(lǐng)域的不斷突破，這項(xiàng)技術(shù)就可以給有需要的人，通過(guò)植入的方式提供只有音樂(lè)才能提供的東西。受眾可能包括患有漸凍人癥的病人，或是癲癇病人，總之一切因?yàn)椴“Y影響到語(yǔ)言輸出神經(jīng)的人。」

「換句話說(shuō)，現(xiàn)在我們能做到的已經(jīng)不僅僅是語(yǔ)言本身了，和音樂(lè)性相比，文字所表達(dá)的情感可能就稍顯單薄了。我認(rèn)為，從此刻開(kāi)始，我們才真正開(kāi)始了破譯之旅?！?/span>

而隨著腦電波記錄技術(shù)的更迭，未來(lái)的某一天我們也有可能在不打開(kāi)大腦的情況下，通過(guò)附著在頭皮上的電極進(jìn)行記錄。

Knight表示，目前的頭皮腦電圖已經(jīng)可以測(cè)量并記錄一些大腦活動(dòng)，比方說(shuō)從一大串字母中檢測(cè)出單個(gè)字母。雖說(shuō)效率不高，每個(gè)字母都得花上至少20秒鐘，但總歸是個(gè)開(kāi)始。

之所以要大力發(fā)展頭皮電極，是因?yàn)楝F(xiàn)在的無(wú)創(chuàng)技術(shù)還不夠嫻熟。也就是說(shuō)，開(kāi)顱的測(cè)量并不能保證100%的安全性。

而頭皮電極的測(cè)量準(zhǔn)度，尤其是對(duì)大腦深層的測(cè)量，還不太夠。只能說(shuō)，成功了但也沒(méi)完全成功。

能讀心嗎？

直接給答案：no。

打個(gè)比方，對(duì)于那些說(shuō)話有障礙的人來(lái)說(shuō)，腦機(jī)接口技術(shù)相當(dāng)于給了他們一把「鍵盤(pán)」，通過(guò)捕捉腦電波的活動(dòng)，他們就可以在這把「鍵盤(pán)」上打字，表達(dá)他們所想表達(dá)的。

比如霍金，他用的那個(gè)東西就是這樣，通過(guò)捕捉他的腦電波來(lái)生成機(jī)器人聲的語(yǔ)音。

類(lèi)比到這里你應(yīng)該能明白了，光看這把「鍵盤(pán)」，你是不知道他在想什么的?，F(xiàn)在的技術(shù)是他想，「鍵盤(pán)」啟動(dòng)，輸出語(yǔ)音。他不想，「鍵盤(pán)」就不會(huì)啟動(dòng)，你也不能知道他在想啥。

所以說(shuō)，讀心不行。

實(shí)驗(yàn)內(nèi)容

下圖中，圖A上即為實(shí)驗(yàn)所用歌曲的整體波形圖。A下是該歌曲的聽(tīng)覺(jué)頻譜圖，最上端的橙色條代表有人聲出現(xiàn)。

圖B為X光片下，一名患者的電極覆蓋圖。每一個(gè)點(diǎn)代表著一個(gè)電極。

圖C即為圖B中4個(gè)電極分別的電極信號(hào)。此外，圖中還顯示了歌曲刺激所引起的HFA（High-Frequency Activity），即高頻活動(dòng)，在圖中用下滑的黑色短線表示，頻率在70到150赫茲之間。

圖D是A中一小段（10秒）歌曲播放的放大的聽(tīng)覺(jué)頻譜圖以及電極神經(jīng)活動(dòng)圖。我們可以發(fā)現(xiàn)，HFA的時(shí)間點(diǎn)與頻譜圖中每個(gè)標(biāo)出來(lái)的矩形的右側(cè)紅色線條對(duì)上了。

這些配對(duì)情況就構(gòu)成了研究人員用于訓(xùn)練和評(píng)估編碼模型的示例。

研究人員的實(shí)驗(yàn)結(jié)果顯示，解碼模型中用作預(yù)測(cè)因子的電極數(shù)量與預(yù)測(cè)準(zhǔn)確率之間存在對(duì)數(shù)關(guān)系，如下圖所示。

例如，使用43個(gè)電極（或12.4%）可以獲得80%的最佳預(yù)測(cè)準(zhǔn)確率（最佳預(yù)測(cè)準(zhǔn)確率即為使用所有347個(gè)電極的結(jié)果）。

研究人員在單個(gè)患者上觀察到了相同的關(guān)系。

此外，通過(guò)引導(dǎo)分析，研究人員觀察到數(shù)據(jù)集持續(xù)的時(shí)間與預(yù)測(cè)準(zhǔn)確率之間也存在類(lèi)似的對(duì)數(shù)關(guān)系，如下圖所示。

例如，使用長(zhǎng)度69秒（百分比為36.1%）的數(shù)據(jù)可以獲得90%的最佳性能（最佳性能即為使用整首歌190.72秒的的長(zhǎng)度得出）。

而關(guān)于模型類(lèi)型，線性解碼的平均解碼準(zhǔn)確率為0.325，而使用雙層全連接神經(jīng)網(wǎng)絡(luò)的非線性解碼的平均解碼準(zhǔn)確率則為0.429。

總體而言，線性音樂(lè)歌曲重建（音頻S2）聽(tīng)起來(lái)悶悶的，對(duì)一些音樂(lè)元素（指人聲音節(jié)和主音吉他）的存在有很強(qiáng)的節(jié)奏提示，但可能對(duì)另外一些元素的感知有限。

非線性歌曲重建的（音頻S3）則復(fù)現(xiàn)出了一首可識(shí)別的歌曲，與線性重建相比，細(xì)節(jié)也更加豐富。音高和音色等頻譜元素的感知質(zhì)量得到了明顯的改善，音素特征也更加清晰可辨。線性重建中存在的一些識(shí)別盲區(qū)也有一定程度的改進(jìn)。

如下圖所示：

所以研究人員使用非線性模型通過(guò)第29個(gè)患者的61個(gè)電極重建了歌曲。

這些模型的表現(xiàn)優(yōu)于基于所有患者電極的線性重建，但解碼準(zhǔn)確性低于使用所有患者的347個(gè)電極所獲得的準(zhǔn)確性。

在感知方面，這些基于單個(gè)患者的模型提供了足夠高的頻譜-時(shí)間的細(xì)節(jié)，足以讓研究人員識(shí)別出歌曲（音頻S4）。

同時(shí)，為了評(píng)估基于單個(gè)患者的解碼下限，研究人員從另外3位患者的腦神經(jīng)活動(dòng)中重建了歌曲，這3位患者的電極數(shù)量較少，分別為23、17和10個(gè)，而上述第29個(gè)患者的電極數(shù)量為61個(gè)，電極密度也相對(duì)較低。當(dāng)然，還是覆蓋了歌曲的反應(yīng)區(qū)域，線性解碼的準(zhǔn)確性也算良好。

在重建的波形圖（音頻文件S5、S6 和 S7）中，研究人員檢索到了部分人聲。然后，他們將原始歌曲與解碼歌曲的頻譜圖進(jìn)行關(guān)聯(lián)，對(duì)解碼歌曲的可識(shí)別性進(jìn)行了量化。

線性重構(gòu)（下圖A）和非線性重構(gòu)（下圖B）都提供了較高比例的正確識(shí)別率。

另外，研究人員分析了所有347個(gè)重要電極的STRF（頻譜-時(shí)間接受域）系數(shù)，以評(píng)估不同音樂(lè)元素在不同腦區(qū)的編碼情況。

這項(xiàng)分析揭示了各種頻譜-時(shí)間的調(diào)諧模式。

為了全面描述歌曲頻譜圖與神經(jīng)活動(dòng)之間的關(guān)系，研究人員對(duì)所有重要的STRFs進(jìn)行了獨(dú)立成分分析（ICA）。

研究人員發(fā)現(xiàn)了3個(gè)具有不同頻譜-時(shí)間調(diào)諧模式的組成部分，每個(gè)部分的方差解釋率均超過(guò)了5%，合計(jì)方差解釋率達(dá)52.5%，如下圖所示。

第一個(gè)部分（解釋方差為28%）顯示了一個(gè)正系數(shù)集群，該集群分布在大約500Hz到7000Hz的寬頻率范圍內(nèi)，以及觀察到HFA之前90ms左右的這一個(gè)狹窄時(shí)間窗口內(nèi)。

這個(gè)瞬時(shí)集群顯示了聲音起始的調(diào)諧。該部分被稱(chēng)為起始部分，只出現(xiàn)在雙側(cè)STG后部的電極上，如下圖所示的位置。

最后，研究人員表示，未來(lái)的研究可能會(huì)將電極覆蓋范圍擴(kuò)大到其他區(qū)域，改變模型的特征和目標(biāo)，或添加新的行為維度。