昨天，谷歌與霍華德 • 休斯醫(yī)學(xué)研究所 (HHMI) 和劍橋大學(xué)合作，發(fā)布了一項(xiàng)深入研究果蠅大腦的重磅成果 —— 自動(dòng)重建整個(gè)果蠅的大腦。他們使用數(shù)千個(gè)谷歌云 TPU，重建的完整果蠅大腦高達(dá) 40 萬(wàn)億像素。有了完整的大腦圖像，科學(xué)家距離了解大腦如何工作更近了一步。

你知道嗎?果蠅是公認(rèn)被人類研究的最徹底的生物之一，截至目前，已有 8 個(gè)諾貝爾獎(jiǎng)?lì)C發(fā)給使用果蠅的研究，這些研究推動(dòng)了分子生物學(xué)、遺傳學(xué)和神經(jīng)科學(xué)的發(fā)展。

科學(xué)家們一直夢(mèng)想通過(guò)繪制完整的大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，以了解神經(jīng)系統(tǒng)是如何工作的。

最近研究的一個(gè)主要目標(biāo)是果蠅的大腦。

果蠅的一個(gè)重要優(yōu)勢(shì)是它們的大?。汗壍拇竽X相對(duì)較小，只有10萬(wàn)個(gè)神經(jīng)元，相比之下，老鼠的大腦有1億個(gè)神經(jīng)元，人類的大腦有1000億個(gè)神經(jīng)元。

這使得果蠅的大腦更容易作為一個(gè)完整的回路來(lái)研究。

今天，谷歌與霍華德•休斯醫(yī)學(xué)研究所(HHMI)和劍橋大學(xué)合作，發(fā)布了一項(xiàng)最新深入研究果蠅大腦的研究成果——自動(dòng)重建整個(gè)果蠅的大腦。 

 

果蠅大腦的自動(dòng)重建

這篇論文題為“利用Flood-Filling網(wǎng)絡(luò)和局部調(diào)整自動(dòng)重建連續(xù)切片成像的果蠅大腦”：   

來(lái)自谷歌、霍華德•休斯醫(yī)學(xué)研究所(HHMI)Janelia研究園區(qū)以及劍橋大學(xué)的一共16位研究人員參與了這個(gè)研究，其中，第一作者Peter H. Li是谷歌研究科學(xué)家，主要研究方向包括一般科學(xué)、機(jī)器智能、機(jī)器感知。 

Peter H. Li 

他們還提供了果蠅大腦完整圖像的展示，任何人都可以下載查看、或使用交互式工具在線瀏覽，他們開(kāi)發(fā)了一個(gè)3D的交互界面，稱為Neuroglancer。

Neuroglancer的演示

這不是果蠅大腦第一次得到完整繪制，今年1月，Science 雜志用封面報(bào)道，介紹了 MIT 和霍華德·休斯醫(yī)學(xué)研究所(HHMI)科學(xué)家們成功對(duì)果蠅的完整大腦進(jìn)行了成像，并且清晰度達(dá)到了納米級(jí)。但那次仍是人工的方法，使用了兩種最先進(jìn)的顯微鏡技術(shù)。 

幾十年來(lái)，神經(jīng)科學(xué)家一直夢(mèng)想繪制出一幅完整的大腦神經(jīng)網(wǎng)絡(luò)的精細(xì)地圖，但對(duì)于擁有1000億神經(jīng)網(wǎng)絡(luò)的人腦，需要處理的數(shù)據(jù)量之巨大是難以想象的。如果能自動(dòng)重建果蠅大腦，也許離自動(dòng)繪制人腦就更近一步了。

這也不是Peter H. Li的團(tuán)隊(duì)第一次試圖用AI方法繪制大腦神經(jīng)元，他們分別在2016年和2018年在更小的數(shù)據(jù)集上進(jìn)行了研究，如下圖右下角所示。

一個(gè)40萬(wàn)億像素的果蠅大腦的3D重建；右下角分別是谷歌AI在2016和2018年分析的較小數(shù)據(jù)集。

在2018年，谷歌與德國(guó)馬克斯普朗克神經(jīng)生物學(xué)研究所合作，開(kāi)發(fā)了一種基于深度學(xué)習(xí)的系統(tǒng)，可以自動(dòng)映射大腦的神經(jīng)元。他們對(duì)100萬(wàn)立方微米斑胸草雀大腦掃描圖像進(jìn)行了重建。

研究人員稱，由于成像的高分辨率，即使只有一立方毫米的腦組織，也可以產(chǎn)生超過(guò) 1000TB 的數(shù)據(jù)。因此，這次重建整個(gè)果蠅的大腦，可想數(shù)據(jù)量有多龐大。

用于處理數(shù)據(jù)的，是谷歌的Cloud TPU，而且是數(shù)千個(gè)!

Google AI負(fù)責(zé)人Jeff Dean也在推特上感嘆道：

TPU真的會(huì)飛!GoogleAI的科學(xué)家使用TPU來(lái)幫助重建了整個(gè)果蠅大腦的神經(jīng)連接!

下面，新智元帶來(lái)對(duì)這一研究的詳細(xì)解讀：

40萬(wàn)億像素果蠅大腦，自動(dòng)重建!

在實(shí)驗(yàn)過(guò)程中，主要采用的數(shù)據(jù)集是FAFB，它是“full adult fly brain”(完整成年果蠅大腦)的縮寫(xiě)(相關(guān)數(shù)據(jù)集信息見(jiàn)文末)。

研究人員在此數(shù)據(jù)集上，將果蠅的大腦切成了成千上萬(wàn)個(gè)40納米的超薄切片，而后用透射電子顯微鏡對(duì)每個(gè)切片進(jìn)行成像，這就產(chǎn)生了超過(guò)40萬(wàn)億像素的大腦圖像。并且將這些2D圖像整合成連貫的3D果蠅大腦圖像。 

 

接下來(lái)，研究人員使用了數(shù)千個(gè)云TPU，并應(yīng)用Flood-Filling Network (FFN)，以便自動(dòng)跟蹤果蠅大腦中的每個(gè)神經(jīng)元。

通過(guò)FFN對(duì)整個(gè)果蠅大腦進(jìn)行密集分割(dense segmentation)

上圖中的A是3D渲染的FAFB數(shù)據(jù)集平滑組織掩膜(smoothed tissue mask)。任意冠狀切片(數(shù)據(jù)集XY平面)顯示了整個(gè)內(nèi)部的FAFB-FFN1分割。B-E展示了增加縮放比例后的效果。

自動(dòng)神經(jīng)元重建與手動(dòng)神經(jīng)元跟蹤做驗(yàn)證對(duì)比

雖然這個(gè)算法總體運(yùn)行效果還算不錯(cuò)，但是當(dāng)對(duì)齊(alignment)不夠完美(連續(xù)切片中的圖像內(nèi)容不穩(wěn)定)或者偶爾由于在成像過(guò)程中丟失了多個(gè)連續(xù)切片時(shí)，性能會(huì)有所下降。

為了彌補(bǔ)這個(gè)這個(gè)問(wèn)題，研究人員便將FFN與兩個(gè)新程序結(jié)合起來(lái)。

首先，估計(jì)出3D圖像中各個(gè)區(qū)域切片之間的一致性，然后在FFN跟蹤每個(gè)神經(jīng)元的時(shí)候局部穩(wěn)定圖像中的內(nèi)容。

其次，研究人員使用SECGAN來(lái)計(jì)算圖像體積(volume)中缺失的切片，而當(dāng)使用SECGAN時(shí)，研究人員發(fā)現(xiàn)FFN能夠更可靠地跟蹤多個(gè)缺失切片的位置。

局部調(diào)整(Local Realignment，LR)

不規(guī)則截面的替換

整體FAFB-FFN1的分割pipeline  

Segmentation-assisted神經(jīng)元跟蹤

果蠅大腦與Neuroglancer的交互可視化

當(dāng)處理包含數(shù)萬(wàn)億像素和形狀復(fù)雜的物體的3D圖像時(shí)，可視化既重要又困難。受谷歌開(kāi)發(fā)新可視化技術(shù)的歷史啟發(fā)，研究人員設(shè)計(jì)了一種可擴(kuò)展且功能強(qiáng)大的新工具，任何擁有支持WebGL的網(wǎng)頁(yè)瀏覽器的人都可以訪問(wèn)。

結(jié)果就是Neuroglancer，一個(gè)在github上的開(kāi)源項(xiàng)目，可以查看petabyte級(jí)3D volume，并支持許多高級(jí)功能，如任意軸橫截面重構(gòu)(arbitrary-axis cross-sectional reslicing)，多分辨率網(wǎng)格，以及通過(guò)與Python集成開(kāi)發(fā)自定義分析workflow的強(qiáng)大功能。該工具已被合作者廣泛使用，包括艾倫腦科學(xué)研究所、哈佛大學(xué)、HHMI、馬克斯普朗克研究所(Max Planck Institute)、MIT、普林斯頓大學(xué)等。 

 

 

 

未來(lái)工作

谷歌表示，HHMI和劍橋大學(xué)的合作者已經(jīng)開(kāi)始使用這種重建來(lái)加速他們對(duì)果蠅大腦學(xué)習(xí)、記憶和感知的研究。然而，由于建立連接組需要識(shí)別synapses，因此上述結(jié)果還不是真正的connectome。他們正與Janelia Research Campus 的FlyEM團(tuán)隊(duì)密切合作，利用“ FIB-SEM ”技術(shù)獲得的圖像，創(chuàng)建一個(gè)高度驗(yàn)證且詳盡的果蠅大腦的connectome。