具有高信噪比的熒光成像已成為生物現(xiàn)象精確可視化和分析的基礎(chǔ)。然而，不可避免的噪聲對(duì)成像靈敏度提出了巨大的挑戰(zhàn)。

清華大學(xué)的研究團(tuán)隊(duì)提供了空間冗余去噪 Transformer（SRDTrans），以自監(jiān)督的方式去除熒光圖像中的噪聲。

該團(tuán)隊(duì)提出了基于空間冗余的采樣策略來提取相鄰的正交訓(xùn)練對(duì)，消除了對(duì)高成像速度的依賴。然后，他們?cè)O(shè)計(jì)了一種輕量級(jí)時(shí)空 Transformer 架構(gòu)，以較低的計(jì)算成本捕獲遠(yuǎn)程依賴性和高分辨率特征。

SRDTrans 可以恢復(fù)高頻信息，而不會(huì)產(chǎn)生過度平滑的結(jié)構(gòu)和扭曲的熒光痕跡。并且，SRDTrans 不包含任何關(guān)于成像過程和樣本的假設(shè)，因此可以輕松擴(kuò)展到各種成像模式和生物應(yīng)用。

該研究以「Spatial redundancy transformer for self-supervised fluorescence image denoising」為題，于 2023 年 12 月 11 日發(fā)布在《Nature Computational Science》。

活體成像技術(shù)的快速發(fā)展使研究人員能夠在微米甚至納米尺度上觀察生物結(jié)構(gòu)和活動(dòng)。熒光顯微鏡作為一種非常流行的成像方法，由于其高時(shí)空分辨率和分子特異性，有助于發(fā)現(xiàn)一系列新的生理和病理機(jī)制。熒光顯微鏡的根本目標(biāo)是獲得干凈、清晰的圖像，其中包含足夠的樣品信息，可以保證下游分析的準(zhǔn)確性并支持令人信服的結(jié)論。

然而，受多種生物物理和生化因素的限制（例如，標(biāo)記濃度、熒光團(tuán)亮度、光毒性、光漂白等），熒光成像是在光子受限的條件下進(jìn)行的，固有的光子散粒噪聲嚴(yán)重降低了圖像信噪比（SNR），特別是在低照度和高速觀察時(shí)。

已經(jīng)提出了各種方法來去除熒光圖像中的噪聲?；跀?shù)值濾波和數(shù)學(xué)優(yōu)化的傳統(tǒng)去噪算法性能不理想且適用性有限。過去幾年，深度學(xué)習(xí)在圖像去噪方面表現(xiàn)出了令人矚目的表現(xiàn)。

在使用真實(shí)值 (GT) 數(shù)據(jù)集進(jìn)行迭代訓(xùn)練后，深度神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)噪聲圖像與其干凈對(duì)應(yīng)圖像之間的映射。這種監(jiān)督方式在很大程度上依賴于配對(duì)的 GT 圖像。

在觀察生物體的活動(dòng)時(shí)，獲得逐像素配準(zhǔn)的干凈圖像是一個(gè)巨大的挑戰(zhàn)，因?yàn)闃颖窘?jīng)常經(jīng)歷快速的動(dòng)態(tài)變化。為了緩解這一矛盾，人們提出了一些自監(jiān)督方法，從而在熒光成像中實(shí)現(xiàn)更適用和實(shí)用的去噪。

為了獲得更好的去噪性能，同時(shí)提取全局空間信息和長程時(shí)間相關(guān)性的能力至關(guān)重要，而由于卷積核的局部性，這是卷積神經(jīng)網(wǎng)絡(luò)（CNN）所缺乏的。此外，固有的譜偏差使得 CNN 傾向于優(yōu)先擬合低頻特征，而忽略高頻特征，不可避免地產(chǎn)生過度平滑的去噪結(jié)果。

清華大學(xué)的研究團(tuán)隊(duì)提出了空間冗余去噪 Transformer（the spatial redundancy denoising transformer，SRDTrans）來解決這些困境。

圖：SRDTrans原理及性能評(píng)估。（來源：論文）

一方面，研究人員提出了一種空間冗余采樣策略，從兩個(gè)正交方向的原始延時(shí)數(shù)據(jù)中提取三維（3D）訓(xùn)練對(duì)。

該方案不依賴于兩個(gè)相鄰幀之間的相似性，因此 SRDTrans 適用于非?？斓幕顒?dòng)和極低的成像速度，這與該團(tuán)隊(duì)之前提出的利用時(shí)間冗余的 DeepCAD 是互補(bǔ)的。

由于 SRDTrans 不依賴于任何有關(guān)對(duì)比度機(jī)制、噪聲模型、樣本動(dòng)態(tài)和成像速度的假設(shè)。因此，它可以很容易地?cái)U(kuò)展到其他生物樣品和成像方式，例如膜電壓成像、單蛋白檢測、光片顯微鏡、共焦顯微鏡、光場顯微鏡和超分辨率顯微鏡。

另一方面，研究人員設(shè)計(jì)了一個(gè)輕量級(jí)時(shí)空變換網(wǎng)絡(luò)來充分利用遠(yuǎn)程相關(guān)性。優(yōu)化的特征交互機(jī)制使該模型能夠用少量的參數(shù)獲得高分辨率的特征。與經(jīng)典 CNN 相比，所提出的 SRDTrans 具有更強(qiáng)的全局感知和高頻維護(hù)能力，能夠揭示以前難以辨別的細(xì)粒度時(shí)空模式。

該團(tuán)隊(duì)在兩個(gè)代表性應(yīng)用中展示了 SRDTrans 的卓越降噪性能。第一個(gè)是單分子定位顯微鏡（SMLM），相鄰幀是熒光團(tuán)的隨機(jī)子集。

圖：將 SRDTrans 應(yīng)用于實(shí)驗(yàn) SMLM 數(shù)據(jù)。（來源：論文）

另一種是大型 3D 神經(jīng)元群的雙光子鈣成像，體積速度低至 0.3Hz。廣泛的定性和定量結(jié)果表明，SRDTrans 可以作為熒光成像的基本去噪工具，從而觀察各種細(xì)胞和亞細(xì)胞現(xiàn)象。

圖：大神經(jīng)體積的高靈敏度鈣成像。（來源：論文）

SRDTrans 也有一些局限性，主要在于相鄰像素應(yīng)具有近似結(jié)構(gòu)的基本假設(shè)。如果空間采樣率太低而無法提供足夠的冗余，SRDTrans 將失敗。另一個(gè)潛在的風(fēng)險(xiǎn)是泛化能力，SRDTrans 的輕量級(jí)網(wǎng)絡(luò)架構(gòu)更適合特定任務(wù)。

相信針對(duì)特定數(shù)據(jù)訓(xùn)練特定模型是使用深度學(xué)習(xí)進(jìn)行熒光圖像去噪的最可靠方法。因此，應(yīng)該訓(xùn)練新的模型，從而確保在成像參數(shù)、模態(tài)和樣本發(fā)生變化時(shí)獲得最佳結(jié)果。

隨著熒光指示劑的發(fā)展朝著更快的動(dòng)力學(xué)方向發(fā)展，以監(jiān)測毫秒級(jí)的生物動(dòng)力學(xué)來記錄這些快速活動(dòng)所需的成像速度不斷增長。對(duì)于依賴時(shí)間冗余的去噪方法來說，獲得足夠的采樣率變得越來越具有挑戰(zhàn)性。該團(tuán)隊(duì)的觀點(diǎn)是通過尋求利用空間冗余作為替代方案來填補(bǔ)這一空白，從而在更多成像應(yīng)用中實(shí)現(xiàn)自我監(jiān)督去噪。

盡管空間冗余采樣的完美情況是空間采樣率比衍射極限的奈奎斯特采樣高兩倍，從而確保兩個(gè)相鄰像素具有幾乎相同的光學(xué)信號(hào)；但在大多數(shù)情況下，兩個(gè)空間下采樣的子序列之間的內(nèi)生相似性足以指導(dǎo)網(wǎng)絡(luò)的訓(xùn)練。

然而，這并不意味著所提出的空間冗余采樣策略可以完全取代時(shí)間冗余采樣，因?yàn)橄谘芯勘砻鳎绻鋫湎嗤木W(wǎng)絡(luò)架構(gòu)，時(shí)間冗余采樣可以在高速成像中取得更好的性能。SRDTrans 在高成像速度下相對(duì)于 DeepCAD 的優(yōu)勢實(shí)際上歸功于 Transformer 架構(gòu)。

一般來說，空間冗余和時(shí)間冗余是兩種互補(bǔ)的采樣策略，可實(shí)現(xiàn)熒光延時(shí)成像去噪網(wǎng)絡(luò)的自監(jiān)督訓(xùn)練。使用哪種采樣策略取決于數(shù)據(jù)中哪種冗余更充分。值得注意的是，在許多情況下，兩種冗余都不足以支持當(dāng)前的采樣策略。開發(fā)特定的或者更通用的自監(jiān)督去噪方法，對(duì)于熒光成像具有持久的價(jià)值。

論文鏈接：https://www.nature.com/articles/s43588-023-00568-2