為解決在線學(xué)習(xí)所帶來的災(zāi)難性遺忘問題，北大等研究機(jī)構(gòu)提出了采用梯度調(diào)節(jié)模塊（GRM），通過訓(xùn)練權(quán)重在特征重建時(shí)的作用效果及像素的空間位置先驗(yàn)，調(diào)節(jié)反向傳播時(shí)各權(quán)重的梯度，以增強(qiáng)模型的記憶性的超像素分割模型 LNSNet。

該研究已被 CVPR 2021 接收，主要由朱磊和佘琪參與討論和開發(fā)，北京大學(xué)分子影像實(shí)驗(yàn)室盧閆曄老師給予指導(dǎo)。

論文鏈接：
https://arxiv.org/abs/2103.10681

項(xiàng)目開源代碼：
https://github.com/zh460045050/LNSNet

實(shí)驗(yàn)室鏈接：http://www.milab.wiki

一、簡(jiǎn)介

圖像分割是計(jì)算機(jī)視覺的基本任務(wù)之一，在自動(dòng)駕駛、安防安保、智能診療等任務(wù)中都有著重要應(yīng)用。超像素分割作為圖像分割中的一個(gè)分支，旨在依賴于圖像的顏色信息及空間關(guān)系信息，將圖像高效的分割為遠(yuǎn)超于目標(biāo)個(gè)數(shù)的超像素塊，達(dá)到盡可能保留圖像中所有目標(biāo)的邊緣信息的目的，從而更好的輔助后續(xù)視覺任務(wù)（如目標(biāo)檢測(cè)、目標(biāo)跟蹤、語義分割等）。

基于傳統(tǒng)機(jī)器學(xué)習(xí)的超像素分割方法會(huì)將超像素分割看作像素聚類問題，并通過限制搜索空間的策略，提高超像素的生成效率（如 SLIC、SNIC、MSLIC、IMSLIC 等方法）。然而，這些方法大多依賴 RGB 或 LAB 顏色空間信息對(duì)像素進(jìn)行聚類，而缺乏對(duì)高層信息的考量。

雖然一些超像素分割方法（LRW、DRW、ERS、LSC）通過構(gòu)建圖模型的方式，將原本 5 維的顏色及空間信息依據(jù)四鄰域或八鄰域節(jié)點(diǎn)的相似性關(guān)系豐富至 N 維，來獲取更好的特征表達(dá)。進(jìn)而使用隨機(jī)游走或譜聚類等方式進(jìn)行超像素分割，但這些方法運(yùn)行效率較差。

采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行超像素分割（SEAL、SSN、S-FCN）大多拋棄了傳統(tǒng)超像素方法的無監(jiān)督的廣義分割模式，轉(zhuǎn)而采用大量的區(qū)域級(jí)的分割標(biāo)注對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行離線訓(xùn)練指導(dǎo)超像素的生成。這種基于標(biāo)注的訓(xùn)練模式導(dǎo)致生成的超像素通常包含較多了高層語義信息，因此限制了超像素分割方法的泛化性及靈活性。

此外，這種超像素分割模式也無法較好的應(yīng)用于缺乏分割標(biāo)注的視覺任務(wù)，如目標(biāo)跟蹤、弱監(jiān)督圖像分割等。近期已有工作（RIM）借鑒深度聚類的模式無監(jiān)督地運(yùn)用神經(jīng)網(wǎng)絡(luò)進(jìn)行廣義超像素分割，然而該方法需要依據(jù)每一張輸入圖像訓(xùn)練一個(gè)特定的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行像素聚類，因此極大地增加了超像素分割的運(yùn)算時(shí)間。

因此為保證超像素分割既可以更好的借助深度學(xué)習(xí)進(jìn)行有效的特征提取，又可以同時(shí)兼顧傳統(tǒng)超像素分割方法高效、靈活、遷移性強(qiáng)的特點(diǎn)，本研究從持續(xù)學(xué)習(xí)的視角看待超像素分割問題，并提出了一種新型的超像素分割模型可以更好的支持無監(jiān)督的在線訓(xùn)練模式 (online training)?？紤]到超像素分割作為廣義分割問題需要更關(guān)注圖像的細(xì)節(jié)信息，本模型摒棄了其他超像素分割網(wǎng)絡(luò)中采用的較深而復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，而選用了較為輕量級(jí)的特征提取模塊（FEM），并提出了非迭代聚類模塊（NCM）通過自動(dòng)選取種子節(jié)點(diǎn)，避免了超像素分割方法中的聚類中心的迭代更新，極大地降低了超像素分割的空間復(fù)雜度與時(shí)間復(fù)雜度（相比SSN參數(shù)量降低近20倍同時(shí)運(yùn)算時(shí)間加快了近 4倍）。

為解決在線學(xué)習(xí)所帶來的災(zāi)難性遺忘問題，本模型采用了梯度調(diào)節(jié)模塊（GRM），通過訓(xùn)練權(quán)重在特征重建時(shí)的作用效果及像素的空間位置先驗(yàn)，調(diào)節(jié)反向傳播時(shí)各權(quán)重的梯度，以增強(qiáng)模型的記憶性及泛化性。

二、訓(xùn)練框架設(shè)計(jì)

總的來看，在特定圖像 Ii 上進(jìn)行廣義超像素分割的本質(zhì)，可以看作在該圖像域中的進(jìn)行像素聚類任務(wù) Ti。因此，對(duì)于包含 n 張圖像的圖像集 I=，在該圖像集上的超像素分割任務(wù)可以看作任務(wù)集 T=。在此條件下，我們可以將當(dāng)前基于深度學(xué)習(xí)的超像素分割方法看作以下兩種策略：

① 基于深度聚類模式的 RIM 超像素分割方法可以看作是一種單任務(wù)學(xué)習(xí)策略。如圖 2B 所示，該策略針對(duì)任務(wù)集中每一個(gè)特定任務(wù) Ti 找到一個(gè)最優(yōu)的參數(shù)空間，因此整個(gè)任務(wù)集 T 來說，該任務(wù)需要訓(xùn)練得到 n 個(gè)各不相同的參數(shù)空間用以提取聚類特征。這種做法極大地增加了模型訓(xùn)練及存儲(chǔ)的消耗，導(dǎo)致其運(yùn)算效率極低。

② 其他超像素分割網(wǎng)絡(luò)的訓(xùn)練模式（SEAL、SSN、S-FCN）則可以看作一種多任務(wù)學(xué)習(xí)策略。如圖 2A 所示，該策略在分割標(biāo)注的指導(dǎo)下得到一個(gè)對(duì)于整個(gè)任務(wù)集 T 通用參數(shù)空間。雖然這種策略僅需要得到一個(gè)參數(shù)空間，但該方式仍需要離線的進(jìn)行模型訓(xùn)練，且訓(xùn)練過程都需要維護(hù)整個(gè)圖像集 I。此外，這些方法對(duì)于分割標(biāo)簽的需求也導(dǎo)致其過于關(guān)注提取更高層語義特征，而非關(guān)注對(duì)于廣義超像素分割來說更重要的低層顏色特征與空間特征的融合，限制了卷積神經(jīng)網(wǎng)絡(luò)的遷移性及靈活性。

與這兩種方式不同，本文希望利用持續(xù)學(xué)習(xí)策略，保證超像素分割方法既可以既借助卷積神經(jīng)進(jìn)行更為有效的特征提取，又同時(shí)兼顧傳統(tǒng)超像素分割方法高效、靈活、遷移性強(qiáng)的特點(diǎn)。

如圖 2C 所示，本文所采用的持續(xù)學(xué)習(xí)策略通過逐一針對(duì)特定圖像 Ii 進(jìn)行訓(xùn)練，保證最終可以得到一個(gè)適用于整個(gè)任務(wù)集 T 的通用參數(shù)空間，這要求了卷積神經(jīng)網(wǎng)絡(luò)需要具備記憶歷史任務(wù)的能力，也就是解決持續(xù)學(xué)習(xí)中的災(zāi)難性遺忘問題。本模型的具體訓(xùn)練流程如圖 3 所示，在第 i 輪的訓(xùn)練過程中，我們僅考慮單一的任務(wù) Ti 對(duì)模型進(jìn)行擬合。其中，特征提取模塊 FCM 用于生成聚類所需的聚類特征，無迭代聚類模塊 NCM 進(jìn)而利用聚類特征進(jìn)行聚類得到超像素分割結(jié)果。梯度調(diào)節(jié)模塊 GRM 則用以調(diào)節(jié)反向傳播時(shí) FCM 參數(shù)的梯度，保證模型可以更好的記憶歷史任務(wù) Ti-1，Ti-2，….. , T1。

三、模型結(jié)構(gòu)及損失函數(shù)設(shè)計(jì)

本文提出的模型結(jié)構(gòu)如圖 3 所示，其中考慮到超像素分割作為廣義分割問題更為關(guān)注圖像的細(xì)節(jié)信息與空間信息的融合。因此本模型在特征提取模塊 FEM（圖 3A）部分摒棄了其他超像素分割網(wǎng)絡(luò)中采用的較深而復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，轉(zhuǎn)而使用較為輕量級(jí)的特征提取模塊，以減少在特征提取過程中圖像細(xì)節(jié)信息的損失。具體來看，我們首先將輸入圖像顏色信息 RGB/LAB 及空間信息 XY 進(jìn)行 Concat 得到 5 維的輸入張量 X。隨后我們使用三個(gè)不同空洞率 (d=1,3,5) 的空洞卷積進(jìn)行多尺度的特征提取，并采用兩個(gè) 3x3 卷積模塊進(jìn)行多尺度特征融合，進(jìn)而得到用以進(jìn)行聚類的輸出特征圖 Z:

接著，進(jìn)一步增加過程的運(yùn)算效率，我們提出了無迭代聚類模塊 NCM（圖 3C）通過生成種子節(jié)點(diǎn)相對(duì)于網(wǎng)格中心的橫縱坐標(biāo)偏移量，保證種子節(jié)點(diǎn)在具有較強(qiáng)空間緊湊程度的前提下，預(yù)測(cè)相應(yīng)超像塊的種子節(jié)點(diǎn)，并依據(jù)其與各像素聚類特征間的 T 相似性進(jìn)行像素聚類。該模塊首先將圖像按照超像素個(gè)數(shù)進(jìn)行網(wǎng)格劃分，進(jìn)而對(duì)屬于同一網(wǎng)格的位置進(jìn)行空間池化操作，得到空間尺寸等于超像素個(gè)數(shù)的低分辨特征圖作為網(wǎng)格的特征 Zk。隨后，我們將 Zk 輸入 out channel 為 2 的 1x1 卷積得到種子節(jié)點(diǎn)相對(duì)于網(wǎng)格中心的橫縱偏移量△r，△c，并將此疊加至網(wǎng)格中心坐標(biāo) Sc 最終的超像素種子節(jié)點(diǎn)：

隨后，我們利用 T - 分布核函數(shù)計(jì)算種子節(jié)點(diǎn)特征與其余像素特征的相似性，并以此為依據(jù)得到最終的像素聚類結(jié)果 L，也就是輸出超像素塊。

最后，梯度調(diào)節(jié)模塊 GRM（圖 3B）首先利用像素聚類特征進(jìn)行對(duì)輸入圖像及其各像素的空間信息進(jìn)行重建。其中梯度自適應(yīng)層（GAL）依據(jù)重建結(jié)果計(jì)算 FEM 中各通道對(duì)于當(dāng)前任務(wù)的擬合程度 g(W^r)，具體來看，我們分別依據(jù)重建權(quán)重 W^r 判斷各 Z 中特征通道分別在顏色信息和空間位置復(fù)原中的重要性，并利用二者乘積表示該通道的擬合程度：

隨后，在訓(xùn)練過程中 GAL 通過維護(hù)記憶矩陣 m 用以記憶各通道在前序任務(wù)中的擬合程度。

隨后在反向傳播過程中，我們對(duì)各通道所對(duì)應(yīng)的 FEM 中權(quán)重矩陣依據(jù)前序任務(wù)的重要程度構(gòu)建調(diào)節(jié)率φ^a，用以調(diào)節(jié)對(duì)各通道所對(duì)應(yīng)權(quán)重的梯度：

該調(diào)節(jié)率可以保證對(duì)于歷史任務(wù)擬合程度較好的權(quán)重具有較小的梯度，從而避免對(duì)于在前序任務(wù)中擬合程度高而在當(dāng)前任務(wù)中擬合程度低的權(quán)重在反向傳播過程中受到污染，進(jìn)而防止 FEM 過擬合當(dāng)前任務(wù)造成對(duì)前序任務(wù)的造成災(zāi)難性遺忘。此外，GRM 還采用了梯度雙向?qū)樱℅BL）借助邊緣先驗(yàn)信息使得平滑位置超像素塊可以更多的關(guān)注空間信息，而紋理豐富位置超像素塊可以更多考慮顏色信息，達(dá)到減少冗余超像素塊、增強(qiáng)邊緣擬合性的目的。

模型訓(xùn)練的損失函數(shù)包含兩個(gè)部分，其中第一個(gè)部分為重建損失 Lr。該部分通過 MSE 損失保證聚類特征可以重建回初始圖像及各像素對(duì)應(yīng)的空間位置信息，從而使得聚類特征可以更好的對(duì)空間信息及顏色信息進(jìn)行融合。第二部分為聚類損失 Lc，該部分在 DEC 聚類損失的基礎(chǔ)上增加了空間距離約束。該約束可以在保證各超像素塊中像素類內(nèi)相似性大的同時(shí)，使得每一像素更趨向于被分配到與其空間距離前 k 近的種子節(jié)點(diǎn)所在超像素中，從而保證分割結(jié)果中超像素塊的緊湊程度。

四、實(shí)驗(yàn)

總的來看我們的方法相比于 SOTA 的超像素分割方法，具有更高的效率及可遷移性。

首先，我們?cè)?BSDS 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，可以看到我們提出的超像素分割策略在 ASA、BR、F 等常用超像素評(píng)價(jià)指標(biāo)中都遠(yuǎn)高于其余無監(jiān)督的超像素分割方法（包括傳統(tǒng)方法 SLIC、LSC、ERS，RIM）。此外，相比于依賴分割標(biāo)簽的有監(jiān)督超像素分割方法 SSN，由于我們的方法在訓(xùn)練過程中無法感知到高層語義信息，導(dǎo)致分割結(jié)果會(huì)產(chǎn)生相對(duì)較多的冗余超像素塊，這點(diǎn)造成了我們的方法的分割精確性較低，因此在 ASA 及 F 指標(biāo)中略低于 SSN。然而這一特點(diǎn)也使得我們的模型具有更好的分割召回率，對(duì)于一些復(fù)雜場(chǎng)景中的模糊邊緣的擬合性更好，因此我們的方法可以取得更高的 BR 指標(biāo)

此外，由于使用了更為輕量級(jí)的特征提取器，并采用無迭代的聚類模式，我們模型在時(shí)間、空間復(fù)雜度上遠(yuǎn)低于其余基于卷積神經(jīng)網(wǎng)絡(luò)的超像素分割方法。此外，我們也將 BSDS 數(shù)據(jù)集中訓(xùn)練好的超像素分割模型應(yīng)用在醫(yī)學(xué)影像中進(jìn)行實(shí)驗(yàn)，以測(cè)試各超像素分割模型的遷移性?？梢钥吹剑瑹o論是對(duì)于眼底熒光造影中眼底血管分割數(shù)據(jù)集（DRIVE）還是 OCT 影像中視網(wǎng)膜層分割數(shù)據(jù)集（DME），我們的模型都比其他基于卷積神經(jīng)網(wǎng)絡(luò)分割模型具有更好的遷移性。

 【責(zé)任編輯：張燕妮 TEL：（010）68476606】