開源人工智能算法一種新穎的超像素采樣，網(wǎng)絡(luò)深層特征估計超像素摘要： 超像素提供圖像數(shù)據(jù)的有效低/中級表示，這極大地減少了后續(xù)視覺任務(wù)的圖像基元的數(shù)量。 現(xiàn)有的超像素算法無法區(qū)分，因此難以集成到其他端到端可訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中。 我們?yōu)槌袼夭蓸娱_發(fā)了一種新的可微分模型，利用深度網(wǎng)絡(luò)來學(xué)習(xí)超像素分割。 由此產(chǎn)生的超像素采樣網(wǎng)絡(luò)（SSN）是端到端可訓(xùn)練的，它允許學(xué)習(xí)具有靈活損失功能的特定于任務(wù)的超像素，并具有快速運行時間。 大量的實驗分析表明，SSN不僅在傳統(tǒng)的分割基準(zhǔn)測試中勝過現(xiàn)有的超像素算法，而且還可以學(xué)習(xí)其他任務(wù)的超像素。 此外，SSN可以輕松集成到下游深度網(wǎng)絡(luò)中，從而提高性能。

開源人工智能算法一種新穎的超像素采樣網(wǎng)絡(luò)深層特征來估計任務(wù)特定的超像素簡介：超像素是通過基于低級圖像屬性對圖像[33]進(jìn)行分組而形成的圖像的過分割。它們提供了圖像內(nèi)容的感知上有意義的細(xì)分，從而減少了后續(xù)圖像處理的圖像基元的數(shù)量。由于它們具有代表性和計算效率，超像素已經(jīng)成為一種既定的低/中級圖像表示，并廣泛應(yīng)用于計算機(jī)視覺算法，如物體檢測[35,42]，語義分割[15,34,13]，顯著性估計[18,30,43,46]，光流估計[20,28,37,41]，深度估計[6]，跟蹤[44]等等。超像素尤其廣泛用于傳統(tǒng)能量最小化框架，其中少量圖像基元極大地降低了優(yōu)化復(fù)雜性。

近年來，對于廣泛的計算機(jī)視覺問題采用深度學(xué)習(xí)的情況急劇增加。除了一些方法（例如，[13,18,34]），超像素幾乎不與現(xiàn)代深度網(wǎng)絡(luò)結(jié)合使用。這有兩個主要原因。首先，形成大多數(shù)深層結(jié)構(gòu)基礎(chǔ)的標(biāo)準(zhǔn)卷積運算通常定義在規(guī)則網(wǎng)格上，并且當(dāng)在不規(guī)則超像素網(wǎng)格上運算時效率低下。其次，現(xiàn)有的超像素算法是端到端可訓(xùn)練網(wǎng)絡(luò)架構(gòu)中的可區(qū)分模塊。在這項工作中，我們通過提出一種用于超像素分割的新的深度差分算法來緩解第二個問題。我們首先回顧一下廣泛使用的簡單線性迭代聚類（SLIC）超像素算法[1]并通過放松最近鄰居con將其轉(zhuǎn)化為可微分算法SLIC中存在束縛。這種新的可區(qū)分算法允許端到端訓(xùn)練，并使我們能夠利用強(qiáng)大的深度網(wǎng)絡(luò)來學(xué)習(xí)超像素，而不是使用傳統(tǒng)的手工制作功能。

開源人工智能算法一種新穎的超像素采樣網(wǎng)絡(luò)深層特征來估計任務(wù)特定的超像素貢獻(xiàn)：這個組合了具有可微差分SLIC的深度網(wǎng)絡(luò)構(gòu)成了我們稱為超像素采樣網(wǎng)絡(luò)（SSN）的端到端可訓(xùn)練超像素算法。圖1顯示了所提出的SSN的概述。給定的輸入圖像首先通過a深度網(wǎng)絡(luò)在每個像素處產(chǎn)生特征。然后將這些深度特征傳遞到可微分SLIC上，SLIC執(zhí)行迭代聚類，從而產(chǎn)生所需的超像素。整個網(wǎng)絡(luò)是端到端的可訓(xùn)練的。 SSN的可區(qū)分性允許使用靈活的損失函數(shù)來學(xué)習(xí)特定于任務(wù)的超像素。圖1顯示了一些樣本SSN生成的超像素。

包括BSDS500 [4]，Cityscapes [10]和PascalVOC [11]在內(nèi)的3種不同分割基準(zhǔn)數(shù)據(jù)集的實驗結(jié)果表明，所提出的超像素采樣網(wǎng)絡(luò)（SSN）對現(xiàn)有的主要超像素算法表現(xiàn)出色，同時也更快。我們還通過簡單地將我們的SSN框架集成到使用超像素的現(xiàn)有語義分割網(wǎng)絡(luò)[13]中來證明，實現(xiàn)了性能改進(jìn)。此外，我們展示了SSN在學(xué)習(xí)其他視覺任務(wù)的超像素方面的靈活性。具體來說，在Sintel光流數(shù)據(jù)集[7]的概念驗證實驗中，我們演示了如何學(xué)習(xí)更好地與光流邊界而不是標(biāo)準(zhǔn)物體邊界對齊的超像素。

與現(xiàn)有的超像素算法相比，所提出的SSN具有以下有利特性：- 端到端可訓(xùn)練：SSN是端到端的可訓(xùn)練的，可以輕松集成到其他深層網(wǎng)絡(luò)架構(gòu)中。據(jù)我們所知，這是第一個端到端可訓(xùn)練的超像素算法。-Flexible和task-speciftc：SSN允許學(xué)習(xí)靈活的損失功能，從而學(xué)習(xí)特定任務(wù)的超像素。- 最先進(jìn)的性能：對各種基準(zhǔn)數(shù)據(jù)集的實驗表明，SSN優(yōu)于現(xiàn)有的超像素算法。- 有利的運行時間：SSN在運行時方面也有利于突出的超像素算法，使其適合在大型數(shù)據(jù)集上學(xué)習(xí)，并且對實際應(yīng)用也有效。

深度聚類。受到監(jiān)督任務(wù)深度學(xué)習(xí)成功的啟發(fā)，有幾種方法研究了深度網(wǎng)絡(luò)在無監(jiān)督數(shù)據(jù)聚類中的應(yīng)用。最近，Greff等。人。 [17]提出神經(jīng)期望最大化框架，他們使用的模型集群標(biāo)簽的后驗分布深度網(wǎng)絡(luò)并展開EM程序中的迭代步驟以進(jìn)行端到端培訓(xùn)。在另一項工作[16]中，梯形網(wǎng)絡(luò)[31]用于建模用于聚類的分層潛變量模型。好時等人。 [19]提出一個用于分離和分割音頻的基于深度學(xué)習(xí)的聚類框架信號。謝等人人。 [40]提出了一個深度嵌入式聚類框架，用于同時學(xué)習(xí)特征表示和聚類分配。在最近的一份調(diào)查報告中，Aljalbout等。人。 [3]給出了基于深度學(xué)習(xí)的聚類方法的分類。在本文中，我們還提出了一個基于深度學(xué)習(xí)的聚類算法。與以前的工作不同，我們的算法是針對超像素分割任務(wù)而定制的，其中我們使用特定于圖像的約束。此外，我們的框架可以輕松地結(jié)合其他視覺目標(biāo)函數(shù)來學(xué)習(xí)任務(wù)特定的超像素表示。

預(yù)處理：SSN的核心是一種可區(qū)分的聚類技術(shù)，其靈感來自SLIC [1]超像素算法。在這里，我們在下一節(jié)描述我們的SSN技術(shù)之前簡要回顧一下SLIC。 SLIC是最簡單的，也是最廣泛使用的超像素算法之一。它易于實現(xiàn)，具有快速運行時間，并且還可以生成緊湊且均勻的超像素。盡管SLIC算法有幾種不同的變體[25,27]，但在原始形式中，SLIC是在五維位置和顏色空間（通常是縮放的XY Lab空間）中對圖像像素執(zhí)行的k均值聚類。從形式上看，給定圖像I Rn×5，在n個像素處具有5維XY Lab特征，超像素計算的任務(wù)是將每個像素分配給m個超像素中的一個，即，計算像素 - 超像素關(guān)聯(lián)圖H 0,1，...，m 1 n×1。 SLIC算法如下操作。首先，我們在5維空間中對初始聚類（超像素）中心S0 Rm×5進(jìn)行采樣。這種抽樣通常是在像素網(wǎng)格上均勻地進(jìn)行，并且基于圖像梯度進(jìn)行一些局部擾動。給定這些初始超像素中心S0，SLIC算法以迭代方式進(jìn)行，在每次迭代t中具有以下兩個步驟：

開源人工智能算法一種新穎的超像素采樣網(wǎng)絡(luò)深層特征來估計任務(wù)特定的超像素網(wǎng)絡(luò)架構(gòu)：圖3顯示了SSN網(wǎng)絡(luò)架構(gòu)。用于特征提取的CNN由一系列與批量標(biāo)準(zhǔn)化[21]（BN）和ReLU激活交織的卷積層組成。我們使用max-pooling，在第2和第4個卷積層之后將輸入下采樣2倍，以增加感受野。我們對第4和第6卷積層輸出進(jìn)行雙線性上采樣，然后與第2卷積層輸出連接，以傳遞到最終的卷積層。我們使用3 3個卷積濾波器，每層輸出通道數(shù)設(shè)置為64，除了輸出k 5個通道的最后一個CNN層。我們將此k 5通道輸出與給定圖像的XY Lab連接，從而產(chǎn)生k維像素特征。我們選擇這種CNN架構(gòu)的簡單性和高效性。其他網(wǎng)絡(luò)架構(gòu)是可以想象的。得到的k維特征被傳遞到可微分SLIC的兩個模塊上，迭代地更新像素 - 超像素關(guān)聯(lián)和超像素中心以進(jìn)行v次迭代。整個網(wǎng)絡(luò)是端到端的可訓(xùn)練的。

學(xué)習(xí)任務(wù)-Speciftc Superpixels：端到端可訓(xùn)練SSN的主要優(yōu)點之一是損失函數(shù)方面的靈活性，我們可以使用它來學(xué)習(xí)特定于任務(wù)的超像素。與任何CNN一樣，我們可以將SSN與任何特定于任務(wù)的損失函數(shù)耦合，從而學(xué)習(xí)針對下游計算機(jī)視覺任務(wù)進(jìn)行優(yōu)化的超像素。在這項工作中，我們專注于優(yōu)化超像素的表現(xiàn)效率，即學(xué)習(xí)可以有效地表示場景特征的超像素，例如語義標(biāo)簽，光流，深度等。例如，如果我們想要學(xué)習(xí)將要成為的超像素用于下游語義分割任務(wù)，期望產(chǎn)生遵循語義邊界的超像素。為了優(yōu)化表示效率，我們發(fā)現(xiàn)任務(wù)特定的重建損失和緊湊性損失的組合表現(xiàn)良好。任務(wù)-speciftc重建損失。我們將要用超像素有效表示的像素屬性表示為R Rn×l。例如，R可以是語義標(biāo)簽（作為一熱編碼）或光流圖。重要的是要注意，我們在測試時間內(nèi)無法訪問R，即SSN僅使用圖像數(shù)據(jù)預(yù)測超像素。我們僅在訓(xùn)練期間使用R，以便SSN可以學(xué)習(xí)預(yù)測適合表示R的超像素。如前面4.1節(jié)所述，我們可以使用列標(biāo)準(zhǔn)化關(guān)聯(lián)矩陣Q，R˘= QTR將像素屬性映射到超像素，其中R ˘Rm×l。所結(jié)果的然后使用行標(biāo)準(zhǔn)化關(guān)聯(lián)矩陣Q 1，R * = Q〜S將超像素表示R 6映射回像素表示R *，其中R * Rn×1。

開源人工智能算法一種新穎的超像素采樣網(wǎng)絡(luò)深層特征來估計任務(wù)特定的超像素結(jié)論：我們提出了一種新穎的超像素采樣網(wǎng)絡(luò)（SSN），它利用通過端到端訓(xùn)練學(xué)到的深層特征來估計任務(wù)特定的超像素。據(jù)我們所知，這是第一個端到端可訓(xùn)練的深度超像素預(yù)測技術(shù)。實驗的幾個基準(zhǔn)測試表明，SSN始終如一地在最先進(jìn)的超像素技術(shù)上表現(xiàn)出色，同時也更快。將SSN集成到語義分段網(wǎng)絡(luò)[13]中還可以提高性能，顯示SSN在下游計算機(jī)視覺任務(wù)中的實用性。 SSN快速，易于實施，可以輕松集成到其他深層網(wǎng)絡(luò)中，具有良好的實證性能。SSN解決了將超像素納入深度網(wǎng)絡(luò)的主要障礙之一，這是現(xiàn)有超像素算法的不可微分性質(zhì)。在深度網(wǎng)絡(luò)中使用超像素可以具有幾個優(yōu)點。超像素可以降低計算復(fù)雜度，尤其是在處理高分辨率圖像時。超像素也可用于強(qiáng)制分段不變的假設(shè)，也有助于遠(yuǎn)程信息傳播[13]。我們相信這項工作開辟了利用深層網(wǎng)絡(luò)中的超像素的新途徑，并激發(fā)了使用超像素的新深度學(xué)習(xí)技術(shù)。致謝。我們感謝Wei-Chih Tu提供評估腳本。我們感謝Ben Eckart對補充視頻的幫助。