CVPR 2017最佳論文解讀：密集連接卷積網(wǎng)絡(luò)
此系列專欄的***篇文章《CVPR 2017論文解讀：用于單目圖像車輛3D檢測(cè)的多任務(wù)網(wǎng)絡(luò)》
此系列專欄的第二篇文章《CVPR 2017論文解讀：特征金字塔網(wǎng)絡(luò)FPN》
日前，CVPR 2017獲獎(jiǎng)?wù)撐墓?，其中一?**論文為康奈爾大學(xué)、清華大學(xué)、Facebook FAIR 實(shí)驗(yàn)室合著的《Densely Connected Convolutional Networks》。在這篇文章中，Momenta 高級(jí)研發(fā)工程師胡杰對(duì)這篇文章進(jìn)行了解讀。此文為該系列專欄的第三篇。
近幾年來(lái)，隨著卷積神經(jīng)網(wǎng)絡(luò)(CNNs)的迅速發(fā)展，學(xué)術(shù)界涌現(xiàn)出一大批非常高效的模型，如 GoogleNet、VGGNet、ResNet 等，在各種計(jì)算機(jī)視覺(jué)任務(wù)上均嶄露頭角。但隨著網(wǎng)絡(luò)層數(shù)的加深，網(wǎng)絡(luò)在訓(xùn)練過(guò)程中的前傳信號(hào)和梯度信號(hào)在經(jīng)過(guò)很多層之后可能會(huì)逐漸消失。先前有一些非常好的工作來(lái)解決這一問(wèn)題。如在 Highway 和 ResNet 結(jié)構(gòu)中均提出了一種數(shù)據(jù)旁路(skip-layer)的技術(shù)來(lái)使得信號(hào)可以在輸入層和輸出層之間高速流通，核心思想都是創(chuàng)建了一個(gè)跨層連接來(lái)連通網(wǎng)路中前后層。在本文中，作者基于這個(gè)核心理念設(shè)計(jì)了一種全新的連接模式。為了***化網(wǎng)絡(luò)中所有層之間的信息流，作者將網(wǎng)絡(luò)中的所有層兩兩都進(jìn)行了連接，使得網(wǎng)絡(luò)中每一層都接受它前面所有層的特征作為輸入。由于網(wǎng)絡(luò)中存在著大量密集的連接，作者將這種網(wǎng)絡(luò)結(jié)構(gòu)稱為 DenseNet。其結(jié)構(gòu)示意圖如下左圖所示：
它主要擁有以下兩個(gè)特性：1)一定程度上減輕在訓(xùn)練過(guò)程中梯度消散的問(wèn)題。因?yàn)閺纳献髨D我們可以看出，在反傳時(shí)每一層都會(huì)接受其后所有層的梯度信號(hào)，所以不會(huì)隨著網(wǎng)絡(luò)深度的增加，靠近輸入層的梯度會(huì)變得越來(lái)越小。2)由于大量的特征被復(fù)用，使得使用少量的卷積核就可以生成大量的特征，最終模型的尺寸也比較小。
上右圖所示的是構(gòu)成 DenseNet 的單元模塊，看上去和 ResNet 的單元模塊非常相似，但實(shí)際上差異較大。我對(duì)結(jié)構(gòu)設(shè)計(jì)上的細(xì)節(jié)進(jìn)行了以下總結(jié)：
1)為了進(jìn)行特征復(fù)用，在跨層連接時(shí)使用的是在特征維度上的 Concatenate 操作，而不是 Element-wise Addition 操作。
2)由于不需要進(jìn)行 Elewise-wise 操作，所以在每個(gè)單元模塊的***不需要一個(gè) 1X1 的卷積來(lái)將特征層數(shù)升維到和輸入的特征維度一致。
3)采用 Pre-activation 的策略來(lái)設(shè)計(jì)單元，將 BN 操作從主支上移到分支之前。(BN->ReLU->1x1Conv->BN->ReLU->3x3Conv)
4)由于網(wǎng)絡(luò)中每層都接受前面所有層的特征作為輸入，為了避免隨著網(wǎng)絡(luò)層數(shù)的增加，后面層的特征維度增長(zhǎng)過(guò)快，在每個(gè)階段之后進(jìn)行下采樣的時(shí)候，首先通過(guò)一個(gè)卷積層將特征維度壓縮至當(dāng)前輸入的一半，然后再進(jìn)行 Pooling 的操作。如下圖所示：
5)增長(zhǎng)率的設(shè)置。增長(zhǎng)率指的是每個(gè)單元模塊***那個(gè) 3x3 的卷積核的數(shù)量，記為 k。由于每個(gè)單元模塊***是以 Concatenate 的方式來(lái)進(jìn)行連接的，所以每經(jīng)過(guò)一個(gè)單元模塊，下一層的特征維度就會(huì)增長(zhǎng) k。它的值越大意味著在網(wǎng)絡(luò)中流通的信息也越大，相應(yīng)地網(wǎng)絡(luò)的能力也越強(qiáng)，但是整個(gè)模型的尺寸和計(jì)算量也會(huì)變大。作者在本文中使用了 k=32 和 k=48 兩種設(shè)置。
作者基于以上原則針對(duì)于 ImageNet 物體識(shí)別任務(wù)分別設(shè)計(jì)了 DesNet-121(k=32)、DesNet-169(k=32)、DesNet-201(k=32) 和 DesNet-161(k=48) 四種網(wǎng)絡(luò)結(jié)構(gòu)。其網(wǎng)絡(luò)的組織形式和 ResNet 類似，也是分為 4 個(gè)階段，將原先的 ResNet 的單元模塊進(jìn)行了替換，下采樣過(guò)程略有不同。整體結(jié)構(gòu)設(shè)計(jì)如下所示：
在 ImageNet 上的實(shí)驗(yàn)結(jié)果如下：
上左圖表示的是參數(shù)量和錯(cuò)誤率的關(guān)系，上右圖表示的是模型測(cè)試的計(jì)算量和錯(cuò)誤率的關(guān)系。我們不難看出，在達(dá)到相同精度時(shí)，DenseNet 的參數(shù)量和計(jì)算量均為 ResNet 的一半左右。
總的來(lái)說(shuō)，這是一篇非常有創(chuàng)新性的工作，提出了共享特征、任意層間互連的概念很大程度上減輕了深層網(wǎng)絡(luò)在訓(xùn)練過(guò)程中梯度消散而難以優(yōu)化的問(wèn)題，同時(shí)也減小了模型的尺寸和計(jì)算量，在標(biāo)準(zhǔn)數(shù)據(jù)集上獲得了非常好的性能。唯一可能的不足是網(wǎng)絡(luò)不能設(shè)計(jì)地特別「深」，因?yàn)殡S著 DenseNet 網(wǎng)絡(luò)層數(shù)的增加，模型的特征維度會(huì)線性增長(zhǎng)，使得在訓(xùn)練過(guò)程中的計(jì)算量和顯存開(kāi)銷也會(huì)爆發(fā)地增長(zhǎng)。
Q&A：
1.DenseNet 是否可以在物體檢測(cè)任務(wù)中使用?效果如何?
A：當(dāng)然，DenseNet 可以通過(guò)和 ResNet 一樣的方法被應(yīng)用到物體檢測(cè)任務(wù)中。但是作者并沒(méi)有在物體檢測(cè)任務(wù)上進(jìn)行實(shí)驗(yàn)，如果關(guān)注 DenseNet 在物體檢測(cè)任務(wù)上的效果，可以參考第三方的將 DenseNet 用在物體檢測(cè)任務(wù)上的實(shí)驗(yàn)結(jié)果。
2.通過(guò)圖表可以看到，DenseNet 在相對(duì)較小計(jì)算量和相對(duì)較小的模型大小的情況下，相比同等規(guī)模的 ResNet 的準(zhǔn)確率提升會(huì)更明顯。是否說(shuō)明 DenseNet 結(jié)構(gòu)更加適合小模型的設(shè)計(jì)?
A：確實(shí)，在小模型的場(chǎng)景下 DenseNet 有更大的優(yōu)勢(shì)。同時(shí)，作者也和近期發(fā)表的 MobileNet 這一針對(duì)移動(dòng)端和小模型設(shè)計(jì)的工作進(jìn)行了對(duì)比，結(jié)果顯示 DenseNet(~400MFlops)可以在更小的計(jì)算量的情況下取得比 MobileNet(~500MFlops)更高的 ImageNet 分類準(zhǔn)確率。
3.DenseNet 中非常關(guān)鍵的連續(xù)的跨層 Concatenate 操作僅存在于每個(gè) Dense Block 之內(nèi)，不同 Dense Block 之間則沒(méi)有這種操作，是怎樣一種考慮?
A：事實(shí)上，每個(gè) Dense Block ***的特征圖已經(jīng)將當(dāng)前 Block 內(nèi)所有的卷積模塊的輸出拼接在一起，整體經(jīng)過(guò)降采樣之后送入了下一個(gè) Dense Block，其中已經(jīng)包含了這個(gè) Dense Block 的全部信息，這樣做也是一種權(quán)衡。
4.DenseNet 這樣的模型結(jié)構(gòu)在訓(xùn)練過(guò)程中是否有一些技巧?
A：訓(xùn)練過(guò)程采用了和 ResNet 的文章完全相同的設(shè)定。但仍然存在一些技巧，例如因?yàn)槎啻?Concatenate 操作，同樣的數(shù)據(jù)在網(wǎng)絡(luò)中會(huì)存在多個(gè)復(fù)制，這里需要采用一些顯存優(yōu)化技術(shù)，使得訓(xùn)練時(shí)的顯存占用可以隨著層數(shù)線性增加，而非增加的更快，相關(guān)代碼會(huì)在近期公布。
【本文是51CTO專欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)文章，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】
