本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

數(shù)據(jù)少，又沒有預訓練模型，怎么破？

給你個秘密武器——自監(jiān)督學習。

數(shù)據(jù)科學家 Jeremy Howard 發(fā)布一條Twitter：

在醫(yī)學圖像領(lǐng)域，我們經(jīng)常需要靠一點點的數(shù)據(jù)來做很多工作。

在這個問題上，有一種被低估的方法，正是自監(jiān)督學習，簡直太神奇！

還附上了與之相關(guān)的最新fast.ai教程。

△地址：https://www.fast.ai/2020/01/13/self_supervised/

這一推文立即引起了大量網(wǎng)友的關(guān)注，可謂是好評如潮。

這是篇了不起的文章，太酷了！

這是一種簡單且強大的技術(shù)。

接下來，讓我們一起看下，自監(jiān)督學習到底有多厲害。

自監(jiān)督學習簡介

在多數(shù)情況下，訓練神經(jīng)網(wǎng)絡(luò)都應該從一個預訓練(pre-trained)模型開始，然后再對它進行微調(diào)。

通過預訓練模型，可以比從頭開始訓練，節(jié)省1000倍的數(shù)據(jù)。

那么試想一下，你所在的領(lǐng)域中，要是沒有預訓練模型，該怎么辦？

例如在醫(yī)學圖像領(lǐng)域，就很少有預先訓練過的模型。

而最近有一篇比較有意思的論文，就對這方面問題做了研究。

△論文地址：https://arxiv.org/pdf/1902.07208.pdf

研究發(fā)現(xiàn)，即便使用ImageNet模型(預訓練過的)中的前幾層(early layers)，也可以提高醫(yī)學成像模型的訓練速度和最終準確性。

所以說，即便某個通用預訓練模型，不在你的研究領(lǐng)域范圍內(nèi)，也可以嘗試使用它。

然而，這項研究也指出了一個問題：

其改進程度并不大。

那有沒有不需要大量數(shù)據(jù)，還能取得較好效果的技術(shù)呢？

自監(jiān)督學習就是一個秘密武器。

它可以被看作是機器學習的一種“理想狀態(tài)”，模型直接從無標簽數(shù)據(jù)中自行學習，無需標注數(shù)據(jù)。

舉個例子，ULMFiT(一種NLP訓練方法)的關(guān)鍵就是自監(jiān)督學習，極大的提高了NLP領(lǐng)域的技術(shù)水平。

△論文地址：https://arxiv.org/abs/1801.06146

在基于自監(jiān)督學習的方法，首先訓練了一個語言模型，可以預測某句話的下一個單詞。

而當把這個預訓練好的模型，用在另一個任務中時(例如情緒分析)，就可以用少量的數(shù)據(jù)，得到最新的結(jié)果。

計算機視覺中的自監(jiān)督學習

在自監(jiān)督學習中，用于預訓練的任務被稱為pretext task(前置/代理任務)。

然后用于微調(diào)的任務被稱為downstream task(下游任務)。

盡管目前在NLP領(lǐng)域中，自監(jiān)督學習的應用還算普遍，但是在計算機視覺領(lǐng)域中，它卻很少使用。

也許是因為諸如ImageNet這樣的預訓練模型比較成功，所以像醫(yī)學成像領(lǐng)域中的研究人員，可能不太熟悉自監(jiān)督學習的必要性。

接下來的內(nèi)容便展示了CV領(lǐng)域中應用自監(jiān)督學習的論文例子。

希望越來越多的人可以重視這一關(guān)鍵技術(shù)。

圖像著色(Colorization)

Colorful Image Colorization

△論文地址：https://arxiv.org/abs/1603.08511

Learning Representations for Automatic Colorization

△論文地址：https://arxiv.org/pdf/1603.06668

Tracking Emerges by Colorizing Videos

△https://arxiv.org/pdf/1806.09594

效果展示

將圖像patch放在正確位置

Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles

△論文地址：https://arxiv.org/pdf/1603.09246

Unsupervised Visual Representation Learning by Context Prediction

△論文地址：https://arxiv.org/pdf/1505.05192

效果展示

按照正確的順序放置幀

Unsupervised Representation Learning by Sorting Sequences

△論文地址：https://arxiv.org/pdf/1708.01246

Shuffle and Learn: Unsupervised Learning using Temporal Order Verification

△論文地址：https://arxiv.org/pdf/1603.08561

效果展示

圖像修復(Inpainting)

Context Encoders: Feature Learning by Inpainting

△論文地址：https://arxiv.org/pdf/1604.07379

效果展示

分類損壞的圖像

Self-Supervised Feature Learning by Learning to Spot Artifacts

△論文地址：https://zpascal.net/cvpr2018/Jenni_Self-Supervised_Feature_Learning_CVPR_2018_paper.pdf

效果展示

選擇一個pretext task

為了在計算機視覺中使用自監(jiān)督學習，需要回答一個非常重要的問題：

應該使用哪種pretext task？

很多人選擇將“自動編碼器”作為pretext task。

自動編碼器將輸入圖像轉(zhuǎn)換為一種簡化的形式，然后將其再轉(zhuǎn)換回盡可能接近原始圖像的內(nèi)容。

然而，我們不僅需要再生原始圖像內(nèi)容，還需要再生原始圖像中的所有噪聲。

因此，如果要在下游任務中生成更高質(zhì)量的圖像，那么這將是一個不好的選擇。

此外，還需要確保pretext task是人類可以做的事情。

例如，預測視頻的下一幀，如果預測時間點過于遙遠，那也是不太可行的。

為下游任務進行微調(diào)

一旦用pretext task預訓練了模型，就可以繼續(xù)進行微調(diào)。

在這一點上，應該把這個問題視為一種遷移學習，不要太多的改變預訓練模型的權(quán)重。

總體而言，Jeremy Howard不建議浪費太多時間來創(chuàng)建“完美”的pretext模型，而要構(gòu)建盡可能快速且容易的模型。

然后，需要確保這個pretext模型是否可以滿足下游任務。

并且，事實證明，通常不需要非常復雜的pretext 任務，就可以在下游任務中取得較好的結(jié)果。

Yann LeCun更好的方法建議

Jeremy Howard在發(fā)出這條Twitter之后，深度學習三巨頭之一的Yann LeCun對其回復。

Yann LeCun提出了更好的建議：

現(xiàn)在，學習視覺特征最佳SSL方法是使用孿生神經(jīng)網(wǎng)絡(luò)(Siamese network)來學習嵌入。

相關(guān)研究包括：

Self-Supervised Learning of Pretext-Invariant Representations

△論文地址：https://arxiv.org/pdf/1912.01991

Jeremy Howard對LeCun回復道：

將PiRL添加到任意pretext task中是非常好的一件事情。

Jeremy Howard

△Jeremy Howard

Jeremy Howard，澳大利亞數(shù)據(jù)科學家和企業(yè)家。fast.ai創(chuàng)始研究人員之一，fast.ai是一家致力于使深度學習更易用的研究所。

在此之前，他曾是Enlitic（位于舊金山的高級機器學習公司）的首席執(zhí)行官兼創(chuàng)始人。