神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練最大的弊端在于需要大量的訓(xùn)練數(shù)據(jù)，而非監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)則能很好地解決標(biāo)注的問題。

今年三月，F(xiàn)acebook AI Research和紐約大學(xué)的Yann LeCun聯(lián)手在arxiv上發(fā)布一篇關(guān)于自監(jiān)督學(xué)習(xí)的論文，提出模型Barlow Twins，這個名字來源于神經(jīng)科學(xué)家H. Barlow的redundancy-reduction原則。

近日這篇論文又在Reddit上掀起一陣討論熱潮，網(wǎng)友對LeCun的論文似乎有些不買賬。

自監(jiān)督學(xué)習(xí)

所謂自監(jiān)督，就是訓(xùn)練了，但沒有完全訓(xùn)練，用到的標(biāo)簽來源于自身，它與無監(jiān)督學(xué)習(xí)之間的界限逐漸模糊。

自監(jiān)督學(xué)習(xí)在NLP領(lǐng)域已經(jīng)取得了非常大的成就，BERT、GPT、XLNET等自監(jiān)督模型幾乎刷遍了NLP各大榜單，同時在工業(yè)界也帶來了很多的進步。在CV領(lǐng)域，自監(jiān)督似乎才剛剛興起。

從Kaiming的MoCo和Hinton組Chen Ting的SimCLR，近兩年自監(jiān)督學(xué)習(xí)（SSL，self-supervised learning）在大佬們的推動下取得了很大的成功。

何愷明一作的Moco模型發(fā)表在CVPR2020上，并且是Oral。文章核心思想是使用基于contrastive learning的方式自監(jiān)督的訓(xùn)練一個圖片表示器也就是編碼器，能更好地對圖片進行編碼然后應(yīng)用到下游任務(wù)中?；趯Ρ鹊淖员O(jiān)督學(xué)習(xí)最大的問題就是負(fù)樣本數(shù)量增大后會帶來計算開銷的增大，何愷明使用了基于隊列的動態(tài)字典來存儲樣本，同時又結(jié)合了動量更新編碼器的方式，解決了編碼器的快速變化會降低了鍵的表征一致性問題。MoCo在多個數(shù)據(jù)集上取得了最優(yōu)效果，縮小了監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)之間的差距。

而Hinton組的SimCLR側(cè)重于同一張圖像的不同數(shù)據(jù)增強的方法，具體而言就是隨機采樣一個batch，對batch里每張圖像做兩種增強，可以認(rèn)為是兩個view；讓同一張圖的不同view在latent space里靠近，不同圖的view在latent space里遠離，通過NT-Xent實現(xiàn)。

從AutoEncoder到語言模型，可以說是無標(biāo)簽的數(shù)據(jù)讓預(yù)訓(xùn)練模型取得驚人的成績，之后在有標(biāo)簽數(shù)據(jù)上的fine tune讓他有了應(yīng)用價值。

Barlow Twins

今年3月，arxiv上多了一篇Yann Lecun的論文。

CV領(lǐng)域的自監(jiān)督學(xué)習(xí)的最新成果總是向世人證明無需數(shù)據(jù)標(biāo)簽也可以達到有監(jiān)督的效果。目前自監(jiān)督學(xué)習(xí)主流的方法就是使網(wǎng)絡(luò)學(xué)習(xí)到輸入樣本不同失真(distortions)版本下的不變性特征（也稱為數(shù)據(jù)增強），但是這種方法很容易遭遇平凡解，現(xiàn)有方法大多是通過實現(xiàn)上的細節(jié)來避免出現(xiàn)collapse。

LeCun團隊解釋說，這種方法經(jīng)常會出現(xiàn)瑣碎的常量表示形式，這些方法通常采用不同的機制和仔細的實現(xiàn)細節(jié)，以避免collapse的解決方案。Barlow Twins是解決此問題的目標(biāo)函數(shù)，它測量兩個相同網(wǎng)絡(luò)的輸出特征之間的互相關(guān)矩陣，這些輸出饋送了失真的版本，以使其盡可能接近單位矩陣，同時最大程度地減少了相關(guān)向量分量之間的冗余。

這個方法受英國神經(jīng)科學(xué)家霍勒斯·巴洛（Horace Barlow）在1961年發(fā)表的文章中的啟發(fā)，Barlow Twins方法將「減少冗余」（一種可以解釋視覺系統(tǒng)組織的原理）應(yīng)用于自我監(jiān)督學(xué)習(xí)，也是感官信息轉(zhuǎn)化背后的潛在原理。

研究人員通過遷移學(xué)習(xí)將模型應(yīng)用到不同的數(shù)據(jù)集和計算機視覺任務(wù)來評估Barlow Twins的表示形式，還在圖像分類和對象檢測的任務(wù)上進行試驗，使用ImageNet ILSVRC-2012數(shù)據(jù)集上的自我監(jiān)督學(xué)習(xí)對網(wǎng)絡(luò)進行了預(yù)訓(xùn)練。

結(jié)果表明，Barlow Twins在概念上更簡單并且避免了瑣碎的參數(shù)，其性能優(yōu)于以前的自我監(jiān)督學(xué)習(xí)方法。研究人員認(rèn)為，所提出的方法只是應(yīng)用于SSL的信息瓶頸原理的一種可能實例，并且進一步的算法改進可能會導(dǎo)致更有效的解決方案。

Jing Li

靖禮是這篇論文的第二作者，本科被保送到北大物理學(xué)院，獲得了物理學(xué)學(xué)士學(xué)位和經(jīng)濟學(xué)學(xué)士學(xué)位，獲得了麻省理工學(xué)院的物理學(xué)博士學(xué)位。他在2010年贏得了第41屆國際中學(xué)生物理學(xué)奧林匹克競賽金牌。

目前是Facebook AI Research（FAIR）的博士后研究員，與Yann LeCun一起研究自我監(jiān)督學(xué)習(xí)。

他的研究領(lǐng)域還包括表示學(xué)習(xí)，半監(jiān)督學(xué)習(xí)，多模式學(xué)習(xí)，科學(xué)AI。

他還是Lightelligence Inc.的聯(lián)合創(chuàng)始人，該公司生產(chǎn)光學(xué)AI計算芯片。

在企業(yè)技術(shù)領(lǐng)域，他被授予《福布斯》中國30位30歲以下人士。

而Yann LeCun是CNN之父，紐約大學(xué)終身教授，與Geoffrey Hinton、Yoshua Bengio并成為“深度學(xué)習(xí)三巨頭”。前Facebook人工智能研究院負(fù)責(zé)人，IJCV、PAMI和IEEE Trans 的審稿人，他創(chuàng)建了ICLR(International Conference on Learning Representations)會議并且跟Yoshua Bengio共同擔(dān)任主席。

1983年在巴黎ESIEE獲得電子工程學(xué)位，1987年在 Université P&M Curie 獲得計算機科學(xué)博士學(xué)位。1998年開發(fā)了LeNet5，并制作了被Hinton稱為“機器學(xué)習(xí)界的果蠅”的經(jīng)典數(shù)據(jù)集MNIST。2014年獲得了IEEE神經(jīng)網(wǎng)絡(luò)領(lǐng)軍人物獎，2019榮獲圖靈獎。

大牛也會出錯？

Yann LeCun可謂是深度學(xué)習(xí)界的大牛，但同樣要遭受質(zhì)疑。

有網(wǎng)友評價這篇論文是完全沒意義的，這篇論文中提出的方法只有在特定條件下才好用，并且仍然需要大規(guī)模計算資源。

并且隨著batch size的增加，效果下降了，但是為什么？

還有說圖1就是錯的，損失函數(shù)也是無意義的。

知乎網(wǎng)友討論中也有認(rèn)為Barlow Twins只是整合了自監(jiān)督學(xué)習(xí)的技巧，如增加batch size、增加訓(xùn)練時間、交替迭代、predictor機制、stop gradient等這些技巧層面的工作，學(xué)習(xí)過程則是讓互相關(guān)矩陣與單位陣要盡可能接近。

對此你怎么看？