[[275255]]

深度學(xué)習(xí)是人工智能模型的先驅(qū)。從圖像識別、語音識別，到文字理解，甚至自動駕駛，深度學(xué)習(xí)的來臨極大地豐富了我們對AI潛力的想象。

那么，深度學(xué)習(xí)為何如此成功呢？

主流思想認(rèn)為，一個重要的原因是，深度學(xué)習(xí)成功的原因是不依靠人類直覺來構(gòu)建或表示數(shù)據(jù)的特征（視覺，文本，音頻......），而是建立一個神經(jīng)網(wǎng)絡(luò)架構(gòu)來自發(fā)學(xué)習(xí)這些特征。

關(guān)鍵詞是特征。從特征工程，到特征搜索，到特征學(xué)習(xí)——每一階段的進(jìn)步都能帶來巨大的性能提升。

既然“特征”上大有文章可做，那么“網(wǎng)絡(luò)結(jié)構(gòu)”是否也可以借鑒同樣的經(jīng)驗?zāi)兀?/p>

沒錯，也可以！

這個新穎的觀點已經(jīng)得到了Allen Institute for AI最新研究的支持。他們的最新研究表明，計算機(jī)學(xué)習(xí)來的神經(jīng)網(wǎng)絡(luò)架構(gòu)可以比人類設(shè)計的更好。

在訓(xùn)練期間，他們的網(wǎng)絡(luò)的可以靈活改變網(wǎng)絡(luò)架構(gòu)——它既學(xué)習(xí)網(wǎng)絡(luò)參數(shù)，也學(xué)習(xí)結(jié)構(gòu)本身。所學(xué)習(xí)的架構(gòu)具有高度稀疏的特性，因此就運算運算而言，它將是一個小得多卻可以實現(xiàn)高精度的模型。

在高效稀疏計算硬件大力發(fā)展的環(huán)境下，這可能是深度學(xué)習(xí)模型下一演變階段的重要觸發(fā)因素。

在了解他們的最新成果前，讓我們先回顧一下，從二十年前到開始進(jìn)入深度學(xué)習(xí)時代AI模型在計算機(jī)視覺技術(shù)領(lǐng)域的關(guān)鍵發(fā)展階段。同樣的趨勢在其他深度學(xué)習(xí)領(lǐng)域也有類似體現(xiàn)。

計算機(jī)視覺三個發(fā)展階段

特征工程階段

嘗試人工找到圖像中承載圖像語義的高維向量。成功的例子有：SIFT，HOG，ShapeContext，RBF和Intersection Kernel。這些特征和函數(shù)是基于對人類視覺識別過程的模擬。這是當(dāng)時計算機(jī)視覺技術(shù)背后的基礎(chǔ)科學(xué)。經(jīng)過了幾年的直覺驅(qū)動研究，計算機(jī)視覺技術(shù)科學(xué)家并未能開發(fā)新的功能，這使得該領(lǐng)域進(jìn)入了第二階段。

特征搜索階段

又叫自動搜索過程，通過組合不同的可能特征或核函數(shù)來提高特定應(yīng)用程序的準(zhǔn)確性（例如，對象分類）。一些成功方法的包括：Feature selection methods 以及 Multiple Kernel Models。這些過程雖然計算量大，但卻能提高計算機(jī)視覺模型的準(zhǔn)確性。另一個主要局限是搜索空間的構(gòu)建塊（特征函數(shù)）是基于人類對視覺識別的直覺手動設(shè)計的。但有一些研究表明，人類可能無法準(zhǔn)確說出自己是如何區(qū)分對象類別的。

例如，你能說明自己如何區(qū)分狗與貓的照片嗎？你選擇的任何特征（例如耳朵上的清晰度，或眼睛中的形狀和顏色），都是貓和狗共有的，但是看照片卻能立即說出它是狗或貓。這使得一些科學(xué)家放棄用傳統(tǒng)的自下而上的模式設(shè)計特征驅(qū)動的計算機(jī)視覺模型，轉(zhuǎn)向讓計算機(jī)自己設(shè)計特征識別的階段。

特征學(xué)習(xí)階段

這是自動從高維向量空間確定視覺特征的階段，該過程通過釋義圖像的內(nèi)容來使計算機(jī)執(zhí)行特定任務(wù)，例如對象分類。深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)（CNN）的發(fā)展使這種能力成為可能。由于在設(shè)計特征的過程中沒有人為干預(yù)，這種算法也被稱為端到端模型。實際上，由于該過程是高度計算密集型并且需要大量數(shù)據(jù)來訓(xùn)練底層神經(jīng)網(wǎng)絡(luò)，人類幾乎無法解釋其構(gòu)造的特征。隨著并行處理器硬件（例如GPU和TPU）的進(jìn)步以及大規(guī)模數(shù)據(jù)集的可用性使其成為可能并取得成功。

太贊了！深度學(xué)習(xí)好像能獨立工作了。既然如此，那么計算機(jī)視覺科學(xué)家在其中需要扮演什么角色呢？！

展望未來

想象一下，如果我們用“架構(gòu)”來取代“特征”這個詞，結(jié)合上述三個階段，大概可以說明深度學(xué)習(xí)今后的發(fā)展趨勢。

架構(gòu)工程

這與“特征學(xué)習(xí)”階段幾乎完全一樣。需要手動為特定任務(wù)設(shè)計卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)。其主要原理是簡單但更深（即更多層）的架構(gòu)可以獲得更高的準(zhǔn)確性。在這個階段，設(shè)計架構(gòu)和訓(xùn)練（網(wǎng)絡(luò)優(yōu)化）技術(shù)是計算機(jī)視覺（以及許多其他DCNN應(yīng)用程序）的主要目標(biāo)。這些網(wǎng)絡(luò)設(shè)計基于人類自身視覺識別系統(tǒng)的認(rèn)知。一些成功的架構(gòu)設(shè)計包括：AlexNet，VGGNet，GoogleNet和ResNet。這些模型的主要的局限在于計算的復(fù)雜性。他們通常需要運行數(shù)十億次算術(shù)運算（浮點運算）來處理單個圖像。在實踐中，為了使模型能夠以足夠快的速度運行，通常需要使用GPU并消耗大量功率。因此，現(xiàn)代AI模型主要通過強(qiáng)大的云服務(wù)器來實現(xiàn)。

這促使科學(xué)家設(shè)計可以運行在邊緣設(shè)備上的更高效的AI模型。一些成功的模型包括：Xnor-net，Mobilenet和Shufflenet。類似于“特征工程”階段，幾年后，江郎才盡的研究人員轉(zhuǎn)向了“搜索”階段。

深度學(xué)習(xí)出現(xiàn)后，計算機(jī)視覺背后的基礎(chǔ)科學(xué)變?yōu)榫W(wǎng)絡(luò)架構(gòu)設(shè)計（圖片來自Joseph Cohen）

架構(gòu)搜索

這是當(dāng)前最先進(jìn)的AI模型。主要原理是使用之前成功架構(gòu)的構(gòu)建塊并嘗試自動搜索這些塊的組合，以構(gòu)建新的神經(jīng)網(wǎng)絡(luò)架構(gòu)。其關(guān)鍵目標(biāo)是建立一個需要少量運算卻高精度的架構(gòu)。一些成功的神經(jīng)架構(gòu)搜索方法包括：NASNet，MNASNe和FBNet。由于其可能的組合的搜索空間非常大，訓(xùn)練這些模型比標(biāo)準(zhǔn)深度學(xué)習(xí)模型需要更多的計算量和數(shù)據(jù)。類似于“特征搜索”階段，這些模型也受到基于人類直覺的手動設(shè)計其構(gòu)建塊的約束。根據(jù)以前的經(jīng)驗，人類對如何設(shè)計神經(jīng)架構(gòu)的直覺沒有計算機(jī)好。最新研究表明，隨機(jī)連接的神經(jīng)網(wǎng)絡(luò)完勝幾種人工設(shè)計的架構(gòu)。

綜上所述，顯然深度學(xué)習(xí)的下一階段是讓計算機(jī)自己設(shè)計架構(gòu)。

搜索CNN不同構(gòu)建塊的組合以構(gòu)建更好的CNN模型

架構(gòu)學(xué)習(xí)階段

最近我們在Xnor.ai和Allen Institute for AI建立了一個名為Discovering Neural Wirings的新模型，用于直接從數(shù)據(jù)中自動學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)架構(gòu)。在該模型中，我們將神經(jīng)網(wǎng)絡(luò)設(shè)置為無約束圖并且放寬層的概念，使節(jié)點（例如圖像的通道）能夠彼此形成獨立的連接。這會使得可能的網(wǎng)絡(luò)空間會更大。在訓(xùn)練期間，該網(wǎng)絡(luò)的搭建不固定——它既學(xué)習(xí)網(wǎng)絡(luò)參數(shù)，也學(xué)習(xí)結(jié)構(gòu)本身。網(wǎng)絡(luò)結(jié)構(gòu)可以包含圖中的循環(huán)，即形成了存儲器結(jié)構(gòu)的概念。所學(xué)習(xí)的架構(gòu)具有高度稀疏的特性，因此就算術(shù)運算而言它將是一個小得多卻可以實現(xiàn)高精度的模型。

代碼：

https://github.com/allenai/dnw

當(dāng)然，類似于“特征學(xué)習(xí)”階段，這個深度學(xué)習(xí)階段需要在訓(xùn)練中進(jìn)行大量的計算以處理大圖并且需要大量的數(shù)據(jù)。我們堅信，隨著專門用于稀疏圖形計算的硬件的發(fā)展，自動發(fā)現(xiàn)最佳網(wǎng)絡(luò)架構(gòu)技術(shù)會越來越成熟，實現(xiàn)高度精確、高效計算的邊緣AI模型指日可待。

神經(jīng)架構(gòu)學(xué)習(xí)的過程：從數(shù)據(jù)中發(fā)現(xiàn)完整神經(jīng)圖中神經(jīng)元之間的最小連接

鏈接：

https://medium.com/xnor-ai/the-next-phase-of-deep-learning-neural-architecture-learning-automatic-discovering-of-neural-d08fc9a6065d