深度學(xué)習(xí)是機(jī)器學(xué)習(xí)算法的子類，其特殊性是有更高的復(fù)雜度。因此，深度學(xué)習(xí)屬于機(jī)器學(xué)習(xí)，但它們絕對(duì)不是相反的概念。我們將淺層學(xué)習(xí)稱為不是深層的那些機(jī)器學(xué)習(xí)技術(shù)。

讓我們開始將它們放到我們的世界中：

???

這種高度復(fù)雜性基于什么?

在實(shí)踐中，深度學(xué)習(xí)由神經(jīng)網(wǎng)絡(luò)中的多個(gè)隱藏層組成。我們?cè)凇稄纳窠?jīng)元到網(wǎng)絡(luò)》一文中解釋了神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)，然后我們已經(jīng)將深度學(xué)習(xí)介紹為一種特殊的超級(jí)網(wǎng)絡(luò)：

層數(shù)的增加和網(wǎng)絡(luò)的復(fù)雜性被稱為深度學(xué)習(xí)，類似于類固醇(steroids)上的常規(guī)網(wǎng)絡(luò)。

為什么這種復(fù)雜性是一個(gè)優(yōu)勢(shì)?

知識(shí)在各個(gè)層間流動(dòng)。就像人類學(xué)習(xí)，一個(gè)逐步學(xué)習(xí)的過程。第一層專注于學(xué)習(xí)更具體的概念，而更深的層將使用已經(jīng)學(xué)習(xí)的信息來吸收得出更多抽象的概念。這種構(gòu)造數(shù)據(jù)表示的過程稱為特征提取。

它們的復(fù)雜體系結(jié)構(gòu)為深度神經(jīng)網(wǎng)絡(luò)提供了自動(dòng)執(zhí)行特征提取的能力。相反，在常規(guī)的機(jī)器學(xué)習(xí)或淺層學(xué)習(xí)中，此任務(wù)是在算法階段之外執(zhí)行的。由人員，數(shù)據(jù)科學(xué)家團(tuán)隊(duì)(而非機(jī)器)負(fù)責(zé)分析原始數(shù)據(jù)并將其更改為有價(jià)值的功能。

???

深度學(xué)習(xí)的根本優(yōu)勢(shì)在于，可以在無結(jié)構(gòu)化數(shù)據(jù)上訓(xùn)練這些算法，而無限制地訪問信息。這種強(qiáng)大的條件為他們提供了獲得更多有價(jià)值的學(xué)習(xí)的機(jī)會(huì)。

也許現(xiàn)在您在想...

從多少層開始，它被視為深度學(xué)習(xí)?關(guān)于淺層學(xué)習(xí)何時(shí)結(jié)束和深度學(xué)習(xí)何時(shí)開始尚無統(tǒng)一定義。但是，最一致的共識(shí)是，多個(gè)隱藏層意味著深度學(xué)習(xí)。換句話說，我們考慮從至少3個(gè)非線性轉(zhuǎn)換進(jìn)行深度學(xué)習(xí)，即大于2個(gè)隱藏層+ 1個(gè)輸出層。

除了神經(jīng)網(wǎng)絡(luò)之外，還有其他深度學(xué)習(xí)嗎?

我也無法對(duì)此達(dá)成完全共識(shí)。然而，似乎有關(guān)深度學(xué)習(xí)的一切至少或間接地與神經(jīng)網(wǎng)絡(luò)有關(guān)。因此，我同意那些斷言沒有神經(jīng)網(wǎng)絡(luò)就不會(huì)存在深度學(xué)習(xí)的人的觀點(diǎn)。

我們什么時(shí)候需要深度學(xué)習(xí)?

通用逼近定理( Universal Approximation Theorem, UAT)聲明，只有一個(gè)有限層神經(jīng)元的隱藏層足以逼近任何尋找的功能。這是一個(gè)令人印象深刻的陳述，其原因有兩個(gè)：一方面，該定理證明了神經(jīng)網(wǎng)絡(luò)的巨大能力。但是，另一方面，這是否意味著我們永遠(yuǎn)不需要深度學(xué)習(xí)?不，深吸一口氣，并不意味著……

UAT并未指定必須包含多少個(gè)神經(jīng)元。盡管單個(gè)隱藏層足以為特定功能建模，但通過多個(gè)隱藏層網(wǎng)絡(luò)學(xué)習(xí)它可能會(huì)更加有效。此外，在訓(xùn)練網(wǎng)絡(luò)時(shí)，我們正在尋找一種功能，可以最好地概括數(shù)據(jù)中的關(guān)系。即使單個(gè)隱藏網(wǎng)絡(luò)能夠表示最適合訓(xùn)練示例的功能，這也不意味著它可以更好地概括訓(xùn)練集中數(shù)據(jù)的行為。

Ia Goodfellow，Yahua Bengio，Aaron Courville的《深度學(xué)習(xí)》一書對(duì)此進(jìn)行了很好的解釋：

總而言之，具有單層的前饋網(wǎng)絡(luò)足以表示任何功能，但是該層可能過大而無法正確學(xué)習(xí)和概括。在許多情況下，使用更深入的模型可以減少表示功能所需的單元數(shù)，并可以減少泛化誤差。

總結(jié)

深度學(xué)習(xí)基本上是機(jī)器學(xué)習(xí)的子類，它是使用多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)。它們的復(fù)雜性允許這種類型的算法自行執(zhí)行特征提取。由于它們能夠處理原始數(shù)據(jù)，因此可以訪問所有信息，因此有可能找到更好的解決方案。