[[428985]]

【51CTO.com快譯】今天人工智能的繁榮離不開(kāi)一種名為深度學(xué)習(xí)的技術(shù)，該技術(shù)基于人工神經(jīng)網(wǎng)絡(luò)。本文通過(guò)圖形解釋了如何構(gòu)建和訓(xùn)練這些神經(jīng)網(wǎng)絡(luò)。

圖1. 架構(gòu)圖

人工神經(jīng)網(wǎng)絡(luò)中的每個(gè)神經(jīng)元對(duì)輸入求和，并運(yùn)用激活函數(shù)以確定輸出。這種架構(gòu)的靈感來(lái)自大腦中的機(jī)理，其中​​神經(jīng)元通過(guò)突觸彼此之間傳輸信號(hào)。

圖2

這是一個(gè)假設(shè)的前饋深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)(之所以是“深度”，是由于它有多個(gè)隱藏層)。該例子展示的一個(gè)網(wǎng)絡(luò)解釋了手寫(xiě)數(shù)字的圖像，并將它們分類(lèi)為10個(gè)可能數(shù)字中的一個(gè)。

輸入層含有許多神經(jīng)元，每個(gè)神經(jīng)元都有一個(gè)激活(activation)，被設(shè)置為圖像中一個(gè)像素的灰度值。這些輸入神經(jīng)元連接到下一層的神經(jīng)元，在它們乘以某個(gè)值(稱(chēng)為權(quán)重)后傳遞其激活級(jí)別。第二層中的每個(gè)神經(jīng)元對(duì)許多輸入求和，并運(yùn)用激活函數(shù)以確定輸出，該輸出以相同的方式前饋。

訓(xùn)練

這種神經(jīng)網(wǎng)絡(luò)通過(guò)計(jì)算實(shí)際輸出和預(yù)期輸出之間的差異來(lái)加以訓(xùn)練。這里的數(shù)學(xué)優(yōu)化問(wèn)題中的維度與網(wǎng)絡(luò)中的可調(diào)參數(shù)一樣多——主要是神經(jīng)元之間連接的權(quán)重，可以是正[藍(lán)線] 或負(fù)[紅線]。

訓(xùn)練網(wǎng)絡(luò)本質(zhì)上是找到這種多維“損失”或“成本”函數(shù)的最小值。它在多輪訓(xùn)練中迭代完成，逐漸改變網(wǎng)絡(luò)的狀態(tài)。實(shí)際上，這需要根據(jù)為一組隨機(jī)輸入示例計(jì)算的輸出對(duì)網(wǎng)絡(luò)的權(quán)重進(jìn)行多次小的調(diào)整，每次都從控制輸出層的權(quán)重開(kāi)始，然后通過(guò)網(wǎng)絡(luò)向后移動(dòng)。(為簡(jiǎn)單起見(jiàn)，這里只顯示了與每一層中單個(gè)神經(jīng)元相關(guān)的連接。)這個(gè)反向傳播過(guò)程針對(duì)許多隨機(jī)的訓(xùn)練樣本集重復(fù)進(jìn)行，直到損失函數(shù)最小化，然后網(wǎng)絡(luò)提供它為任何新輸入所能提供的最佳結(jié)果。

圖3

圖4

第1步：在輸入端顯示手寫(xiě)的“3”時(shí)，未經(jīng)訓(xùn)練的網(wǎng)絡(luò)的輸出神經(jīng)元會(huì)有隨機(jī)激活。希望與3相關(guān)的輸出神經(jīng)元有高激活[深色陰影]，而其他輸出神經(jīng)元有低激活[淺色陰影]。因此，比如說(shuō)，必須加大與3相關(guān)的神經(jīng)元的激活[紫色箭頭]。

圖5

第2步：為此，從第二個(gè)隱藏層中的神經(jīng)元到數(shù)字“3”的輸出神經(jīng)元的連接權(quán)重應(yīng)該會(huì)變得更正[黑色箭頭]，變化的大小與所連接的隱藏神經(jīng)元的激活成正比。

圖6

第 3 步：然后對(duì)第二個(gè)隱藏層中的神經(jīng)元執(zhí)行類(lèi)似的過(guò)程。比如說(shuō)，為了使網(wǎng)絡(luò)更準(zhǔn)確，該層中的頂部神經(jīng)元可能需要降低激活[綠色箭頭]。通過(guò)調(diào)整其與第一個(gè)隱藏層[黑色箭頭]的連接權(quán)重，可以將網(wǎng)絡(luò)往該方向推進(jìn)。

圖7

第4步：然后對(duì)第一個(gè)隱藏層重復(fù)該過(guò)程。比如說(shuō)，該層中的第一個(gè)神經(jīng)元可能需要加大激活 [橙色箭頭]。

原文標(biāo)題：How Deep Learning Works Inside the neural networks that power today's AI，作者：SAMUEL K. MOORE DAVID SCHNEIDER ELIZA STRICKLAND

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處為51CTO.com】