[[428985]]

【51CTO.com快譯】今天人工智能的繁榮離不開一種名為深度學(xué)習(xí)的技術(shù)，該技術(shù)基于人工神經(jīng)網(wǎng)絡(luò)。本文通過圖形解釋了如何構(gòu)建和訓(xùn)練這些神經(jīng)網(wǎng)絡(luò)。

圖1. 架構(gòu)圖

人工神經(jīng)網(wǎng)絡(luò)中的每個神經(jīng)元對輸入求和，并運(yùn)用激活函數(shù)以確定輸出。這種架構(gòu)的靈感來自大腦中的機(jī)理，其中​​神經(jīng)元通過突觸彼此之間傳輸信號。

圖2

這是一個假設(shè)的前饋深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)(之所以是“深度”，是由于它有多個隱藏層)。該例子展示的一個網(wǎng)絡(luò)解釋了手寫數(shù)字的圖像，并將它們分類為10個可能數(shù)字中的一個。

輸入層含有許多神經(jīng)元，每個神經(jīng)元都有一個激活(activation)，被設(shè)置為圖像中一個像素的灰度值。這些輸入神經(jīng)元連接到下一層的神經(jīng)元，在它們乘以某個值(稱為權(quán)重)后傳遞其激活級別。第二層中的每個神經(jīng)元對許多輸入求和，并運(yùn)用激活函數(shù)以確定輸出，該輸出以相同的方式前饋。

訓(xùn)練

這種神經(jīng)網(wǎng)絡(luò)通過計算實(shí)際輸出和預(yù)期輸出之間的差異來加以訓(xùn)練。這里的數(shù)學(xué)優(yōu)化問題中的維度與網(wǎng)絡(luò)中的可調(diào)參數(shù)一樣多——主要是神經(jīng)元之間連接的權(quán)重，可以是正[藍(lán)線] 或負(fù)[紅線]。

訓(xùn)練網(wǎng)絡(luò)本質(zhì)上是找到這種多維“損失”或“成本”函數(shù)的最小值。它在多輪訓(xùn)練中迭代完成，逐漸改變網(wǎng)絡(luò)的狀態(tài)。實(shí)際上，這需要根據(jù)為一組隨機(jī)輸入示例計算的輸出對網(wǎng)絡(luò)的權(quán)重進(jìn)行多次小的調(diào)整，每次都從控制輸出層的權(quán)重開始，然后通過網(wǎng)絡(luò)向后移動。(為簡單起見，這里只顯示了與每一層中單個神經(jīng)元相關(guān)的連接。)這個反向傳播過程針對許多隨機(jī)的訓(xùn)練樣本集重復(fù)進(jìn)行，直到損失函數(shù)最小化，然后網(wǎng)絡(luò)提供它為任何新輸入所能提供的最佳結(jié)果。

圖3

圖4

第1步：在輸入端顯示手寫的“3”時，未經(jīng)訓(xùn)練的網(wǎng)絡(luò)的輸出神經(jīng)元會有隨機(jī)激活。希望與3相關(guān)的輸出神經(jīng)元有高激活[深色陰影]，而其他輸出神經(jīng)元有低激活[淺色陰影]。因此，比如說，必須加大與3相關(guān)的神經(jīng)元的激活[紫色箭頭]。

圖5

第2步：為此，從第二個隱藏層中的神經(jīng)元到數(shù)字“3”的輸出神經(jīng)元的連接權(quán)重應(yīng)該會變得更正[黑色箭頭]，變化的大小與所連接的隱藏神經(jīng)元的激活成正比。

圖6

第 3 步：然后對第二個隱藏層中的神經(jīng)元執(zhí)行類似的過程。比如說，為了使網(wǎng)絡(luò)更準(zhǔn)確，該層中的頂部神經(jīng)元可能需要降低激活[綠色箭頭]。通過調(diào)整其與第一個隱藏層[黑色箭頭]的連接權(quán)重，可以將網(wǎng)絡(luò)往該方向推進(jìn)。

圖7

第4步：然后對第一個隱藏層重復(fù)該過程。比如說，該層中的第一個神經(jīng)元可能需要加大激活 [橙色箭頭]。

原文標(biāo)題：How Deep Learning Works Inside the neural networks that power today's AI，作者：SAMUEL K. MOORE DAVID SCHNEIDER ELIZA STRICKLAND

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】