神經(jīng)網(wǎng)絡(luò)為什么可以做到智能分類(lèi)，回歸預(yù)測(cè)？他是如何做到的呢？

讓我們先來(lái)看一個(gè)回歸預(yù)測(cè)問(wèn)題，請(qǐng)看下面這張圖：

解釋一下上圖中的要素：藍(lán)色曲線為真實(shí)數(shù)據(jù)，紅色為神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)曲線。其中紅色曲線由三段直線構(gòu)成，【0-1】區(qū)間內(nèi)斜率k=1；【1-2】區(qū)間內(nèi)斜率k=-1；【2-∞】區(qū)間內(nèi)斜率k=1。

實(shí)際上神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)曲線y^可以由以下三個(gè)函數(shù)構(gòu)成：??????

解釋一下上圖中的要素：其中y1=x，區(qū)間【0-∞】；y2=0，區(qū)間【0-1】，y2=-2x+2，區(qū)間【1-∞】；y3=0，區(qū)間【0-2】，y3=2x-4，區(qū)間【2-∞】。

y1+y2+y3=x；在區(qū)間【1-2】y1+y2+y3=-x+2；在區(qū)間【2-∞】y1+y2+y3=x-2。

通過(guò)上面的例子我們可以得到如下結(jié)論：非線性的擬合曲線或者是非線性的高維分類(lèi)曲面他們都是由無(wú)數(shù)的非線性函數(shù)組成的，那么非線性函數(shù)是怎么得到的呢？這就不得不提我們之前說(shuō)過(guò)的RELU函數(shù)了。

再進(jìn)行一次線性變換就可以得到y(tǒng)2，y3: 將RELU函數(shù)向右平移一位，并對(duì)x縮放一倍后翻轉(zhuǎn)就可以得到y(tǒng)2；將RELU函數(shù)向右平移兩位，并對(duì)x縮放一倍后就可以得到y(tǒng)3。RELU的非線性特質(zhì)使其擁有了轉(zhuǎn)折點(diǎn)，而各種RELU函數(shù)的組合可以達(dá)到任意位置，也就可以擬合任何弧度。

上圖中我們可以看到輸入x，通過(guò)線性組合wx+b進(jìn)入隱藏層，隱藏層RELU函數(shù)對(duì)線性組合進(jìn)行非線性變換，使其組合起來(lái)?yè)碛袛M合任意點(diǎn)的能力，然后再對(duì)RELU函數(shù)進(jìn)行線性變換w2(RELU(wx+b))+b2,再通過(guò)softmax輸出，整個(gè)過(guò)程當(dāng)中，w和w2就是特征向量，就是我們剛剛所屬的y1 y2 y3函數(shù)的斜率和位移，我們?cè)撊绾螌?duì)各種線性函數(shù)進(jìn)行拉伸評(píng)議翻轉(zhuǎn)并非線性組合后能正好擬合我們想要的曲線曲面，這里w和b就很重要，如何求解w和b呢，我們之前也已經(jīng)講解過(guò)了，通過(guò)求解損失函數(shù)loss，并且通過(guò)梯度下降法，鏈?zhǔn)絺鲗?dǎo)一步一步求出最理想狀態(tài)的w和b，可以使得損失函數(shù)最小，最擬合完美曲線。

怎么樣？神經(jīng)網(wǎng)絡(luò)的底層邏輯是不是也沒(méi)有那么難呢？

本文轉(zhuǎn)載自??人工智能訓(xùn)練營(yíng)??，作者：小A學(xué)習(xí)