[[440456]]

本文轉(zhuǎn)載自微信公眾號(hào)「志斌的python筆記」，作者安可。轉(zhuǎn)載本文請(qǐng)聯(lián)系志斌的python筆記公眾號(hào)。

大家好，我是志斌~

今天來跟大家分享一些人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)的知識(shí)~

深度學(xué)習(xí)(DL)在搜索技術(shù)，數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)，機(jī)器翻譯，自然語言處理，多媒體學(xué)習(xí)，語音，推薦和個(gè)性化技術(shù)，以及其他相關(guān)領(lǐng)域都取得了很多成果。使得人工智能相關(guān)技術(shù)取得了很大進(jìn)步。要學(xué)習(xí)深度學(xué)習(xí)，那么首先要熟悉神經(jīng)網(wǎng)絡(luò)(Neural Networks)的一些基本概念，人工神經(jīng)網(wǎng)絡(luò)的基本思想是仿生學(xué)。

1.神經(jīng)元模型

人工神經(jīng)網(wǎng)絡(luò)是受到人類大腦結(jié)構(gòu)的啟發(fā)而創(chuàng)造出來的。如圖

神經(jīng)網(wǎng)絡(luò)算法正是模仿了上面的網(wǎng)絡(luò)結(jié)構(gòu)。下面是一個(gè)人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造圖。每一個(gè)圓代表著一個(gè)神經(jīng)元，他們連接起來構(gòu)成了一個(gè)網(wǎng)絡(luò)。

人類大腦神經(jīng)元細(xì)胞的樹突接收來自外部的多個(gè)強(qiáng)度不同的刺激，并在神經(jīng)元細(xì)胞體內(nèi)進(jìn)行處理，然后將其轉(zhuǎn)化為一個(gè)輸出結(jié)果。人工神經(jīng)元也有類似的工作原理，如圖：

上圖中，x是神經(jīng)元的輸入，相當(dāng)于樹突接收的多個(gè)外部刺激。w是每個(gè)輸入對(duì)應(yīng)的權(quán)重，它影響著每個(gè)輸入x的刺激強(qiáng)度;b表示閾值，用來影響預(yù)測(cè)結(jié)果;z是預(yù)測(cè)結(jié)果。

2.MP模型

01激活函數(shù)

What(是什么)：激活函數(shù)(Activation functions)在神經(jīng)元中，輸入的數(shù)據(jù)通過加權(quán)求和后，還被作用了一個(gè)函數(shù)，這個(gè)函數(shù)就是激活函數(shù)。

Why(為什么用)：引入激活函數(shù)是為了增加神經(jīng)網(wǎng)絡(luò)模型的非線性。沒有激活函數(shù)的每層都相當(dāng)于矩陣相乘。引入了非線性因素，使得神經(jīng)網(wǎng)絡(luò)可以任意逼近任何非線性函數(shù)，這樣神經(jīng)網(wǎng)絡(luò)就可以應(yīng)用到眾多的非線性模型中。

常見的激活函數(shù)：

①Sigmoid函數(shù)：

常被用作神經(jīng)網(wǎng)絡(luò)的閾值函數(shù)，將變量映射到0,1之間，公式如下：

它的圖像如下：

②Tanh函數(shù)

Tanh()為雙曲正切由基本雙曲函數(shù)雙曲正弦和雙曲余弦推導(dǎo)而來。公式如下：

它的圖像如圖：

③ReLU函數(shù)

用于隱層神經(jīng)元輸出。公式如下：

它的圖像如下：

02MP模型

參數(shù)解釋：將外部刺激模擬為;將每個(gè)樹突對(duì)輸入的刺激加工過程模擬為以某個(gè)權(quán)重()對(duì)輸入進(jìn)行加權(quán);將細(xì)胞核對(duì)輸入的處理模擬為一個(gè)帶有偏置的求和過程()，用激活函數(shù)()對(duì)求和的結(jié)果進(jìn)行非線性變換得出y。

公式表示如下：

向量形式如下：

數(shù)學(xué)理解：設(shè)神經(jīng)元的輸出y是輸入的函數(shù);

公式解釋：對(duì)f(X1,X2,...,Xm)進(jìn)行泰勒展開，后邊依次為二階三階偏導(dǎo)，相當(dāng)于一階泰勒近似。

3.小結(jié)

• 人工神經(jīng)網(wǎng)絡(luò)與人腦一樣，網(wǎng)絡(luò)越復(fù)雜它就越強(qiáng)大;層數(shù)越多，構(gòu)造的神經(jīng)網(wǎng)絡(luò)越復(fù)雜。
• 用來訓(xùn)練的數(shù)據(jù)越多，就需要層數(shù)非常多的網(wǎng)絡(luò)來實(shí)現(xiàn)。
• 本文僅是自己對(duì)于人工神經(jīng)網(wǎng)絡(luò)的見解，如有不妥之處請(qǐng)指出~