前向傳播之-得分函數(shù)

劇透:深度學(xué)習(xí)必備的兩個(gè)大知識(shí)點(diǎn)分別是前向傳播和反向傳播啦，這里節(jié)課我們會(huì)先著手把前方傳播的所涉及的所有知識(shí)點(diǎn)搞定!我相信這部分對(duì)于咱們即便沒(méi)有什么基礎(chǔ)的同學(xué)來(lái)說(shuō)也是很容易理解的。

得分函數(shù)：這個(gè)就是咱們這節(jié)課最核心的一個(gè)問(wèn)題啦。什么叫得分函數(shù)呢?下面這個(gè)圖就給了我們一個(gè)最直接的答案!

得分函數(shù)的目的：我們要做的就是對(duì)于一個(gè)給定的輸入，比如一張小貓的圖片，通過(guò)一系列復(fù)雜的變換(中間的過(guò)程咱們暫且當(dāng)做一個(gè)黑盒子)能得到這個(gè)輸入對(duì)應(yīng)于每個(gè)類別的得分?jǐn)?shù)值。

可能有些同學(xué)對(duì)于一個(gè)輸入的圖片如何計(jì)算出它的得分還有點(diǎn)困惑，這里我簡(jiǎn)單的來(lái)說(shuō)一下從輸入到輸出的一個(gè)矩陣計(jì)算過(guò)程。

矩陣求解過(guò)程理解：首先對(duì)于一個(gè)32*32*3的輸入，我們把它拉伸成一個(gè)列向量，也就是一個(gè)3072*1的向量，咱們下面用最簡(jiǎn)單的線性分類來(lái)解釋整個(gè)過(guò)程，在線性分類中，我們需要權(quán)重參數(shù)W和B，那么W是整個(gè)線性分類的核心參數(shù)，我們要把一個(gè)輸入分成10個(gè)類別并且對(duì)于每個(gè)類別給定一個(gè)得分?jǐn)?shù)值，這樣咱們的W參數(shù)矩陣就是一個(gè)10*3072的矩陣，我們可以通俗的理解成對(duì)于每一個(gè)類別我們都有3072個(gè)小參數(shù)去和咱們的輸入(3072維的列向量)去計(jì)算最終的的分值，那么10就是我們最終要輸入多少個(gè)類別。參數(shù)B就很好理解啦，這里咱們就不說(shuō)啦。

得分函數(shù)計(jì)算實(shí)例：上圖就是一個(gè)得分函數(shù)計(jì)算的最簡(jiǎn)單的一個(gè)流程，我們假設(shè)圖像是有4個(gè)像素點(diǎn)組成的，然后咱們把它拉成了一個(gè)列向量(Xi)，權(quán)重參數(shù)W是一個(gè)3*4的矩陣，因?yàn)樵蹅円演斎敕殖扇齻€(gè)類別，最終再加上參數(shù)b得到了最終這只小貓屬于每個(gè)類別的得分?jǐn)?shù)值。

理解參數(shù)W和b:下面咱們?cè)偻ㄟ^(guò)這張圖來(lái)形象的理解下參數(shù)W和b,在真實(shí)的情況下對(duì)于每一個(gè)類別的參數(shù)W是一個(gè)3072維的，但是咱們?yōu)榱诵蜗蠡斫獍阉?huà)在了2維的空間中，我們可以從圖中看到三種顏色的線代表了三個(gè)線性分類器，參數(shù)W的每一個(gè)小權(quán)重的改變(共有3072個(gè)小權(quán)重)意味著這條線在改變的小參數(shù)的那個(gè)維度發(fā)生了偏轉(zhuǎn)，我們可以想象2維空間中對(duì)于W的改變意味著什么然后再去想象這個(gè)3072維的空間。那么這個(gè)b參數(shù)是不是就沒(méi)用呢?(有用你干嘛一直不說(shuō)?)其實(shí)參數(shù)b是比不可少的，因?yàn)槿绻麤](méi)有b那么所有的分類線都會(huì)交集與零點(diǎn)，這顯然是不可取的嘛。

小總結(jié)：咱們這節(jié)課很輕松吧，但是如何從一個(gè)輸入計(jì)算出它最終屬于每一個(gè)類別的得分在一個(gè)實(shí)際的深度學(xué)習(xí)網(wǎng)絡(luò)中可沒(méi)這么簡(jiǎn)單就搞定，我這樣做只是讓大家能更好的理解這個(gè)得分函數(shù)。

【本文是51CTO專欄作者唐宇迪的原創(chuàng)稿件，轉(zhuǎn)載請(qǐng)注明出處】

戳這里，看該作者更多好文