今天我們來講一講神經(jīng)網(wǎng)絡(luò)的參數(shù)到底是如何更新的！

    我們先來看看如下神經(jīng)網(wǎng)絡(luò)中的最后一個參數(shù)b3是怎樣進行更新的。后面的章節(jié)再來講w1 w2 w3 b1 b2是如何更新的。

    我們先假設(shè)w1 w2 w3 b1 b2參數(shù)均已得到最優(yōu)解，分別如上圖中綠色數(shù)據(jù)所示。假設(shè)我們要擬合的曲線如下圖所示：

    我們先給b3賦一個默認(rèn)的初始值0。假設(shè)最上面的綠色曲線是我們要擬合的真實曲線，最下面的綠色曲線是當(dāng)前的預(yù)測曲線。

    我們先來求一個殘差平方和，即對于所有的輸入值，求出真實值-預(yù)測值的平方之和。

如下是殘差平方和公式：

    然后我們可以看到對于不同的b3，我們可以得到不同的預(yù)測曲線也就能得到不同的殘差平方和。SSR是殘差平方和，每個b3得到的預(yù)測曲線和殘差平方和的對應(yīng)關(guān)系如下圖所示。

    我們可以得到一個b3和殘差平方和的曲線，這時我們根據(jù)梯度下降法，對這條曲線進行求導(dǎo)，當(dāng)斜率無限逼近0時，預(yù)測曲線最接近真實曲線的時候，此時的b3就是最優(yōu)解。

本文轉(zhuǎn)載自??人工智能訓(xùn)練營??，作者： 小A學(xué)習(xí) ????