RMSprop（Root Mean Square Propagation）算法是一種自適應(yīng)學(xué)習(xí)率的優(yōu)化算法，它由Adagrad算法改進(jìn)而來，引入指數(shù)加權(quán)移動(dòng)平均方法替代梯度平方累加，動(dòng)態(tài)調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率，解決了傳統(tǒng)梯度下降法中的震蕩和收斂慢問題。

本文將從Adagrad算法的局限性出發(fā)，解析RMSprop算法的原理與推導(dǎo)過程，揭示其是如何突破優(yōu)化后期學(xué)習(xí)率衰減過大的問題。

1.算法背景與發(fā)展動(dòng)機(jī)

(1) Adagrad算法的局限性：在AdaGrad算法中，由于梯度分量的直接累加，學(xué)習(xí)率隨著迭代的進(jìn)行而單調(diào)遞減， 這可能導(dǎo)致后期學(xué)習(xí)率過小甚至接近零，后期訓(xùn)練停滯。

(2) RMSprop算法的改進(jìn)：與AdaGrad的累加平方和不同，RMSProp引入了指數(shù)加權(quán)平均（Exponential Moving Average, EMA）來更新梯度平方的歷史值，從而避免了學(xué)習(xí)率單調(diào)衰減的問題。能使得優(yōu)化過程在訓(xùn)練的后期仍能保持一定的學(xué)習(xí)率。

2.核心原理與公式推導(dǎo)

(1) 由前文可知，Adagrad算法的參數(shù)更新公式為：

(2) RMSprop算法引入指數(shù)加權(quán)平均改進(jìn)梯度平方累加后，當(dāng)前時(shí)刻的梯度的加權(quán)平均可以表示為：

本文轉(zhuǎn)載自??????南夏的算法驛站??????，作者：趙南夏