動(dòng)量法通過(guò)引入歷史梯度信息顯著提升了收斂效率，卻難以擺脫路徑震蕩與局部最優(yōu)的桎梏。當(dāng)梯度方向突變時(shí)，傳統(tǒng)動(dòng)量法如同盲目前行的旅人，只能依賴當(dāng)前腳步調(diào)整方向，卻常因慣性陷入反復(fù)震蕩的困局。而Nesterov動(dòng)量法的“前瞻機(jī)制”，猶如為優(yōu)化過(guò)程裝上預(yù)判未來(lái)的羅盤——它先沿歷史動(dòng)量方向跨出試探性一步，在預(yù)估位置重新校準(zhǔn)梯度，實(shí)現(xiàn)對(duì)路徑的動(dòng)態(tài)修正。

本文將深入解析動(dòng)量法的局限性與Nesterov的破局之道，揭示其如何通過(guò)“走一步看兩步”的智慧，進(jìn)一步優(yōu)化梯度下降的軌跡。

1.動(dòng)量法的局限性

(1)??? 動(dòng)量法???在每次參數(shù)更新時(shí)引入歷史梯度信息實(shí)現(xiàn)了???梯度下降法???的優(yōu)化。但動(dòng)量法在遇到下圖所示的情況時(shí)存在一定的局限性。根據(jù)動(dòng)量法的定義，在每個(gè)位置引入歷史梯度向量修正當(dāng)前負(fù)梯度向量以得到實(shí)際的梯度下降路徑（從位置A到位置B再到位置C）。

(2) 可以發(fā)現(xiàn)，從位置A到位置B再到位置C的路徑并非最優(yōu)，若能在位置A時(shí)就提前預(yù)知位置B時(shí)的路徑走向，那么便能在位置A時(shí)增大修正幅度，以實(shí)現(xiàn)更優(yōu)的下降路徑。

(3) 故如何做到提前預(yù)知下一步的路徑走向，便是Nesterov動(dòng)量法的精妙之處！

2.Nesterov動(dòng)量法

(1) Nesterov動(dòng)量法的核心改進(jìn)在于引入“前瞻機(jī)制”，通過(guò)調(diào)整當(dāng)前位置梯度計(jì)算的位置來(lái)優(yōu)化參數(shù)更新方向，從而提高收斂速度和穩(wěn)定性。

(3) 綜上所述，Nesterov動(dòng)量法的參數(shù)更新過(guò)程可表示如下：

(4) 總之，Nesterov動(dòng)量法通過(guò)前瞻位置計(jì)算梯度，更貼近當(dāng)前動(dòng)量的實(shí)際路徑，相當(dāng)于對(duì)更新方向進(jìn)行動(dòng)態(tài)校正，減少無(wú)效更新。若歷史梯度方向正確，Nesterov動(dòng)量法會(huì)增大修正幅度，反之則會(huì)減小修正幅度，從而進(jìn)一步抑制震蕩，更快逼近最優(yōu)點(diǎn)。

參考資料

[1] 伊恩·古德費(fèi)洛 等，深度學(xué)習(xí)，人民郵電出版社

[2] https://www.bilibili.com/video/BV1r64y1s7fU?spm_id_from=333.788.videopod.sections&vd_source=4cb33b31ca5b5cd06b5f94aee649ca78

本文轉(zhuǎn)載自?????南夏的算法驛站?????，作者：趙南夏