ICLR（國(guó)際學(xué)習(xí)表征會(huì)議）是機(jī)器學(xué)習(xí)領(lǐng)域三大頂會(huì)之一，以推動(dòng)深度學(xué)習(xí)基礎(chǔ)理論和技術(shù)創(chuàng)新著稱。每年，ICLR時(shí)間檢驗(yàn)獎(jiǎng)都會(huì)授予近十年對(duì)深度學(xué)習(xí)領(lǐng)域產(chǎn)生深遠(yuǎn)影響的里程碑式論文。

今年這一殊榮花落Adam優(yōu)化器（Adaptive Moment Estimation），該算法于2014年由OpenAI工程師Diederik Kingma和University of Toronto研究生Jimmy Ba提出。

從計(jì)算機(jī)視覺(jué)到自然語(yǔ)言處理，從強(qiáng)化學(xué)習(xí)到生成模型，Adam以其卓越的自適應(yīng)能力，成為當(dāng)代深度學(xué)習(xí)模型的「標(biāo)配」優(yōu)化器，堪稱AI領(lǐng)域的「萬(wàn)金油」。

Diederik Kingma是谷歌的一名研究科學(xué)家，曾經(jīng)是OpenAI初創(chuàng)團(tuán)隊(duì)的一員，期間領(lǐng)導(dǎo)了基礎(chǔ)算法研究團(tuán)隊(duì)。2018年，Kingma跳槽到谷歌，加入Google Brain（現(xiàn)為Google DeepMind），專注于生成式模型研究，包括擴(kuò)散模型和大型語(yǔ)言模型。他是變分自編碼器(VAE)、Adam優(yōu)化器、Glow和變分?jǐn)U散模型等工作的主要作者。

Jimmy Ba是深度學(xué)習(xí)教父Geoffrey Hinton的得意門(mén)生，于2018年獲得University of Toronto的博士學(xué)位。作為Hinton學(xué)術(shù)家族的核心成員，他在ICLR、NeurIPS等頂級(jí)會(huì)議發(fā)表多篇開(kāi)創(chuàng)性論文（其中Adam優(yōu)化器論文引用量已突破21萬(wàn)次），堪稱AI領(lǐng)域最具影響力的青年科學(xué)家之一。

Adam優(yōu)化器雖在工程實(shí)踐中表現(xiàn)優(yōu)異，但長(zhǎng)期以來(lái)缺乏對(duì)其優(yōu)異性能的理論解釋。

近期，清華大學(xué)李升波教授課題組發(fā)文 《Conformal Symplectic Optimization for Stable Reinforcement Learning》，解析了這一「黑箱」算法的優(yōu)化動(dòng)力學(xué)機(jī)理。

該課題組的研究發(fā)現(xiàn)了神經(jīng)網(wǎng)絡(luò)優(yōu)化過(guò)程與共形哈密頓系統(tǒng)演化存在「完美」的數(shù)學(xué)對(duì)偶性，揭示了Adam優(yōu)化器暗藏的「相對(duì)論動(dòng)力學(xué)」和「保辛離散化」本質(zhì)，并由此提出了訓(xùn)練更加穩(wěn)定、性能更加優(yōu)秀的RAD優(yōu)化器（Relativistic Adaptive Gradient Descent），這一研究工作為神經(jīng)網(wǎng)絡(luò)優(yōu)化動(dòng)力學(xué)的分析及全新算法的設(shè)計(jì)開(kāi)辟了新航道。

Adam優(yōu)化器的歷史與算法特點(diǎn)

神經(jīng)網(wǎng)絡(luò)的優(yōu)化主要依賴梯度下降方法。自20世紀(jì)50年代隨機(jī)梯度下降（SGD）首次提出以來(lái)，優(yōu)化算法經(jīng)歷了多次重要演進(jìn)。從動(dòng)量方法如SGD-M和NAG，到自適應(yīng)方法如AdaGrad、RMSprop，優(yōu)化算法的「演變之戰(zhàn)」已持續(xù)超過(guò)70年。

2014年，Diederik Kingma與Jimmy Ba聯(lián)合提出了Adam優(yōu)化器（算法1），將神經(jīng)網(wǎng)絡(luò)優(yōu)化算法的性能向前推進(jìn)了一大步。該算法的核心設(shè)計(jì)思想是融合Momentum和RMSProp兩大優(yōu)化方法的優(yōu)勢(shì)：

通過(guò)指數(shù)移動(dòng)平均計(jì)算一階動(dòng)量v_k+1和二階動(dòng)量y_{k+1，分別估計(jì)梯度的一階矩（即梯度期望）和原始二階矩（近似于梯度方差）。針對(duì)動(dòng)量零初始化導(dǎo)致的估計(jì)偏差，通過(guò)引入偏差修正技術(shù)，Adam兼具了快速收斂與穩(wěn)定訓(xùn)練的雙重特性。}

從算法原理看，Adam優(yōu)化器通過(guò)動(dòng)態(tài)維護(hù)一階動(dòng)量（方向修正）和二階動(dòng)量（步長(zhǎng)調(diào)節(jié)），實(shí)現(xiàn)了參數(shù)更新的雙重自適應(yīng)：既優(yōu)化了更新方向，又自動(dòng)調(diào)整了有效學(xué)習(xí)率，顯著加速了網(wǎng)絡(luò)收斂。其偏差修正機(jī)制有效消除了訓(xùn)練初期的估計(jì)偏差，確保了參數(shù)更新的準(zhǔn)確性。

此外，Adam展現(xiàn)出優(yōu)異的超參數(shù)魯棒性，在大多數(shù)場(chǎng)景下無(wú)需精細(xì)調(diào)參即可獲得穩(wěn)定性能。正是這些優(yōu)勢(shì)使其成為各類監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)任務(wù)的首選優(yōu)化器。

Adam優(yōu)化器為何具備如此出色的訓(xùn)練性能？至今仍缺乏對(duì)其優(yōu)化動(dòng)力學(xué)機(jī)理的深入解釋，這已成為限制新一代神經(jīng)網(wǎng)絡(luò)優(yōu)化算法設(shè)計(jì)的關(guān)鍵障礙。

梯度下降過(guò)程與動(dòng)力學(xué)演化的對(duì)偶機(jī)制

受中國(guó)科學(xué)院院士馮康先生和美國(guó)國(guó)家三院院士M. I. Jordan的研究啟發(fā)（前者開(kāi)創(chuàng)了哈密頓算法與保辛離散化理論，后者成功將保辛理論引入最優(yōu)化領(lǐng)域），清華大學(xué)的研究團(tuán)隊(duì)提出了一種神經(jīng)網(wǎng)絡(luò)優(yōu)化算法的性能理論解釋框架：

第一步，將神經(jīng)網(wǎng)絡(luò)的參數(shù)優(yōu)化過(guò)程對(duì)偶為共形哈密頓系統(tǒng)的狀態(tài)演化過(guò)程，建立參數(shù)梯度下降與系統(tǒng)能量耗散之間的內(nèi)在聯(lián)系。

第二步，利用保辛機(jī)制實(shí)現(xiàn)共形哈密頓系統(tǒng)的離散化，將離散系統(tǒng)的優(yōu)勢(shì)動(dòng)態(tài)特性映射到神經(jīng)網(wǎng)絡(luò)的優(yōu)化過(guò)程，從而完成對(duì)算法優(yōu)化動(dòng)力學(xué)的機(jī)理解釋。

研究發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)梯度下降過(guò)程與共形哈密頓離散系統(tǒng)的演化呈現(xiàn)高度相似性，通過(guò)將網(wǎng)絡(luò)參數(shù)θ對(duì)偶為系統(tǒng)狀態(tài)q，目標(biāo)函數(shù)J(θ)對(duì)偶為系統(tǒng)勢(shì)能U(q)，可直接建立二者間的對(duì)偶關(guān)系。

研究者據(jù)此開(kāi)發(fā)了一個(gè)全新的網(wǎng)絡(luò)優(yōu)化算法開(kāi)發(fā)框架，包含兩個(gè)核心步驟：

1）動(dòng)能建模：通過(guò)設(shè)計(jì)合適的動(dòng)能項(xiàng)T(p)以嵌入期望的動(dòng)態(tài)特性；

2）保辛離散：采用保辛離散方法以精確保持系統(tǒng)的動(dòng)力學(xué)性質(zhì)。

RAD優(yōu)化器的設(shè)計(jì)思路與性能對(duì)比

進(jìn)一步地，研究者將神經(jīng)網(wǎng)絡(luò)參數(shù)的優(yōu)化過(guò)程建模為多粒子相對(duì)論系統(tǒng)狀態(tài)的演化過(guò)程，通過(guò)引入狹義相對(duì)論的光速最大原理，抑制了網(wǎng)絡(luò)參數(shù)的異常更新速率，同時(shí)提供了各網(wǎng)絡(luò)參數(shù)的獨(dú)立自適應(yīng)調(diào)節(jié)能力，從理論上引入了對(duì)網(wǎng)絡(luò)訓(xùn)練穩(wěn)定性和收斂性等動(dòng)態(tài)特性的保障機(jī)制。

這一工作使得研究者提出了既具備穩(wěn)定動(dòng)力學(xué)特性又適用于非凸隨機(jī)優(yōu)化的神經(jīng)網(wǎng)絡(luò)優(yōu)化算法，即RAD優(yōu)化器（算法2）。

研究發(fā)現(xiàn)，當(dāng)速度系數(shù)σ=1且保辛因子ζ_k取固定小值ε時(shí)，RAD優(yōu)化器將退化為Adam優(yōu)化器，揭示了Adam優(yōu)化器的動(dòng)力學(xué)機(jī)理，說(shuō)明了Adam優(yōu)化器是新提出的RAD優(yōu)化器的一個(gè)特例。

相比于Adam優(yōu)化器，RAD優(yōu)化器具有更加優(yōu)異的長(zhǎng)期訓(xùn)練穩(wěn)定性，這是因?yàn)椋?/span>

1）優(yōu)化前期：RAD具有類似Adam的快速收斂特性，能夠高效定位到最優(yōu)解的鄰域；

2）優(yōu)化后期：RAD的保辛結(jié)構(gòu)逐漸增強(qiáng)，具備維持共形哈密頓系統(tǒng)動(dòng)態(tài)特性的能力，確保算法具備更加優(yōu)異的抗干擾能力。

值得注意的是，Adam中的有理因子ε是一個(gè)「人為引入」的小常數(shù)，用于避免分母為零的數(shù)值錯(cuò)誤。而RAD的保辛因子ζ與哈密頓系統(tǒng)的「質(zhì)量×質(zhì)能」（即m²c²）相關(guān)，具有明確的物理根源。

這為之前的經(jīng)驗(yàn)性發(fā)現(xiàn)（即適度增加ε可提升Adam性能）提供了理論性解釋：增大ε使得優(yōu)化過(guò)程更加接近原始的動(dòng)力學(xué)系統(tǒng)。該研究成果不僅深化了Adam與動(dòng)力學(xué)系統(tǒng)的本質(zhì)聯(lián)系，同時(shí)也為分析其他主流自適應(yīng)優(yōu)化器（如AdaGrad、NAdam、AdamW等）提供了普適性的框架。

為了評(píng)估RAD優(yōu)化器的性能，研究者在5種主流深度強(qiáng)化學(xué)習(xí)（DRL）算法（包括DQN、DDPG、TD3、SAC和ADP）和12個(gè)測(cè)試環(huán)境（包括1個(gè)CartPole任務(wù)、6個(gè)MuJoCo任務(wù)、4個(gè)Atari任務(wù)和1個(gè)自動(dòng)駕駛?cè)蝿?wù)）中開(kāi)展了廣泛測(cè)試，并與9種主流神經(jīng)網(wǎng)絡(luò)優(yōu)化器（包括SGD、SGD-M、DLPF、RGD、NAG、Adam、NAdam、SWATS和AdamW）進(jìn)行了比較，結(jié)果表明RAD綜合性能均排名第一。

特別在圖像類標(biāo)準(zhǔn)測(cè)試環(huán)境Seaquest任務(wù)中，RAD性能達(dá)到Adam優(yōu)化器的2.5倍，得分提升了155.1%