如何解決深度學(xué)習(xí)中的多體問(wèn)題
「多體問(wèn)題」(又叫 N 體問(wèn)題)是看似簡(jiǎn)單，實(shí)際上在當(dāng)今數(shù)學(xué)中極難攻克的問(wèn)題。多體問(wèn)題是指多個(gè)相互作用的實(shí)體。在物理學(xué)中，任何三體問(wèn)題都沒(méi)有一個(gè)封閉的形式或解析解(見(jiàn)：https://en.wikipedia.org/wiki/Three-body_problem)。像這樣簡(jiǎn)單的問(wèn)題反映了我們分析工具的局限性。這并不意味著它是不可解的，它只意味著我們必須訴諸于近似和數(shù)值技術(shù)來(lái)進(jìn)行計(jì)算?？梢杂米銐蚓_的數(shù)值計(jì)算分析太陽(yáng)、月球和地球之間的三體問(wèn)題以幫助宇航員登陸月球。
在深度學(xué)習(xí)領(lǐng)域，我們也有一個(gè)新興的 N 體問(wèn)題。許多更先進(jìn)的系統(tǒng)現(xiàn)在正在處理多代理系統(tǒng)的問(wèn)題。每個(gè)代理都可能有與全局目標(biāo)合作或競(jìng)爭(zhēng)的目標(biāo)(即目標(biāo)函數(shù))。在多代理深度學(xué)習(xí)系統(tǒng)中，甚至在模塊化的深度學(xué)習(xí)系統(tǒng)中，研究人員需要設(shè)計(jì)可擴(kuò)展的合作方法。
Johannes Kepler 大學(xué)、DeepMind、OpenAI 和 Facebook 最近紛紛發(fā)表論文探討了這個(gè)問(wèn)題的各個(gè)方面。
在 Johannes Kepler 大學(xué)的團(tuán)隊(duì)，包括 Sepp Hochreiter(LSTM 的提出者)已提出利用模擬庫(kù)侖力(即電磁力大小與反向距離的平方成比例)作為一種訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)(GAN)的替代目標(biāo)函數(shù)。
找到兩個(gè)對(duì)抗網(wǎng)絡(luò)之間的平衡狀態(tài)是一個(gè)熱門(mén)的研究課題。在深度學(xué)習(xí)中解決二體問(wèn)題相當(dāng)困難。研究發(fā)現(xiàn)，使用這種方法可以防止「模式崩潰」的不良情況。此外，設(shè)置確保收斂到一個(gè)***的解決方案，而且只有一個(gè)恰好也是全局的局部極小值。Wasserstein 目標(biāo)函數(shù)(又名 Earth Mover Distance)可能是一個(gè)更好的解決方案，這在幾個(gè)月前極其熱門(mén)。這個(gè)團(tuán)隊(duì)已經(jīng)把他們的創(chuàng)造命名為「庫(kù)侖 GAN」。
微軟 Maluuba 發(fā)表了一篇論文介紹了一個(gè)人工智能玩吃豆人游戲的系統(tǒng)，它的水平已經(jīng)超過(guò)了人類(lèi)。研究人員挑戰(zhàn)的吃豆人游戲跟此類(lèi)游戲最初的版本類(lèi)似，人物在收集小球和水果的同時(shí)避免怪物。論文的題目是「強(qiáng)化學(xué)習(xí)的混合式獎(jiǎng)勵(lì)架構(gòu)」。本文介紹了不同于典型的強(qiáng)化結(jié)構(gòu)的強(qiáng)化學(xué)習(xí)(RL)的實(shí)現(xiàn)(即 HRA)：
這篇文章令人驚訝的是所使用的目標(biāo)函數(shù)的數(shù)量。本文描述了使用 1800 值函數(shù)作為其解決方案的一部分，也就是說(shuō)，每個(gè)小球、每個(gè)水果和每個(gè)怪物都使用了代理。微軟的研究表明使用數(shù)以千計(jì)的微型代理將問(wèn)題分解成子問(wèn)題并實(shí)際解決它是有效的!在這個(gè)模型中，代理之間的耦合顯然是隱式的。
DeepMind 解決了具有共享內(nèi)存的多代理程序的問(wèn)題。在論文《Distral: Robust Multitask Reinforcement Learning》中，研究人員通過(guò)「思想融合」靈感的代理協(xié)調(diào)方法來(lái)解決一個(gè)共同的問(wèn)題。為此，研究人員采用了一種封裝每個(gè)代理的方法。然而，它們?cè)试S一些信息通過(guò)代理的封裝邊界，希望狹窄的通道更具伸縮性和魯棒性。
我們提出了多任務(wù)聯(lián)合訓(xùn)練的新方法，我們稱之為 distral(提取和遷移學(xué)習(xí))。我們不建議在不同的網(wǎng)絡(luò)之間共享參數(shù)，而是共享一個(gè)「提取」的策略，以捕獲跨任務(wù)的共同行為。每個(gè)網(wǎng)絡(luò)都被訓(xùn)練用來(lái)解決自己的任務(wù)，同時(shí)受限于近似共享的策略，而共享策略通過(guò)提取訓(xùn)練成為所有任務(wù)策略的中心。
其結(jié)果引出了更快，更穩(wěn)定的學(xué)習(xí)，從而驗(yàn)證了狹窄通道的方法。在這些多代理(N 體問(wèn)題)開(kāi)放性問(wèn)題是這種耦合的本質(zhì)。DeepMind 的論文表明了更低的耦合相對(duì)于原生的緊耦合的方法的有效性(即權(quán)重共享)。
OpenAI 最近發(fā)表了在他們的系統(tǒng)中訓(xùn)練模型匹配其他代理的多系統(tǒng)的有趣的論文。論文題目為《Learning with Opponent-Learning Awareness》。該論文表明，「以牙還牙」戰(zhàn)略的出現(xiàn)源自賦予多代理系統(tǒng)社會(huì)意識(shí)能力。盡管結(jié)果具有彈性問(wèn)題，但它確實(shí)是一種非常令人著迷的方法，因?yàn)樗鉀Q了人工智能的一個(gè)關(guān)鍵維度(參見(jiàn)：多維智能)。
總而言之，許多領(lǐng)先的深度學(xué)習(xí)研究機(jī)構(gòu)正在積極探索模塊化深度學(xué)習(xí)。這些團(tuán)體正在探索由不同的對(duì)象函數(shù)組成的多代理系統(tǒng)，所有這些都用于合作解決單一的全局目標(biāo)函數(shù)的。仍然有許多問(wèn)題需要解決，但顯然，這種做法確實(shí)非常有希望取得進(jìn)展。去年，我發(fā)現(xiàn)博弈論的變化對(duì)未來(lái)進(jìn)步***指導(dǎo)意義。在今年，我們將看到更多探索多代理系統(tǒng)的松散耦合嘗試。
原文：
https://medium.com/intuitionmachine/the-deep-learning-many-body-problem-3665d3947628
【本文是51CTO專(zhuān)欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)譯文，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】
