強(qiáng)化學(xué)習(xí)能否在2020年取得突破?
強(qiáng)化學(xué)習(xí)對于實(shí)現(xiàn)我們的人工智能 / 機(jī)器學(xué)習(xí)技術(shù)的目標(biāo)來說至關(guān)重要,但現(xiàn)在我們還有一些障礙需要克服。盡管可靠性和減少訓(xùn)練數(shù)據(jù)的目標(biāo)在一年內(nèi)就可能實(shí)現(xiàn),但是,強(qiáng)化學(xué)習(xí)本質(zhì)上是一種“黑盒”解決方案,其缺乏透明度的特性會帶來很多質(zhì)疑。
傳統(tǒng)的機(jī)器學(xué)習(xí)乃至深度學(xué)習(xí)的監(jiān)督及非監(jiān)督學(xué)習(xí),是企業(yè)目前在人工智能 / 機(jī)器學(xué)習(xí)領(lǐng)域進(jìn)行大量投資并從中獲取回報的核心領(lǐng)域。但事實(shí)是, 這些技術(shù)目前已經(jīng)相當(dāng)成熟,收益曲線也日趨平坦。
如果我們要在人工智能 / 機(jī)器學(xué)習(xí)領(lǐng)域?qū)ふ蚁乱粋€突破技術(shù),那么幾乎可以肯定的是,這個突破將來自強(qiáng)化學(xué)習(xí)。在強(qiáng)化學(xué)習(xí)領(lǐng)域需要投入大量的努力,但是平心而論,強(qiáng)化學(xué)習(xí)還沒有達(dá)到必要的標(biāo)準(zhǔn)化水平,尚不足以成為為商用化準(zhǔn)備就緒的工具。
在游戲領(lǐng)域已經(jīng)有相當(dāng)多值得報道的成功案例(如 Alpha Go),在無人駕駛領(lǐng)域也有一些成功案例。但盡管在解決涉及系列決策的問題時,強(qiáng)化學(xué)習(xí)應(yīng)該是我們的首選技術(shù),可它還沒有達(dá)到我們所需要的水平。
在我們的上一篇文章中,我們強(qiáng)調(diào)了兩個阻礙強(qiáng)化學(xué)習(xí)的缺點(diǎn),這正是微軟強(qiáng)化學(xué)習(xí)領(lǐng)域的首席研究員 Romain Laroche 所描述的:
“它們基本上是不可靠的。更糟糕的是,由于強(qiáng)化學(xué)習(xí)過程中的隨機(jī)性,使用不同隨機(jī)種子的兩次運(yùn)行的結(jié)果可能非常不同。”
“它們需要數(shù)十億的樣本才能獲得結(jié)果,而在現(xiàn)實(shí)世界的應(yīng)用中提取如此天量的樣本是不可行的。”
我們專注于一些有希望的研究,這些研究用少得多的數(shù)據(jù)、有限的財務(wù)投入和實(shí)際約束解決了訓(xùn)練問題。然而,剩下的問題甚至更加復(fù)雜。
由于強(qiáng)化學(xué)習(xí)解決方案是用隨機(jī)種子啟動的,因此,它們本質(zhì)上是對狀態(tài)空間的隨機(jī)搜索。設(shè)想一下,兩個啟動算法隨機(jī)進(jìn)入這個潛在解決方案的巨大叢林,目標(biāo)是找到最快的出路。盡管這兩個解決方案可能達(dá)到相同的性能級別,但是,強(qiáng)化學(xué)習(xí)是眾所周知的黑盒,它使我們無法了解系統(tǒng)為何及如何選擇執(zhí)行這一系列步驟。
Gartner 最近的報告 《2020 年 10 大戰(zhàn)略技術(shù)趨勢》 中提到的兩個互相矛盾的目標(biāo),突顯了其重要性。
引起我們注意的兩個趨勢是:
趨勢 8:智能設(shè)備(Autonomous things)
“智能設(shè)備,包括無人機(jī)、機(jī)器人、船舶和家用電器,利用人工智能代替人類完成任務(wù)。該技術(shù)在半智能到完全智能的智能范圍內(nèi)運(yùn)作,并能在包括天空、海洋和陸地等各種各樣的環(huán)境中運(yùn)作。智能設(shè)備也將從獨(dú)立的設(shè)備向協(xié)作的集群轉(zhuǎn)變,例如在 2018 年冬季奧運(yùn)會上使用的無人機(jī)群。”
該報告沒有提到的是,要實(shí)現(xiàn)這一點(diǎn)將需要強(qiáng)大而可靠的強(qiáng)化學(xué)習(xí)。盡管有一些非常震撼人的機(jī)器人(想想 Boston Dynamics 公司吧)主要依靠物理運(yùn)動的算法,而不是人工智能 / 機(jī)器學(xué)習(xí)技術(shù),但行業(yè)需要強(qiáng)化學(xué)習(xí)才能走進(jìn)下一個發(fā)展階段。
而第 2 個趨勢對強(qiáng)化學(xué)習(xí)來說將更加困難。
趨勢 5:透明度和可追溯性
“技術(shù)的發(fā)展正在制造信任危機(jī)。隨著消費(fèi)者越來越關(guān)注自身信息被收集和使用的情況,各種組織也意識到存儲和收集這些數(shù)據(jù)時所肩負(fù)的責(zé)任越來越大。”
“此外,人工智能和機(jī)器學(xué)習(xí)越來越多地用于代替人類做出決策,從而演變出信任危機(jī),并推動了對可解釋的人工智能和人工智能治理等理念的需求。”
盡管我們很可能想到 GDPR 以及圍繞著電子商務(wù)的隱私問題,但事實(shí)是,基于我們對人工智能 / 機(jī)器學(xué)習(xí)如何做出決策的理解,這些技術(shù)終將受到挑戰(zhàn)。
尤其是考慮到強(qiáng)化學(xué)習(xí)政策制定的隨機(jī)性,以及兩個成功的強(qiáng)化學(xué)習(xí)程序可以以完全不同的方式實(shí)現(xiàn)相同的目標(biāo),這將是一個難以克服的挑戰(zhàn)。
應(yīng)對可靠性問題
Romain Laroche 提出了兩種技術(shù),有望解決可靠性問題。在其論文中,一個使用集成方法(EBAS),而另一個使用調(diào)整微調(diào)參數(shù)條件風(fēng)險值(Conditional value at Risk,簡稱 CvaR,即最差運(yùn)行的平均值),這兩種技術(shù)都能提高性能并減少訓(xùn)練時間,同時限制強(qiáng)化學(xué)習(xí)運(yùn)行的自然趨勢,以在系統(tǒng)中找到及利用故障。如果實(shí)際投入生產(chǎn),該系統(tǒng)可以導(dǎo)致成功的結(jié)果,但是包含某種形式的意外損害。后一種技術(shù)以 SPIBB 命名,SPIBB 是 Safe Policy Improvement with Baseline Bootstrapping 的縮寫,即具有基線引導(dǎo)的安全策略改進(jìn)。
該集成方法借鑒了機(jī)器學(xué)習(xí)中的相同概念,并且與遺傳算法選擇訓(xùn)練過程中的搜索過程類似,從而得到了一些很好的結(jié)果。
EBAS 算法學(xué)習(xí)速度更快,而且最終性能沒有任何下降。
透明度?
我們似乎正在解決可靠性問題以及另一個海量訓(xùn)練數(shù)據(jù)的需求問題。這無疑將把我們引向透明度問題。比如,無人駕駛汽車在發(fā)生人員傷亡后所受到的審查。對比人類操作人員犯錯,我們對機(jī)器犯錯的容忍度更低。
毫無疑問,強(qiáng)化學(xué)習(xí)將在 2020 年做出重大貢獻(xiàn),但是,想要實(shí)現(xiàn)一個經(jīng)過驗(yàn)證的,商業(yè)上得到接受的方案所面臨的障礙,以及由于其缺乏透明性而帶來的阻力等問題,不太可能在一年內(nèi)完全解決。