是不是說起「口袋妖怪」，你就不困了？

「口袋妖怪」是「寶可夢」的非官方譯名。從 1996 年至今，它可以被分為數(shù)個世代，成為很多玩家心中的經(jīng)典之作。游戲畫風(fēng)簡單，但是身為策略游戲，其中包含的角色、屬性、戰(zhàn)術(shù)、體系等讓這個游戲入門容易精通難。

如果訓(xùn)練 AI 來玩寶可夢，你覺得它的實力如何？

推特用戶 @computerender 用強化學(xué)習(xí)訓(xùn)練 AI 玩起了寶可夢。他也通過視頻記錄了這一過程，不僅生動地展示了訓(xùn)練過程，還詳盡地介紹了其中的方法。

• 項目地址：https://github.com/PWhiddy/PokemonRedExperiments
• 視頻地址：https://www.youtube.com/watch?v=DcYLT37ImBY

當(dāng)你打開視頻，就能觀看兩萬場 AI 玩的《寶可夢?紅》。一開始，AI 沒有任何的知識和經(jīng)驗，只能夠隨機按下按鈕。但在五年的模擬游戲時間里，它在經(jīng)歷中習(xí)得了更多能力。最終，AI 能夠抓住寶可夢，進化它們，并擊敗了健身房的領(lǐng)導(dǎo)者。

那么這是怎么做到的呢？

最基礎(chǔ)的目標(biāo)是讓 AI 去探索地圖。作者所使用的方法是在 AI 到達新位置時給予獎勵。

作者記錄 AI 在玩游戲時看到的每個屏幕并將當(dāng)前屏幕與記錄中的所有屏幕進行比較，看看是否有接近的匹配。如果沒有找到匹配，這意味著 AI 發(fā)現(xiàn)了一些新東西。在此情況下，作者將給它一個獎勵，并將新屏幕添加到記錄中。獨特屏幕帶來的獎勵可以鼓勵它繼續(xù)尋找游戲的新部分。

經(jīng)過幾次迭代之后，AI 能更快的走出初始房間。但在這過程中，作者發(fā)現(xiàn)了隨著探索越來越多，AI 卻會被「困」在某處。這是因為該場景中有草、水、隨意走動的 NPC，這會更容易觸發(fā)新場景產(chǎn)生。作者通過改變畫面差異的像素閾值來進行改進。

除此之外，AI 還遇到了戰(zhàn)斗畫面大致相同，無法得到獎勵而逃離的行為。但是不戰(zhàn)斗，就無法前進。最后，作者通過增加額外獎勵來保持 AI 的前進。

戰(zhàn)斗畫面相似性較高

增加額外關(guān)卡獎勵

當(dāng)然，AI 在這個過程中遇到的問題遠多于此。

當(dāng)寶可夢戰(zhàn)斗的時間很長，其默認(rèn)行動被耗盡時，它似乎會卡住，在多次訓(xùn)練迭代之后，才有了實質(zhì)性的改進。作者發(fā)現(xiàn)，在看到一只鴿子第一次參與進來后，它終于知道當(dāng)一個移動耗盡時該做什么，并能夠切換到另一個替代移動。

就當(dāng)一切順利時，作者發(fā)現(xiàn)了一個關(guān)鍵問題。AI 會直接投入戰(zhàn)斗，即使是那些它無法獲勝的戰(zhàn)斗。并且，它從不去寶可夢中心治療，這意味著當(dāng)它輸了，它會一直回到游戲的開始。

作者試圖使用輸?shù)魬?zhàn)斗就減去獎勵來改進，但是沒有效果。當(dāng) AI 即將失敗時，它沒有避免艱難的戰(zhàn)斗，而是拒絕按下按鈕繼續(xù)無限期地拖延。這在技術(shù)上滿足了目標(biāo)，但不是作者想要的。

作者在細致地觀察后發(fā)現(xiàn)，在一些罕見的情況下會造成巨大的獎勵減扣。一直以來，AI 都會在一場游戲中扣除比預(yù)期多 10 倍的獎勵。作者在回顧時發(fā)現(xiàn)，AI 寶可夢中心，在角落里的電腦前徘徊。登錄并漫無目的地按了一會兒按鈕后，它將一只寶可夢存入了系統(tǒng)，隨即大量獎勵就流失了。這是因為獎勵是根據(jù)寶可夢的等級總和分配的。因此，存入一只 13 級的寶可夢就會立即損失 13 分。這會發(fā)出強烈的負(fù)面信號，給 AI 造成類似創(chuàng)傷的體驗。AI 不像人類那樣有情感，但一個具有極端獎勵價值的事件仍會對它的行為產(chǎn)生持久的影響。在這種情況下，僅僅失去一次寶可夢就足以讓 AI 對整個寶可夢中心形成負(fù)面聯(lián)想，從而在今后的游戲中完全避開它。為了解決這個問題，作者再次修改獎勵函數(shù)，只有當(dāng)?shù)燃壴黾訒r才給予獎勵。這似乎解決了問題。重新啟動訓(xùn)練后，AI 開始訪問寶可夢中心。

當(dāng)它到達了寶可夢中心內(nèi)的月亮山入口。在這里，一個男人會以 500 元的價格賣給你一條魔法鯉魚。魔法鯉魚在短期內(nèi)一點幫助都沒有，所以你可能會認(rèn)為 AI 不會對此感興趣。然而，購買它是獲得 5 級的超級簡單方法。所以 AI 每次都買。在所有的游戲中，它總共購買了超過 10000 個魔法碳水化合物。

作者將 AI 行為與人類類比

作者還分析了 AI 的行動路線，它似乎更喜歡在地圖的幾乎所有邊緣逆時針行走。這意味著，當(dāng)站在右邊的邊緣時，它更喜歡往上走，藍色顯示的就是這種情況。當(dāng)上方有邊緣時，它喜歡往左走，顯示為粉紅色。當(dāng)左邊有邊緣時，它喜歡向下走，用橙色表示。而當(dāng)下面有一條邊時，它更喜歡向右走，顯示為綠色。

作者在視頻中表明，機器學(xué)習(xí)的基本挑戰(zhàn)是在不明確告訴程序如何做的情況下讓它做一些事情。這意味著，如果你的模型沒有按照你預(yù)期的方式運行，你必須弄清楚如何通過學(xué)習(xí)算法或在線訓(xùn)練數(shù)據(jù)間接地改進它。強化學(xué)習(xí)增加了一層間接性。在此基礎(chǔ)上，輸入模型的訓(xùn)練數(shù)據(jù)不再是靜止的、受你控制的，而是模型在早期時間點行為的產(chǎn)物。這種反饋循環(huán)會導(dǎo)致無法預(yù)測的突發(fā)行為。 

在沒有機構(gòu)規(guī)模的資源時，作者建議你可以這么做：

• 將問題簡化，以避免工具、資源的限制。
• 接下來，在合理的時間和成本內(nèi)迭代實驗的設(shè)置非常重要。
• 然后需要仔細考慮 AI 如何與環(huán)境交互以及獎勵函數(shù)如何設(shè)計。在視頻中，作者對他所用到的獎勵函數(shù)已經(jīng)有所介紹，但是受制于篇幅，并沒有介紹全部。它使用到了至關(guān)重要的七個函數(shù)，實際上還有更多的并沒有測試或是最終使用。
• 通過可視化的方法了解 AI 的行為。

作者說道，在未來還可能應(yīng)用遷移學(xué)習(xí)的方法。即在一個大型的廣泛數(shù)據(jù)集上預(yù)先訓(xùn)練一個模型，然后可以非常有效地利用它來完成新任務(wù)。在過去，這已經(jīng)給計算機視覺和自然語言處理領(lǐng)域帶來了革命性的變化。在將其應(yīng)用于 RL 方面，已經(jīng)有一些有趣的早期工作，但尚未真正落地。這是由于這些類型的任務(wù)缺乏大型的多樣化數(shù)據(jù)集。

在視頻最后，作者還介紹了項目的更多操作細節(jié)。

更多詳細內(nèi)容，請觀看原視頻。