場景描述：還記得去年 8 月微軟發(fā)布的「雀神 AI」Suphx 嗎？今天，該研究團隊在 arXiv 上發(fā)布了更新版的論文，進一步介紹了 Suphx 背后的技術。

2019 年 8 月 29 日，微軟發(fā)布了一個名為 Suphx（超級鳳凰）的「麻將 AI」，在專業(yè)的麻將競技平臺上，Suphx 的實力勝過了頂級人類選手的平均水平。

當時一經(jīng)發(fā)布，Suphx 便引起了廣泛的關注，不僅是人工智能領域，不少麻將愛好者也都趕來圍觀討論。

　　麻將的信息集數(shù)目和信息集平均大小超過了橋牌、德?lián)浜蛧?/p>

　　人們評價該系統(tǒng)比戰(zhàn)勝了職業(yè)圍棋手的 AlphaGo 更復雜，被譽為「最強日麻人工智能」。

　　今天，該系統(tǒng)的研發(fā)團隊在 arXiv 上發(fā)表了論文《Suphx: Mastering Mahjong with Deep Reinforcement Learning》（《Suphx：掌握麻將與深度強化學習》），更深一步地講解了 Suphx 背后的技術。

　　《Suphx：掌握麻將與深度強化學習》

　　論文地址：https://arxiv.org/pdf/2003.13590.pdf

Suphx 愈戰(zhàn)愈勇：已超越 99.99% 玩家

　　此前我們已經(jīng)介紹過，Suphx 系統(tǒng)利用深度強化學習，從 5000 場比賽中學習、吸取經(jīng)驗之后，在日本專業(yè)的麻將競技平臺「天鳳」上擊敗了眾多麻將玩家，取得平臺「特上房」的最高段位十段。

Suphx 在天鳳平臺的段位，遠高于其它麻將 AI

　　這樣一個強悍的麻將 AI，究竟是如何打造的？來自微軟亞洲研究院、京都大學、中國科學技術大學、清華大學以及南開大學的研究團隊，在最新版的論文中，進行了深入的介紹。

　　從論文中，我們也得知，Suphx 在進一步的學習下，水平也更進一步。在擁有超過 35 萬位玩家的「天鳳」平臺上，被官方評為水平超越 99.99% 以上玩家，這是計算機程序首次超過麻將中大多數(shù)頂級人類玩家。

五大模型與強化學習，造就雀神 AI

　　Suphx 包含一系列卷積神經(jīng)網(wǎng)絡，它學習了五種模型來處理不同的場景，包括 discard（丟棄模型）、Riichi 模型、chow 模型、Pong 模型和 Kong 模型。

　　discard 模型（上）與其它四個模型的架構（下）

　　在此基礎上，Suphx 采用另一種基于規(guī)則的模型，來決定是否宣布贏家并進行下一輪，檢查是否贏牌可以從其他玩家丟棄的牌中來判斷，或者從排墻上抽出來的牌來判斷。

　　據(jù)介紹，Suphx 的訓練過程一共分為三步。

　　首先，它的 5 個模型都使用從「天鳳」平臺收集的頂級人類玩家的日志進行訓練。

　　然后，使用包含一套基于 CPU 的麻將模擬器和基于 GPU 的軌跡生成推理引擎，通過自我博弈強化學習對系統(tǒng)進行微調(diào)。

　　最后，在在線游戲期間，使用運行時策略調(diào)整被用來觀察當前輪的結(jié)果，從而使系統(tǒng)執(zhí)行得更好。

Suphx 中的分布式強化學習系統(tǒng)

　　由于麻將牌局中，對手的信息都是未知的，因此，Suphx 嘗試了先知教練技術來提升強化學習的效果。在自我博弈的訓練階段，利用隱藏信息引導模型訓練方向 ，從而增強 AI 模型對可見信息的理解，并找到有效的決策依據(jù)。

評估 ：5760 場角逐，創(chuàng)造十段紀錄

　　在實驗之前，團隊在 44 個 GPU (包括 4 個 Nvidia Titan XPs 用于參數(shù)服務器，40 個 K80s 用于自我博弈玩家)上，使用 150 萬次牌局，對每個模型進行了為期兩天的訓練。

　　該團隊對 20 個 Nvidia Tesla K80 GPU 上的 Suphx 進行了評估。為了減小穩(wěn)定排名的方差，他們從 100 多萬場的麻將牌局數(shù)據(jù)集中，隨機抽取了 80 萬牌局的數(shù)據(jù)，并從中進行了 1000 次取樣。

　　評估結(jié)果為，在「天鳳」平臺與人類玩家進行了超過 5760 場比賽后，Suphx 創(chuàng)造了十段的紀錄——大約只有 180 個玩家曾經(jīng)達到過這個水平。而 Suphx 穩(wěn)定的排名是 8.74 段(人類玩家最高水平是 7.4 段)。

強化學習 agent 最終穩(wěn)定排名統(tǒng)計

　　在不斷優(yōu)化中，RL-2 最終取得更好的表現(xiàn) 

　　有趣的是，研究人員寫道，Suphx 的防守「非常強」，放胡的概率很低，只有 10.06%，而且它開發(fā)了自己的游戲風格，可以保證牌的安全，并以半平手取勝。

　　AI 玩家（南方）會選擇保守打法

　　放棄籃筐內(nèi)的六筒，因為牌桌上已有該牌

　　此外，論文的合著者寫道，大多數(shù)現(xiàn)實世界的問題，如金融市場預測和物流優(yōu)化與麻將有相同的特點。比如復雜的操作/獎勵規(guī)則、非完美信息問題等等。

　　作者相信，在 Suphx 中設計的麻將技術，包括全局獎勵預測、先知引導以及政策調(diào)整等，都有巨大的潛力，將來可廣泛應用于現(xiàn)實世界，幫助解決真實而復雜的實際問題。

[[320921]]

　　看到這里，你也躍躍欲試了嗎？天鳳麻將對戰(zhàn)平臺：https://tenhou.net/， 一起來一局呀！