AlphaZero下棋和人類(lèi)下棋究竟有什么區(qū)別？是否掌握了一些人類(lèi)未曾了解過(guò)的知識(shí)？DeepMind最近攜手國(guó)際象棋世界冠軍發(fā)69頁(yè)論文，深度解剖AlphaZero后發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)學(xué)到的知識(shí)和人類(lèi)基本相似！

機(jī)器學(xué)習(xí)系統(tǒng)通常被認(rèn)為是不透明的、不可預(yù)測(cè)的，和人類(lèi)所接受的訓(xùn)練幾乎沒(méi)有任何共通之處。

難道，黑盒模型和可解釋性的學(xué)習(xí)注定是兩條路？

但最近有研究表明，至少在某些情況下，神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)到一些人類(lèi)可理解的表征！

例如分類(lèi)器中的單個(gè)神經(jīng)元可以表示一些語(yǔ)義信息，語(yǔ)言模型中也包含語(yǔ)法信息，在視覺(jué)和文本數(shù)據(jù)的對(duì)齊數(shù)據(jù)中也能發(fā)現(xiàn)一些復(fù)雜的概念表示，這些神經(jīng)網(wǎng)絡(luò)學(xué)到的概念都和人類(lèi)接受的概念訓(xùn)練相關(guān)。

但還有一個(gè)問(wèn)題，這些學(xué)習(xí)到的概念是通用的嗎？我們是否也希望其他深度學(xué)習(xí)的系統(tǒng)具有類(lèi)似的有意義的表示？

[[439006]]

如果這些問(wèn)題的答案都是沒(méi)有的話，那么一些關(guān)于反映模型計(jì)算過(guò)程可解釋性的研究將受到種種限制，并且很難找到其他合理的方法來(lái)解釋。

雖然上面提到的幾個(gè)例子能一定程度上能展現(xiàn)機(jī)器學(xué)習(xí)模型能夠理解人類(lèi)的語(yǔ)義，但本質(zhì)上是因?yàn)樗鼈冎荒芙佑|到人類(lèi)生成的數(shù)據(jù)，并且在分類(lèi)任務(wù)中是將人類(lèi)的類(lèi)別概念強(qiáng)加給模型才導(dǎo)致它們能捕捉到類(lèi)別語(yǔ)義。

或者說(shuō)，這些任務(wù)也相對(duì)簡(jiǎn)單，解釋起來(lái)也更加容易。

為了進(jìn)一步測(cè)試機(jī)器學(xué)習(xí)模型是否真正獲取到了人類(lèi)可理解概念（human-understandable concepts），需要找到一個(gè)在沒(méi)有使用人類(lèi)標(biāo)簽數(shù)據(jù)的情況下，表現(xiàn)出超越人類(lèi)表現(xiàn)的模型。

這不巧了嗎？AlphaZero就同時(shí)滿(mǎn)足這兩個(gè)要求。

首先，AlphaZero是通過(guò)self-play的方式訓(xùn)練的，所以從未接觸過(guò)人類(lèi)數(shù)據(jù)，并且它在國(guó)際象棋，圍棋和將棋（Shogi）這三項(xiàng)競(jìng)技游戲上借助蒙特卡洛樹(shù)搜索成功戰(zhàn)勝人類(lèi)。

所以AlphaZero就成了研究機(jī)器學(xué)習(xí)模型和人類(lèi)理解之間關(guān)系的一座重要橋梁，如果AlphaZero中能找到人類(lèi)可理解的概念，那其他模型應(yīng)該也會(huì)有！

說(shuō)干就干！

DeepMind、Google Brain的研究人員攜手國(guó)際象棋世界冠軍共同打造了一篇長(zhǎng)達(dá)69頁(yè)的論文，主要研究了像AlphaZero這樣的超越人類(lèi)的神經(jīng)網(wǎng)絡(luò)模型正在學(xué)習(xí)什么，這是一個(gè)既科學(xué)又實(shí)用的問(wèn)題。

在論文中研究人員證明了人類(lèi)獲取知識(shí)和AlphaZero在國(guó)際象棋中獲得的知識(shí)都是相似的。并通過(guò)對(duì)大量人類(lèi)關(guān)于國(guó)際象棋的概念的探索，還可以觀察到其中一些概念在AlphaZero網(wǎng)絡(luò)是如何表示的。

https://arxiv.org/abs/2111.09259

論文中邀請(qǐng)到的國(guó)際象棋大師是弗拉基米爾·克拉姆尼克（Vladimir Kramnik），俄羅斯著名國(guó)際象棋手，1992年獲特級(jí)大師頭銜。2000年至2007年，是國(guó)際象棋世界冠軍。他的等級(jí)積分為2801分，世界排名第四（活躍選手排名第三）。

研究方法主要分為三個(gè)方面：

1、概念的探測(cè)（Probe of Concepts）

研究人員的首要任務(wù)是研究AlphaZero的內(nèi)部表征，即其神經(jīng)網(wǎng)絡(luò)內(nèi)神經(jīng)元的激活（activation）情況是否與人類(lèi)關(guān)于國(guó)際象棋的概念相關(guān)。

如果從網(wǎng)絡(luò)的內(nèi)部表示可以很容易地預(yù)測(cè)人類(lèi)概念，那么通過(guò)深入研究來(lái)揭示更多的信息也是有可能的。如果學(xué)習(xí)到的表征與人類(lèi)概念沒(méi)有關(guān)系，那么AlphaZero的內(nèi)部計(jì)算在進(jìn)一步研究后可能仍然不透明。

基于概念的方法就是在一個(gè)大的輸入數(shù)據(jù)集上從網(wǎng)絡(luò)激活中檢測(cè)人類(lèi)概念。因?yàn)閲?guó)際象棋經(jīng)過(guò)多年的發(fā)展，已經(jīng)是高度理論化了，所以已經(jīng)有大量現(xiàn)成的人類(lèi)定義過(guò)的概念可以使用，并且這些概念也足夠復(fù)雜。而所有這些概念結(jié)合在一起就能夠得到一次完整的位置評(píng)估（position evaluation）。

此外，整個(gè)探索過(guò)程是自動(dòng)化的，因此研究人員可以在self-play訓(xùn)練中探索每個(gè)概念、每個(gè)區(qū)塊和多個(gè)檢查點(diǎn)，從而能夠建立一個(gè)學(xué)習(xí)內(nèi)容的藍(lán)圖。

當(dāng)然，基于概念的方法遠(yuǎn)遠(yuǎn)不是理解神經(jīng)網(wǎng)絡(luò)計(jì)算的唯一方法，

2、研究行為變化（Study behavioural changes）

在研究了內(nèi)部表征如何隨著時(shí)間的推移而變化之后，自然要研究這些變化的表征是如何導(dǎo)致行為變化的。

在訓(xùn)練過(guò)程中，有些動(dòng)作（move）優(yōu)先于處于相同位置的其他動(dòng)作，這種偏好會(huì)隨著訓(xùn)練進(jìn)程而發(fā)展。

當(dāng)AlphaZero在沒(méi)有蒙特卡羅樹(shù)搜索（MCTS）的情況下運(yùn)行時(shí)，行為變化僅限于其先前動(dòng)作選擇概率的變化。通過(guò)測(cè)量一組棋局某一手的動(dòng)作概率變化能夠發(fā)現(xiàn)模型行為的變化，并將self-play訓(xùn)練中的游戲演變與高級(jí)人類(lèi)游戲中運(yùn)動(dòng)選擇的演變進(jìn)行比較。

3、直接研究激活（Investigate activations directly）

在確定了許多人類(lèi)概念可以從Alphazero的訓(xùn)練后激活中預(yù)測(cè)出來(lái)后，就可以開(kāi)始研究這些網(wǎng)絡(luò)神經(jīng)元的激活究竟是什么情況了。

研究人員使用非負(fù)矩陣因子分解（NMF）技術(shù)將AlphZero的表征分解為多個(gè)因子。這種方法提供了與現(xiàn)有人類(lèi)概念無(wú)關(guān)的信息，也提供了AlphaZero網(wǎng)絡(luò)計(jì)算內(nèi)容的補(bǔ)充視圖。

直接測(cè)量單神經(jīng)元激活和輸入之間的協(xié)方差也是一種方案，這種方法能夠提供輸入特征的組合，找到哪些特征的存在與給定神經(jīng)元的激活最相關(guān)。

最后研究結(jié)果發(fā)現(xiàn)：

許多人類(lèi)的概念都可以在AlphaZero網(wǎng)絡(luò)中找到。

研究人員證明了AlphaZero網(wǎng)絡(luò)的國(guó)際象棋內(nèi)部學(xué)習(xí)表征可以用來(lái)可靠地重建許多人的象棋概念。采用概念激活向量（CAV）的方法，通過(guò)訓(xùn)練稀疏線性探針來(lái)處理更廣泛的概念。這也表明相關(guān)信息是由AlphaZero網(wǎng)絡(luò)計(jì)算的。

結(jié)果還表明，雖然AlphaZero的象棋知識(shí)似乎與人類(lèi)的概念探針密切相關(guān)，但它們之間確實(shí)存在差異，因?yàn)橹亟ㄍ遣煌暾摹?/p>

通過(guò)使用概念探針?lè)椒ㄕ摚╟oncept probing methodology），可以衡量訓(xùn)練過(guò)程中以及網(wǎng)絡(luò)中每個(gè)層相關(guān)信息的出現(xiàn)情況，這也能夠繪制出一副模型何時(shí)何地發(fā)現(xiàn)什么概念的一副畫(huà)面。

研究人員還發(fā)現(xiàn)，許多概念在訓(xùn)練的早期就出現(xiàn)驚人的一致性，AlphaZero的動(dòng)作選擇也會(huì)迅速發(fā)生變化。

概念的使用和相對(duì)概念值（Use of Concept and Relative concept value）側(cè)重于描述 AlphaZero值函數(shù)隨時(shí)間的演變。

研究人員再次使用了一種基于概念的方法試圖預(yù)測(cè)一組人類(lèi)概念的價(jià)值函數(shù)的輸出。通過(guò)研究訓(xùn)練過(guò)程中概念權(quán)重的演變，可以看到AlphaZero的行為如何與高水平的人體象棋概念相關(guān)，這也是其下棋風(fēng)格（style）的一種展現(xiàn)。

可以發(fā)現(xiàn)，早期的AlphaZero訓(xùn)練主要集中在材料（material）中更復(fù)雜和微妙的概念。如King Safety和Mobility，作為價(jià)值函數(shù)的重要預(yù)測(cè)因素，在訓(xùn)練過(guò)程較晚中才會(huì)出現(xiàn)。

分析表明，人類(lèi)下棋的發(fā)展過(guò)程和AlphaZero既有相似之處，也有差異。AlphaZero并沒(méi)有回顧人類(lèi)下棋的發(fā)展歷程，而是從一些招式直接開(kāi)始訓(xùn)練。但在self-play策略上，人類(lèi)和AlphaZero基本是相似的。

也許，神經(jīng)網(wǎng)絡(luò)的發(fā)展終于到了要揭開(kāi)黑盒的時(shí)候了，看一看到底是不是和生物學(xué)神經(jīng)相同！