中國科學(xué)院軟件研究所聯(lián)合團隊通過反事實推理解鎖多智能體系統(tǒng)中的智能體行為
一年多以來，強化學(xué)習(xí)（RL）在許多重要的順序決策問題上取得了驚人的進展，隨著問題的復(fù)雜性不斷增加，研究領(lǐng)域也逐漸從單智能體強化學(xué)習(xí)算法轉(zhuǎn)向多智能體強化學(xué)習(xí)（MARL）算法，這些算法在各種領(lǐng)域中發(fā)揮著越來越重要的作用，如無人駕駛飛機、工業(yè)機器人、相機網(wǎng)絡(luò)和自動駕駛等。但是深度RL策略通常缺乏可解釋性，使得人類很難理解和信任這些策略。在多智能體系統(tǒng)（MAS）中，由于智能體之間的交互和依賴性，這一問題更為突出。
多智能體系統(tǒng)是一種由多個智能體組成的系統(tǒng)，這些智能體相互協(xié)作或競爭以實現(xiàn)特定目標(biāo)。每個智能體在系統(tǒng)中都有其獨特的角色，并與其他智能體進行交互，共同完成任務(wù)。隨著MAS在各類應(yīng)用中的普及，對其進行解釋變得日益迫切。盡管此前的研究已經(jīng)針對智能體的行為或狀態(tài)提供了解釋，但仍未能充分理解黑箱智能體在MAS中的重要性以及整體團隊策略。
為了拓寬RL應(yīng)用在關(guān)鍵領(lǐng)域的采用，有必要通過有效的解釋來增強RL智能體的透明性?，F(xiàn)有的一些訓(xùn)練中解釋RL方法可以同時在完成任務(wù)時提供模型的內(nèi)在解釋，但它們不能在黑箱環(huán)境中工作。12 月 23 日，來自中國科學(xué)院軟件研究所的研究團隊提出了一種新穎的智能體級別解釋方法——EMAI，用于評估單個智能體的重要性，彌補了這一研究空白。通過反事實推理，EMAI通過評估智能體隨機行為引起的獎勵變化來衡量其重要性，從而提供更高保真度的解釋和更有效的實際應(yīng)用指導(dǎo)，他們的論文《Understanding Individual Agent Importance in Multi-Agent System via Counterfactual Reasoning》同日發(fā)表于arXiv。
研究工作由多個機構(gòu)的研究人員合作完成，主要團隊成員包括中國科學(xué)院軟件研究所（ISCAS）的Jianming Chen、Yawen Wang、Junjie Wang、Jun Hu、Qing Wang和Fanjiang Xu。研究團隊隸屬于綜合信息系統(tǒng)實驗室、國家智能游戲技術(shù)重點實驗室以及中國科學(xué)院大學(xué)。新加坡管理大學(xué)的Xiaofei Xie。這些研究人員在人工智能、多智能體系統(tǒng)和反事實推理等領(lǐng)域具備深厚的學(xué)術(shù)背景和豐富的研究經(jīng)驗，致力于通過先進的技術(shù)提升系統(tǒng)的解釋能力和應(yīng)用效果。
相關(guān)工作
隨著多智能體系統(tǒng)（MAS）在復(fù)雜任務(wù)中的應(yīng)用逐漸普及，對智能體行為和決策的解釋需求變得日益迫切。研究領(lǐng)域中已經(jīng)有許多關(guān)于強化學(xué)習(xí)（RL）解釋的工作，這些工作主要分為訓(xùn)練中解釋和訓(xùn)練后解釋。
在訓(xùn)練中解釋方面，研究者們致力于設(shè)計能同時提供解釋的RL訓(xùn)練算法。這些方法通常在任務(wù)執(zhí)行過程中生成可解釋的中間結(jié)果，從而讓用戶了解智能體如何進行決策和完成任務(wù)。舉例來說，分層RL模型、模型近似方法以及信貸分配技術(shù)都是典型的訓(xùn)練中解釋方法。然而，這些方法的主要目標(biāo)是優(yōu)化RL模型的性能，解釋能力往往只是附帶的，并且精度較低。此外，這類方法提供的解釋是模型自身生成的，無法用于解釋黑箱智能體。
相比之下，訓(xùn)練后解釋方法則側(cè)重于在智能體訓(xùn)練完成后解釋其決策過程和策略。根據(jù)解釋目標(biāo)的不同，現(xiàn)有的訓(xùn)練后解釋方法主要分為兩類：觀測級別的解釋和步驟級別的解釋。觀測級別的解釋方法通過構(gòu)建顯著圖等手段，揭示觀察中對智能體決策影響最大的特征區(qū)域。而步驟級別的解釋方法則旨在找出整個過程中最關(guān)鍵的時間步，從而確定對最終獎勵起關(guān)鍵作用的時間節(jié)點。然而這些方法通常無法評估每個時間步中智能體的重要性，這在MAS中尤為重要。
反事實推理作為一種廣泛應(yīng)用于監(jiān)督學(xué)習(xí)模型解釋的方法，通過擾動輸入并觀察對結(jié)果的影響，揭示模型特定預(yù)測背后的原因。在多智能體系統(tǒng)中，反事實推理也被引入來解釋智能體的行為。例如，通過擾動智能體的行為并觀察獎勵變化，研究人員可以確定哪些行為對最終結(jié)果最為關(guān)鍵。盡管反事實推理在觀測級別和狀態(tài)級別的解釋中已經(jīng)取得了一定進展，但在每個時間步上進行智能體級別解釋仍然是一個尚未充分探索的領(lǐng)域。
對于多智能體系統(tǒng)的現(xiàn)有解釋方法來說，存在一些顯著的局限性。許多方法在黑箱設(shè)置下無法有效工作，而只能在白箱設(shè)置中提供解釋。這些方法在處理智能體間復(fù)雜交互和時間步之間的依賴關(guān)系時，往往顯得力不從心。為了解決這些問題，研究團隊提出了一種基于反事實推理的EMAI方法，通過學(xué)習(xí)屏蔽智能體策略，有效評估每個時間步上目標(biāo)智能體的重要性，從而提供更高保真度的解釋。
研究方法
目前的研究主要集中在智能體行為或狀態(tài)的解釋上，而對智能體在MAS中的重要性以及團隊整體策略的理解卻相對不足。研究團隊提出了一種名為EMAI（Explanation of Multi-Agent Importance）的新方法，旨在通過反事實推理評估單個智能體的重要性，以彌補這一研究空白。具體來說，EMAI通過評估智能體隨機行為引起的獎勵變化，來衡量智能體的重要性，并提供相應(yīng)的解釋。
多智能體強化學(xué)習(xí)（MARL）問題涉及多個智能體在同一環(huán)境中相互協(xié)作或競爭，以最大化某一全局獎勵函數(shù)。在這種情境下，每個智能體都具有獨特的策略，并且其決策會影響整個系統(tǒng)的表現(xiàn)。在實際應(yīng)用中，由于智能體之間存在復(fù)雜的交互關(guān)系和時間上的依賴性，導(dǎo)致MARL問題變得非常復(fù)雜。因此，為了能夠有效評估每個智能體的重要性，研究人員需要一種能夠捕捉這些復(fù)雜關(guān)系的方法。
目標(biāo)智能體的重要性評估
在MAS中，評估單個智能體的重要性是理解其行為和系統(tǒng)整體表現(xiàn)的關(guān)鍵。具體而言，研究人員需要確定每個智能體在不同時間步上的重要性，以識別那些對系統(tǒng)表現(xiàn)至關(guān)重要的智能體?，F(xiàn)有的方法主要集中在通過擾動輸入來評估智能體的重要性，但這些方法往往無法有效處理多智能體系統(tǒng)中的復(fù)雜交互關(guān)系和依賴性。為了解決這一問題，研究團隊提出了一種基于反事實推理的方法，通過隨機化智能體的行為并觀察其對系統(tǒng)獎勵的影響，來評估智能體的重要性。
反事實推理在MAS中的應(yīng)用
反事實推理是一種用于解釋監(jiān)督學(xué)習(xí)模型的常用方法，通過擾動輸入并觀察結(jié)果變化，揭示模型特定預(yù)測背后的原因。在MAS中，反事實推理也被引入來解釋智能體的行為。具體而言，通過隨機化智能體的行為，并觀察其對系統(tǒng)獎勵的影響，可以確定哪些智能體在當(dāng)前時間步上對系統(tǒng)表現(xiàn)最為關(guān)鍵。這種方法不僅可以提供更高保真度的解釋，還能幫助識別系統(tǒng)中的潛在問題和漏洞，為進一步優(yōu)化系統(tǒng)提供有力支持。
EMAI（個體智能體重要性解釋方法）的提出
為了解決現(xiàn)有方法在處理MAS時的局限性，研究團隊提出了一種新穎的智能體級別解釋方法——EMAI。EMAI通過反事實推理，評估單個智能體的重要性，以提供更高保真度的解釋。具體來說，EMAI利用隨機化智能體行為引起的獎勵變化，衡量智能體的重要性，并采用多智能體強化學(xué)習(xí)（MARL）模型來捕捉智能體之間的復(fù)雜交互關(guān)系。
策略隨機化與獎勵變化
在EMAI方法中，研究人員通過隨機化智能體的行為來評估其重要性。具體而言，如果某個智能體的隨機行為導(dǎo)致系統(tǒng)獎勵發(fā)生較大變化，則表明該智能體在當(dāng)前時間步上非常重要。為了實現(xiàn)這一點，研究人員設(shè)計了一種優(yōu)化函數(shù)，旨在最小化隨機化行為前后獎勵的差異。同時，研究人員引入了稀疏約束，以鼓勵在訓(xùn)練過程中探索更多的智能體行為隨機化。
屏蔽智能體的設(shè)計與訓(xùn)練
在EMAI方法中，研究人員引入了屏蔽智能體的概念，這些智能體通過學(xué)習(xí)來識別并屏蔽那些不重要的目標(biāo)智能體的行為。具體而言，屏蔽智能體的策略學(xué)習(xí)被建模為一個多智能體強化學(xué)習(xí)（MARL）問題，通過反事實推理評估目標(biāo)智能體的重要性，并在訓(xùn)練過程中最小化隨機化行為引起的獎勵差異。為了確保模型的有效性，研究人員采用了集中訓(xùn)練與去中心化執(zhí)行（CTDE）范式，該范式允許在訓(xùn)練過程中使用全局信息指導(dǎo)個體智能體的學(xué)習(xí)，而每個智能體基于自身觀察獨立決策，從而有效分解聯(lián)合動作空間。
通過上述方法，EMAI能夠提供更高保真度的解釋，并在理解策略、發(fā)動攻擊和修補策略等實際應(yīng)用中提供有效指導(dǎo)。后續(xù)章節(jié)將詳細介紹EMAI的模型架構(gòu)與訓(xùn)練過程，以及實驗與評估結(jié)果。
模型架構(gòu)與訓(xùn)練
在理解多智能體系統(tǒng)中個體智能體的重要性時，EMAI（Explanation of Multi-Agent Importance）方法的提出為研究人員提供了一種新穎而有效的解決方案。研究團隊將詳細探討EMAI的模型架構(gòu)與訓(xùn)練過程，包括其整體框架、屏蔽智能體和中央評論網(wǎng)絡(luò)的設(shè)計、訓(xùn)練目標(biāo)和優(yōu)化函數(shù)，以及中心化訓(xùn)練與去中心化執(zhí)行（CTDE）范式的應(yīng)用。
圖1：研究團隊提出的EMAI概述。（a） 在每個時間步，EMAI輸出每個目標(biāo)代理的動作隨機化的掩蔽概率，概率越低，相應(yīng)目標(biāo)代理的重要性越高。（b） 在訓(xùn)練過程中，掩蔽代理的策略網(wǎng)絡(luò)學(xué)習(xí)掩蔽動作和個體值，中央批評網(wǎng)絡(luò)學(xué)習(xí)總值以估計預(yù)期獎勵。引入損失函數(shù)以最小化動作隨機化前后的獎勵差異，并鼓勵代理人進行更多的動作隨機化。
EMAI的整體框架旨在通過反事實推理評估單個智能體的重要性，從而提供更高保真度的解釋。該框架由兩個主要部分組成：屏蔽智能體網(wǎng)絡(luò)和中央評論網(wǎng)絡(luò)。屏蔽智能體網(wǎng)絡(luò)負責(zé)學(xué)習(xí)和識別那些在每個時間步上對系統(tǒng)表現(xiàn)不重要的智能體，并隨機化這些智能體的行為。而中央評論網(wǎng)絡(luò)則從全局角度評估屏蔽智能體的聯(lián)合行為，確保模型能夠捕捉智能體之間的復(fù)雜交互關(guān)系。
屏蔽智能體和中央評論網(wǎng)絡(luò)
在EMAI方法中，屏蔽智能體的設(shè)計和訓(xùn)練是實現(xiàn)智能體級別解釋的關(guān)鍵。屏蔽智能體通過學(xué)習(xí)來識別并屏蔽那些不重要的目標(biāo)智能體的行為。具體而言，每個屏蔽智能體都會基于其觀察到的信息，決定是否隨機化目標(biāo)智能體的行為。如果某個智能體的重要性較低，則屏蔽智能體會隨機化其行為，從而評估其對系統(tǒng)表現(xiàn)的影響。
中央評論網(wǎng)絡(luò)則負責(zé)從全局角度評估屏蔽智能體的聯(lián)合行為。通過結(jié)合所有屏蔽智能體的決策，中央評論網(wǎng)絡(luò)能夠更好地理解智能體之間的相互依賴性，并為優(yōu)化屏蔽智能體的策略提供指導(dǎo)。在訓(xùn)練過程中，中央評論網(wǎng)絡(luò)會不斷調(diào)整其權(quán)重，以確保屏蔽智能體能夠準(zhǔn)確識別并隨機化那些不重要的目標(biāo)智能體。
訓(xùn)練目標(biāo)和優(yōu)化函數(shù)
為了確保EMAI方法的有效性，研究人員設(shè)計了一種優(yōu)化函數(shù)，旨在最小化隨機化行為前后系統(tǒng)獎勵的差異。具體來說，優(yōu)化函數(shù)的目標(biāo)是通過最小化目標(biāo)智能體行為隨機化前后的獎勵差異，從而提高屏蔽智能體識別不重要智能體的精度。同時，研究人員還引入了稀疏約束，以鼓勵屏蔽智能體在訓(xùn)練過程中探索更多的智能體行為隨機化，從而提高模型的整體表現(xiàn)。
在訓(xùn)練過程中，屏蔽智能體和中央評論網(wǎng)絡(luò)會基于當(dāng)前的觀察和系統(tǒng)狀態(tài)，不斷調(diào)整其決策和權(quán)重，以最小化優(yōu)化函數(shù)的值。通過這種方式，EMAI方法能夠逐步提高其識別和隨機化目標(biāo)智能體的精度，從而提供更高保真度的解釋。
中心化訓(xùn)練與去中心化執(zhí)行（CTDE）在EMAI中的應(yīng)用
在EMAI方法中，研究人員采用了中心化訓(xùn)練與去中心化執(zhí)行（CTDE）范式，以更好地處理多智能體系統(tǒng)中的復(fù)雜交互關(guān)系。CTDE范式允許在訓(xùn)練過程中使用全局信息指導(dǎo)個體智能體的學(xué)習(xí)，而每個智能體在執(zhí)行過程中則基于自身的觀察獨立決策，從而有效分解聯(lián)合動作空間。
CTDE范式的一個重要原則是個體-全局-最大（IGM）原則。該原則旨在確保智能體的個體行為和全局行為在優(yōu)化過程中能夠同時最大化。具體來說，個體智能體的策略應(yīng)通過最小化其個體獎勵與全局獎勵之間的差異來進行優(yōu)化，從而確保其行為在整體系統(tǒng)中的貢獻。
為了實現(xiàn)這一原則，研究人員設(shè)計了總損失函數(shù)，結(jié)合個體損失和全局損失，通過最小化總損失函數(shù)的值，確保智能體的個體行為和全局行為在訓(xùn)練過程中能夠協(xié)調(diào)一致?？倱p失函數(shù)的設(shè)計使得EMAI方法在處理多智能體系統(tǒng)中的復(fù)雜交互關(guān)系時，能夠更加高效和精確地評估每個智能體的重要性。
通過上述方法，EMAI方法不僅能夠提供更高保真度的解釋，還能夠在理解策略、發(fā)動攻擊和修補策略等實際應(yīng)用中提供有效指導(dǎo)。通過中心化訓(xùn)練與去中心化執(zhí)行（CTDE）范式的應(yīng)用，EMAI方法能夠在復(fù)雜的多智能體系統(tǒng)中，實現(xiàn)對個體智能體重要性的高效評估和解釋。
實驗與評估?
為了驗證EMAI方法在評估多智能體系統(tǒng)中個體智能體重要性方面的有效性，研究人員進行了多項實驗。這些實驗旨在評估EMAI的解釋保真度、實際應(yīng)用效果以及在不同多智能體環(huán)境中的表現(xiàn)。以下是實驗的詳細設(shè)置、評估指標(biāo)和結(jié)果分析。
實驗設(shè)置
研究人員選擇了三個不同特征的多智能體基準(zhǔn)環(huán)境進行實驗，包括StarCraft多智能體挑戰(zhàn)（SMAC）、Google研究足球（GRF）和多智能體粒子環(huán)境（MPE）。這些環(huán)境覆蓋了密集獎勵、稀疏獎勵、對抗任務(wù)和協(xié)作任務(wù)等不同類型的多智能體任務(wù)。每個基準(zhǔn)環(huán)境中選取了兩個至三個代表性的任務(wù)，以驗證EMAI方法的廣泛適用性。
在實驗過程中，研究人員將EMAI方法與三種常用且先進的基線方法進行了比較?；€方法包括StateMask、基于值的方法（VB）和基于梯度的歸因方法（GBA）。StateMask是一種訓(xùn)練后解釋方法，旨在分析每個時間步狀態(tài)對最終獎勵的重要性；VB是一種常用的訓(xùn)練中解釋方法，基于MARL中的信貸分配或值分解問題，將重要性與價值函數(shù)相關(guān)聯(lián)；GBA則利用輸出對數(shù)概率的梯度進行訓(xùn)練中解釋。
保真度評估
圖2：保真度評估的結(jié)果。條形圖表示平均值，條形圖上的黑線表示標(biāo)準(zhǔn)偏差。
為了評估EMAI方法在識別重要智能體方面的精度，研究人員采用了保真度評估指標(biāo)。具體來說，研究人員通過隨機化選定智能體的行為，并測量獎勵差異來評估解釋的保真度。如果選定的智能體對最終獎勵確實關(guān)鍵，那么隨機化這些智能體的行為應(yīng)該導(dǎo)致較大的獎勵變化。研究人員使用相對獎勵差異（RRD）來標(biāo)準(zhǔn)化不同環(huán)境中的獎勵變化，RRD值越大，表示解釋保真度越高。
圖3:EMAI識別的關(guān)鍵代理的圖示，用紅色框標(biāo)記。
實驗結(jié)果顯示，EMAI方法在所有任務(wù)中均取得了最高的RRD值，相對于基線方法，保真度的相對改進在11%到118%之間。這表明，EMAI方法能夠更準(zhǔn)確地識別出多智能體系統(tǒng)中每個個體的重要性。
實用性評估
在實際應(yīng)用中，研究人員評估并分析了EMAI方法在理解策略、發(fā)動攻擊和修補策略方面的實用性。這些評估反映了EMAI方法在多智能體系統(tǒng)中的實際應(yīng)用價值。
理解策略
研究人員通過可視化EMAI識別出的關(guān)鍵智能體，展示了EMAI方法如何幫助人類理解多智能體的策略。在SMAC和GRF任務(wù)中，EMAI成功識別出了在團隊策略中具有重要作用的智能體。用戶研究表明，大多數(shù)參與者認為EMAI提供的解釋更符合人類直覺，并有助于識別策略缺陷。
發(fā)動攻擊
為了分析解釋方法在發(fā)動攻擊中的意義，研究人員設(shè)計了針對關(guān)鍵智能體的攻擊實驗。通過向關(guān)鍵智能體的觀察值添加噪聲，導(dǎo)致其做出次優(yōu)決策。實驗結(jié)果顯示，EMAI指導(dǎo)的攻擊最為有效，導(dǎo)致獎勵減少最多，相對于基線方法的改進在14%到289%之間。
表1：攻擊前后劇集團隊獎勵的變化。括號外和括號內(nèi)的數(shù)字分別表示平均值和標(biāo)準(zhǔn)偏差。
表2：補丁前后劇集團隊獎勵的變化。括號外和括號內(nèi)的數(shù)字分別表示平均值和標(biāo)準(zhǔn)偏差。
研究人員還設(shè)計了一種由EMAI指導(dǎo)的策略修補方法，通過記錄高獎勵片段中關(guān)鍵智能體的觀察軌跡及其相應(yīng)動作，構(gòu)建補丁包。在需要修補的片段中，通過搜索與當(dāng)前觀察相似的觀察并選擇替代動作，提高系統(tǒng)表現(xiàn)。實驗結(jié)果顯示，EMAI指導(dǎo)的修補效果最佳，某些基線方法甚至導(dǎo)致獎勵減少。
結(jié)論與未來工作
研究團隊提出了一種新穎的智能體級別解釋方法——EMAI，通過反事實推理來評估多智能體系統(tǒng)（MAS）中個體智能體的重要性。相比現(xiàn)有方法，EMAI通過隨機化智能體行為引起的獎勵變化，衡量智能體的重要性，并采用多智能體強化學(xué)習(xí)（MARL）模型來捕捉智能體之間的復(fù)雜交互關(guān)系。在實際應(yīng)用中，EMAI不僅在理解策略方面表現(xiàn)出色，還在發(fā)動攻擊和修補策略方面提供了有效的指導(dǎo)。
實驗結(jié)果表明，EMAI在多個多智能體任務(wù)中均取得了顯著優(yōu)于基線方法的表現(xiàn)。尤其是在保真度評估中，EMAI的相對改進在11%到118%之間，證明了其在識別重要智能體方面的高效性和準(zhǔn)確性。
EMAI的優(yōu)勢與應(yīng)用前景
EMAI方法具備多種優(yōu)勢，使其在廣泛的應(yīng)用場景中具有巨大的潛力。EMAI通過反事實推理提供高保真度的智能體級別解釋，解決了現(xiàn)有方法在處理復(fù)雜多智能體系統(tǒng)時的局限性。EMAI采用的多智能體強化學(xué)習(xí)模型，能夠有效捕捉智能體之間的依賴關(guān)系，提高解釋的精確度和適用性。
在實際應(yīng)用方面，EMAI在理解策略、發(fā)動攻擊和修補策略等方面表現(xiàn)出色。例如，通過可視化EMAI識別出的關(guān)鍵智能體，人類能夠更好地理解多智能體系統(tǒng)的策略，并識別系統(tǒng)中的潛在問題和漏洞。此外，EMAI指導(dǎo)的攻擊和修補策略實驗表明，其在提升系統(tǒng)安全性和性能方面具有重要價值。
未來EMAI方法有望在無人駕駛、智能機器人、智能交通等領(lǐng)域得到廣泛應(yīng)用，幫助優(yōu)化和解釋復(fù)雜多智能體系統(tǒng)，提升其可靠性和透明性。
現(xiàn)有局限性與未來研究方向
盡管EMAI方法在多智能體系統(tǒng)的解釋方面取得了顯著進展，但仍存在一些局限性和挑戰(zhàn)。首先，EMAI主要基于智能體行為的隨機化來評估重要性，而在更加復(fù)雜的環(huán)境中，智能體的重要性可能還受其他因素（如視覺感知和規(guī)劃能力）的影響。未來的研究可以進一步擴展EMAI方法，考慮更多因素對智能體重要性的影響，以提高解釋的全面性和準(zhǔn)確性。
在實際應(yīng)用中，EMAI的方法需要大量的計算資源和時間，特別是在處理大規(guī)模多智能體系統(tǒng)時。為了解決這一問題，未來的研究可以探索更加高效的算法和優(yōu)化技術(shù)，以提高EMAI方法的計算效率和實用性。
最后，EMAI在實際應(yīng)用中還需要更多的驗證和測試，以確保其在不同應(yīng)用場景中的可靠性和適用性。未來的研究可以通過更多的實驗和實地測試，進一步驗證和完善EMAI方法，并探索其在不同領(lǐng)域中的具體應(yīng)用和效果。（END）
參考資料：https://arxiv.org/abs/2412.15619
