多智能體強化學(xué)習(xí)（MARL）近年來在解決復(fù)雜的決策問題上取得了顯著進展。MARL系統(tǒng)通過多個智能體的協(xié)作，能夠在諸如DOTA 2、星際爭霸II和旗幟爭奪等復(fù)雜任務(wù)中實現(xiàn)超人表現(xiàn)。然而，這些成就的背后是巨大的計算成本和環(huán)境交互需求，通常需要數(shù)百萬甚至數(shù)十億次的環(huán)境交互，這使得這些算法只能在高成本的計算集群上運行。

在多智能體系統(tǒng)中，信用分配問題是一個關(guān)鍵挑戰(zhàn)。隨著智能體數(shù)量的增加，評估每個智能體對整體成功的貢獻變得愈加困難。這種困難在合作任務(wù)中尤為突出，因為每個智能體不僅要優(yōu)化自身的獎勵，還要考慮其行為對其他智能體獎勵的影響。信用分配問題導(dǎo)致了策略梯度方法中的高方差問題，使得學(xué)習(xí)過程變得緩慢且不穩(wěn)定。

8 月 9 日來自卡內(nèi)基梅隆大學(xué)機器人研究所的研究團隊提出了一種改進的多智能體強化學(xué)習(xí)算法，稱為PRD-MAPPO（部分獎勵解耦的多智能體近端策略優(yōu)化）。該算法通過引入部分獎勵解耦（PRD）機制，利用學(xué)習(xí)的注意力機制動態(tài)將大群體智能體分解為更小的子群體，從而簡化信用分配。實驗結(jié)果表明，PRD-MAPPO在多個多智能體任務(wù)中，比現(xiàn)有的先進方法具有更高的數(shù)據(jù)效率和最終性能。論文的核心貢獻在于：

1. 提出了適用于共享獎勵環(huán)境的PRD-MAPPO版本。
2. 引入了“軟”變體，通過注意力權(quán)重重新加權(quán)優(yōu)勢項，而不是嚴格解耦。
3. 修改了優(yōu)勢估計策略，使學(xué)習(xí)更新的計算時間從二次方減少到線性。

通過這些改進，PRD-MAPPO顯著提高了多智能體系統(tǒng)的學(xué)習(xí)效率和穩(wěn)定性，為解決大規(guī)模合作任務(wù)中的信用分配問題提供了新的思路和方法。

研究團隊是來自卡內(nèi)基梅隆大學(xué)機器人研究所的Benjamin Freed、Howie Choset、Jeff Schneider 和來自Tata Consultancy Services 的Aditya Kapoor，他們主要研究方向包括多智能體系統(tǒng)、強化學(xué)習(xí)和機器人技術(shù)。以其在機器人技術(shù)和多智能體系統(tǒng)方面的開創(chuàng)性工作而聞名。這個團隊結(jié)合了工業(yè)界和學(xué)術(shù)界的力量，致力于解決多智能體強化學(xué)習(xí)中的信用分配問題，并提出了部分獎勵解耦（PRD）的方法，以提高多智能體系統(tǒng)的學(xué)習(xí)效率和穩(wěn)定性。

方法介紹

馬爾可夫博弈的定義

在多智能體強化學(xué)習(xí)中，問題通常被建模為馬爾可夫博弈。一個馬爾可夫博弈由以下幾個部分組成：

狀態(tài)空間（S）：表示所有可能的系統(tǒng)狀態(tài)的集合。

動作空間（A）：表示所有智能體的聯(lián)合動作空間，即每個智能體的動作組合。

狀態(tài)轉(zhuǎn)移概率（P）：定義了在給定當(dāng)前狀態(tài)和聯(lián)合動作的情況下，系統(tǒng)轉(zhuǎn)移到下一個狀態(tài)的概率分布。

獎勵分布（R）：定義了在給定當(dāng)前狀態(tài)和聯(lián)合動作的情況下，智能體獲得的獎勵分布。

初始狀態(tài)分布（ρ0）：表示系統(tǒng)初始狀態(tài)的概率分布。

折扣因子（γ）：用于折扣未來獎勵的影響，取值范圍為(0, 1]。

在每個時間步t，智能體i根據(jù)其狀態(tài)選擇一個動作，目標(biāo)是最大化整個團隊的總回報，即所有智能體在所有時間步的獎勵之和。這種合作行為的目標(biāo)要求智能體不僅要考慮自己的獎勵，還要考慮其行為對其他智能體獎勵的影響。

信用分配與策略梯度方差

在策略梯度算法中，優(yōu)勢函數(shù)用于衡量在特定狀態(tài)下選擇某個動作比隨機選擇動作更好的程度。優(yōu)勢函數(shù)通常定義為：

Aπ(s, a) = Qπ(s, a) - Vπ(s)

其中，Qπ(s, a)是狀態(tài)-動作值函數(shù)，Vπ(s)是狀態(tài)值函數(shù)。優(yōu)勢函數(shù)的高方差會導(dǎo)致策略梯度估計的高方差，使得學(xué)習(xí)過程變得噪聲且不穩(wěn)定。

在多智能體設(shè)置中，單個智能體的策略梯度估計方差不僅取決于每個智能體的優(yōu)勢估計方差，還取決于智能體之間優(yōu)勢的協(xié)方差。通過消除不相關(guān)的優(yōu)勢項，可以減少方差，提高數(shù)據(jù)效率。因此，改進信用分配策略，減少策略梯度估計的方差，是提高多智能體系統(tǒng)學(xué)習(xí)效率的關(guān)鍵。

近端策略優(yōu)化（PPO）

近端策略優(yōu)化（PPO）是一種改進的策略梯度算法，通過允許在單個數(shù)據(jù)批次上進行多次策略更新，提高了數(shù)據(jù)效率。PPO通過優(yōu)化一個“代理”目標(biāo)，懲罰與舊策略的過大偏離，從而避免策略過度偏離。具體來說，PPO在每次策略優(yōu)化步驟中，優(yōu)化以下目標(biāo)函數(shù)：

其中，r(θ)是更新后和舊策略的比率，A是優(yōu)勢估計。

PPO在多智能體問題上表現(xiàn)出色，但隨著團隊規(guī)模的增加，策略梯度更新的方差也增加，需要更大的數(shù)據(jù)批次來達到滿意的信噪比。因此，盡管PPO提高了數(shù)據(jù)效率，但在處理大規(guī)模多智能體系統(tǒng)時，仍面臨高方差和數(shù)據(jù)需求的問題。

部分獎勵解耦（PRD）

部分獎勵解耦（PRD）是一種通過將大規(guī)模多智能體問題動態(tài)分解為較小的子群體，改進信用分配的方法。PRD利用注意力機制估計每個智能體的相關(guān)集，從而簡化信用分配。具體來說，如果智能體i在某個時間步t對智能體j的注意力權(quán)重為零，則可以認為智能體i不在智能體j的相關(guān)集中，從而可以忽略其對策略梯度的影響。

PRD最初應(yīng)用于Actor-Critic（AC）算法，通過減少無關(guān)智能體的貢獻，提高了數(shù)據(jù)效率。然而，PRD在AC算法中的應(yīng)用存在計算復(fù)雜度高和假設(shè)環(huán)境提供每個智能體的獎勵流等局限性。論文提出的PRD-MAPPO通過將PRD整合到MAPPO中，改進了相關(guān)集估計和優(yōu)勢函數(shù)計算，顯著提高了多智能體系統(tǒng)的學(xué)習(xí)效率和穩(wěn)定性。

圖1:Q和價值函數(shù)網(wǎng)絡(luò)架構(gòu)。每個代理使用所有代理的狀態(tài)來計算除自身之外的每個代理的注意力權(quán)重。然后，這些注意力權(quán)重用于聚合除自身之外的所有主體的注意力值。最后，將代理i的聚合注意力值與代理i的嵌入式狀態(tài)動作向量（如果網(wǎng)絡(luò)作為Q函數(shù)運行）或代理i的嵌入狀態(tài)向量（如果該網(wǎng)絡(luò)作為值函數(shù)運行）連接起來。最后，通過輸出網(wǎng)絡(luò)生成Q?i（s，a）或Vψi（s，a?=i）。

通過這些方法的改進，PRD-MAPPO在多個多智能體任務(wù)中表現(xiàn)出色，展示了其在解決大規(guī)模合作任務(wù)中的潛力。

PRD-MAPPO算法

PRD-MAPPO的提出與改進

PRD-MAPPO（部分獎勵解耦的多智能體近端策略優(yōu)化）是通過將部分獎勵解耦（PRD）機制整合到多智能體近端策略優(yōu)化（MAPPO）中提出的。PRD的核心思想是利用注意力機制來估計每個智能體的相關(guān)集，從而動態(tài)地將大規(guī)模多智能體問題分解為較小的子群體。這種分解使得每個智能體只需關(guān)注與其相關(guān)的其他智能體，簡化了信用分配問題。

在PRD-MAPPO中，每個智能體通過學(xué)習(xí)的Q函數(shù)來估計其相關(guān)集。具體來說，如果智能體i在某個時間步t對智能體j的注意力權(quán)重為零，則可以認為智能體i不在智能體j的相關(guān)集中，從而可以忽略其對策略梯度的影響。為了提高計算效率，PRD-MAPPO引入了兩個獨立的評論家：一個用于相關(guān)集估計的Q函數(shù)，另一個用于優(yōu)勢函數(shù)估計的價值函數(shù)。通過這種方式，PRD-MAPPO將計算復(fù)雜度從二次方減少到線性，提高了數(shù)據(jù)效率。

PRD-MAPPO參數(shù)更新規(guī)則

PRD-MAPPO通過修改MAPPO的目標(biāo)函數(shù)，消除了不相關(guān)智能體的獎勵項，從而減少了學(xué)習(xí)更新中的噪聲。具體來說，PRD-MAPPO的目標(biāo)函數(shù)為：

其中，Ai是智能體i的優(yōu)勢估計，忽略了不相關(guān)智能體的獎勵項。

為了進一步提高PRD-MAPPO的性能，論文提出了軟變體PRD-MAPPO-soft。該變體通過注意力權(quán)重重新加權(quán)智能體的獎勵，而不是嚴格解耦。具體來說，軟變體的優(yōu)勢估計為：

其中，

通過這種方式，PRD-MAPPO-soft在實踐中表現(xiàn)出更高的性能。

共享獎勵環(huán)境中的PRD

在某些多智能體系統(tǒng)中，環(huán)境只提供單一的共享獎勵，而不是每個智能體的獨立獎勵流。為了在這種環(huán)境中應(yīng)用PRD，論文提出了一種將共享回報分解為個體回報的方法。具體來說，首先訓(xùn)練一個共享Q函數(shù)來預(yù)測共享回報，然后使用注意力權(quán)重將共享回報分配給各個智能體。

在共享獎勵環(huán)境中，PRD-MAPPO-shared通過將共享回報分解為個體回報，并應(yīng)用PRD-MAPPO進行學(xué)習(xí)更新。具體來說，PRD-MAPPO-shared的優(yōu)勢估計為：

通過這種方式，PRD-MAPPO-shared能夠在共享獎勵環(huán)境中有效地進行信用分配，提高學(xué)習(xí)效率和穩(wěn)定性。

通過這些改進，PRD-MAPPO在多個多智能體任務(wù)中表現(xiàn)出色，展示了其在解決大規(guī)模合作任務(wù)中的潛力。

實驗與結(jié)果

實驗設(shè)計

為了驗證PRD-MAPPO的有效性，研究團隊設(shè)計了一系列實驗，比較了多種算法在不同多智能體強化學(xué)習(xí)（MARL）環(huán)境中的表現(xiàn)。

PRD-MAPPO：論文提出的結(jié)合部分獎勵解耦（PRD）的多智能體近端策略優(yōu)化（MAPPO）。

PRD-MAPPO-soft：PRD-MAPPO的軟變體，通過注意力權(quán)重重新加權(quán)智能體的獎勵。

PRD-MAPPO-shared：適用于共享獎勵環(huán)境的PRD-MAPPO軟變體。

MAPPO：多智能體近端策略優(yōu)化算法，由Yu等人（2021）提出。

HAPPO：一種擴展信任區(qū)域?qū)W習(xí)到合作多智能體強化學(xué)習(xí)的算法，由Kuba等人（2021）提出。

G2ANet-MAPPO：結(jié)合G2ANet風(fēng)格評論家的MAPPO，嘗試將G2ANet的信用分配優(yōu)勢引入MAPPO。

COMA：反事實多智能體策略梯度算法，由Foerster等人（2018）提出，通過反事實基線改進信用分配。

PRD-V-MAPPO：使用基于價值函數(shù)的相關(guān)集估計方法的PRD-MAPPO，由Freed等人（2022）提出。

LICA：隱式信用分配方法，由Zhou等人（2020）提出，通過超網(wǎng)絡(luò)表示集中評論家。

QMix：聯(lián)合狀態(tài)-動作值函數(shù)學(xué)習(xí)算法，由Rashid等人（2018）提出。

實驗環(huán)境包括以下幾種典型的多智能體任務(wù)：

• 碰撞避免：智能體需要在避免碰撞的情況下到達指定目標(biāo)位置。
• 追捕：智能體需要合作追捕目標(biāo)。
• 壓力板：智能體需要合作按下壓力板以完成任務(wù)。
• 基于等級的覓食：智能體需要根據(jù)等級合作覓食。
• 星際爭霸多智能體挑戰(zhàn)（SMAClite）：包括5m_vs_6m、10m_vs_11m和3s5z戰(zhàn)斗場景。

實驗結(jié)果與分析

實驗結(jié)果顯示，PRD-MAPPO、PRD-MAPPO-soft和PRD-MAPPO-shared在所有環(huán)境中表現(xiàn)出色，尤其是PRD-MAPPO-soft在大多數(shù)任務(wù)中表現(xiàn)最佳。具體來說，PRD-MAPPO-soft僅在壓力板環(huán)境中被QMix超越，其余任務(wù)中均優(yōu)于其他算法。PRD-MAPPO和PRD-MAPPO-shared也表現(xiàn)出色，整體上優(yōu)于MAPPO和其他先進的多智能體強化學(xué)習(xí)算法。

圖2:PRD MAPPO soft、PRD-MAPPO、PRDV-MAPPO、COMA、LICA、QMix、MAPPO、MAPPO-G2ANet在A）團隊避碰、B）追擊、C）壓力板、D）基于級別的覓食、E）星際爭霸5m_vs_6m、F）星際爭霸10m_vs_11m任務(wù)和G）星際爭霸3s5v上的平均獎勵與劇集。實線表示5個隨機種子的平均值，陰影區(qū)域表示95%的置信區(qū)間。采用PRD的方法（PRD-MAPPO和PRD-MAPPO-soft）往往優(yōu)于所有其他方法，表明可以通過改善信貸分配來利用PRD來改善PPO。

為了深入了解相關(guān)集選擇過程，研究團隊在碰撞避免任務(wù)中可視化了訓(xùn)練后的智能體的注意力權(quán)重。結(jié)果顯示，智能體主要對同隊智能體分配較高的注意力權(quán)重，而對其他隊的智能體分配的注意力權(quán)重接近于零。這驗證了PRD機制在相關(guān)集選擇上的有效性。

為了驗證部分獎勵解耦減少策略梯度估計方差的效果，研究團隊在訓(xùn)練過程中估計了MAPPO和PRD-MAPPO的梯度方差。結(jié)果表明，PRD-MAPPO在訓(xùn)練過程中顯著減少了梯度方差，避免了MAPPO中出現(xiàn)的劇烈波動。這一結(jié)果進一步證明了PRD-MAPPO在提高數(shù)據(jù)效率和學(xué)習(xí)穩(wěn)定性方面的優(yōu)勢。

通過這些實驗結(jié)果，PRD-MAPPO展示了其在解決大規(guī)模合作任務(wù)中的潛力，顯著提高了多智能體系統(tǒng)的學(xué)習(xí)效率和穩(wěn)定性。

相關(guān)工作

現(xiàn)有信用分配方法的綜述

在多智能體強化學(xué)習(xí)（MARL）中，信用分配問題是一個關(guān)鍵挑戰(zhàn)。為了應(yīng)對這一問題，研究人員提出了多種方法。

G2ANet：由Liu等人（2020）提出，G2ANet是一種基于注意力的游戲抽象機制，使評論家能夠更好地隔離重要的智能體交互，忽略不重要的交互。雖然G2ANet沒有像PRD那樣進行顯式解耦，但它通過注意力機制改進了信用分配。

COMA：反事實多智能體策略梯度（Counterfactual Multi-Agent Policy Gradient）算法由Foerster等人（2018）提出。COMA使用反事實基線，通過將單個智能體的動作邊際化，同時保持其他智能體的動作不變，來更精確地確定每個智能體的貢獻。COMA基于差異獎勵的思想，使每個智能體使用修改后的獎勵來比較共享獎勵與反事實情境下的默認動作。

VDAC：價值分解Actor-Critic（Value-Decomposition Actor-Critics）方法由Su等人（2021）提出。VDAC使用價值分解網(wǎng)絡(luò)作為評論家，在Actor-Critic框架中進行信用分配。該方法通過將聯(lián)合價值函數(shù)分解為每個智能體的價值函數(shù)，提高了信用分配的效率。

LICA：由Zhou等人（2020）提出，LICA是一種隱式信用分配方法。LICA通過將集中評論家表示為超網(wǎng)絡(luò)，并在聯(lián)合動作值梯度的方向上優(yōu)化策略，從而隱式地解決了信用分配問題。LICA通過引入額外的潛在狀態(tài)表示，提供了足夠的信息來學(xué)習(xí)最優(yōu)的合作行為。

QMix：由Rashid等人（2018）提出，QMix學(xué)習(xí)一個聯(lián)合狀態(tài)-動作值函數(shù)，該函數(shù)表示為每個智能體價值函數(shù)的復(fù)雜非線性組合。聯(lián)合價值函數(shù)在結(jié)構(gòu)上保證了單個智能體價值的單調(diào)性，使智能體能夠通過貪婪地選擇最佳動作來最大化聯(lián)合價值函數(shù)。

圖3：防撞環(huán)境中的相關(guān)集合可視化。我們將每個代理分配給其他代理的平均注意力權(quán)重可視化，平均值為5000個獨立事件。因為代理總是給自己分配1的注意力權(quán)重，所以我們從圖中刪除了這些元素，因為它們沒有信息。我們注意到，與其他團隊的代理人相比，代理人通常會給團隊中的代理人分配更高的注意力權(quán)重，這是意料之中的，因為只有代理人的隊友才能影響其獎勵。

PRD-MAPPO與現(xiàn)有方法的比較

PRD-MAPPO通過將部分獎勵解耦（PRD）機制整合到多智能體近端策略優(yōu)化（MAPPO）中，提出了一種新的信用分配策略。與現(xiàn)有方法相比，PRD-MAPPO具有以下優(yōu)勢：

• 顯式解耦：與G2ANet不同，PRD-MAPPO通過顯式解耦無關(guān)智能體的貢獻，減少了策略梯度估計的方差，提高了數(shù)據(jù)效率和學(xué)習(xí)穩(wěn)定性。
• 改進的反事實基線：雖然COMA使用反事實基線來改進信用分配，但PRD-MAPPO通過注意力機制動態(tài)估計相關(guān)集，進一步簡化了信用分配問題。
• 計算效率：PRD-MAPPO通過引入兩個獨立的評論家（Q函數(shù)和價值函數(shù)），將計算復(fù)雜度從二次方減少到線性，提高了計算效率。
• 適用于共享獎勵環(huán)境：PRD-MAPPO-shared通過將共享回報分解為個體回報，擴展了PRD的適用范圍，使其能夠在共享獎勵環(huán)境中有效應(yīng)用。
• 軟變體的提出：PRD-MAPPO-soft通過注意力權(quán)重重新加權(quán)智能體的獎勵，而不是嚴格解耦，在實踐中表現(xiàn)出更高的性能。

圖4：團隊避碰、壓力板和LBF環(huán)境的梯度估計器方差與事件。實線表示5個隨機種子的平均值，陰影區(qū)域表示95%的置信區(qū)間。PRD-MAPPO傾向于避免MAPPO所表現(xiàn)出的梯度方差的急劇峰值。

PRD-MAPPO在多個多智能體任務(wù)中表現(xiàn)出色，展示了其在解決大規(guī)模合作任務(wù)中的潛力。通過顯式解耦和改進的信用分配策略，PRD-MAPPO顯著提高了多智能體系統(tǒng)的學(xué)習(xí)效率和穩(wěn)定性，優(yōu)于現(xiàn)有的多智能體強化學(xué)習(xí)算法。

局限性與未來工作

PRD-MAPPO的局限性

盡管PRD-MAPPO在多個多智能體任務(wù)中表現(xiàn)出色，但它仍然存在一些局限性：

PRD-MAPPO并不能在所有環(huán)境中加速學(xué)習(xí)。在某些任務(wù)中，智能體之間的交互過于復(fù)雜或密集，使得PRD的解耦效果有限。例如，在交通路口實驗中，由于智能體之間的交互過于密集，PRD的效果可能僅有部分提升。這表明，PRD-MAPPO在處理高度復(fù)雜和密集交互的任務(wù)時，可能無法顯著提高學(xué)習(xí)效率。

在某些任務(wù)中，每個智能體的相關(guān)集可能包含大多數(shù)或所有其他智能體，這使得PRD的解耦策略難以發(fā)揮作用。當(dāng)智能體之間的交互非常密集時，PRD-MAPPO的優(yōu)勢會被削弱，因為幾乎所有智能體的行為都對其他智能體的獎勵產(chǎn)生影響。在這種情況下，PRD-MAPPO的計算復(fù)雜度和數(shù)據(jù)需求可能會顯著增加，影響其性能。

未來研究方向

為了進一步提高PRD-MAPPO的適用性和性能，未來的研究可以從以下幾個方向展開。

未來的研究可以探索如何改進PRD-MAPPO，使其在更多類型的任務(wù)中表現(xiàn)出色。例如，可以研究更先進的注意力機制或相關(guān)集估計方法，以更好地處理密集交互的任務(wù)。此外，可以探索如何動態(tài)調(diào)整PRD的解耦策略，使其能夠適應(yīng)不同任務(wù)的需求，從而提高其通用性和適應(yīng)性。

除了PRD，未來的研究還可以探索其他新的信用分配策略，以進一步提高多智能體系統(tǒng)的學(xué)習(xí)效率和穩(wěn)定性。例如，可以研究基于圖神經(jīng)網(wǎng)絡(luò)的信用分配方法，通過捕捉智能體之間的復(fù)雜關(guān)系來改進信用分配。此外，可以探索結(jié)合多種信用分配策略的混合方法，以充分利用不同策略的優(yōu)勢，解決不同類型的任務(wù)。

未來的研究還可以將PRD-MAPPO應(yīng)用于更多實際場景，如自動駕駛、機器人協(xié)作和智能電網(wǎng)等。這些實際應(yīng)用場景通常具有高度復(fù)雜和動態(tài)的環(huán)境，對多智能體系統(tǒng)的學(xué)習(xí)效率和穩(wěn)定性提出了更高的要求。通過在實際場景中驗證和改進PRD-MAPPO，可以進一步提升其實用性和影響力。

通過這些研究方向的探索，PRD-MAPPO有望在更多類型的任務(wù)和實際應(yīng)用中發(fā)揮重要作用，進一步推動多智能體強化學(xué)習(xí)的發(fā)展。（END）

參考資料：https://arxiv.org/pdf/2408.04295

本文轉(zhuǎn)載自 ??大噬元獸??，作者： FlerkenS