多智能體系統(tǒng)（Multi-Agent Systems, MAS）近年來(lái)在各類任務(wù)中展現(xiàn)出卓越的能力，尤其是在代碼生成、數(shù)學(xué)問(wèn)題解決、翻譯和文本評(píng)估等領(lǐng)域。通過(guò)多個(gè)專家智能體的協(xié)作，這些系統(tǒng)能夠?qū)?fù)雜任務(wù)分解為更小的子任務(wù)，由各個(gè)智能體分別處理，從而提高整體效率和準(zhǔn)確性。然而隨著多智能體系統(tǒng)的廣泛應(yīng)用，其安全性問(wèn)題也日益凸顯。特別是當(dāng)系統(tǒng)中存在惡意智能體時(shí)，這些智能體可能會(huì)生成錯(cuò)誤或不相關(guān)的結(jié)果，進(jìn)而破壞整個(gè)系統(tǒng)的協(xié)作效果。

因此,我們需要研究多智能體系統(tǒng)在存在惡意智能體時(shí)的彈性，即系統(tǒng)在面對(duì)惡意智能體時(shí)維持功能和性能的能力,需要回答以下兩個(gè)關(guān)鍵問(wèn)題：

1. 不同結(jié)構(gòu)的多智能體系統(tǒng)在惡意智能體存在下的彈性如何？
2. 如何提高系統(tǒng)彈性以防御惡意智能體？

為了解答這些問(wèn)題，來(lái)自中國(guó)香港中文大學(xué)、清華大學(xué)、北京大學(xué)和卡內(nèi)基梅隆大學(xué)的聯(lián)合研究團(tuán)隊(duì)設(shè)計(jì)了AUTOTRANSFORM 和 AUTOINJECT兩種方法，用于將任何智能體轉(zhuǎn)變?yōu)閻阂庵悄荏w或直接在消息中引入特定錯(cuò)誤。通過(guò)這兩種方法，研究團(tuán)隊(duì)在代碼生成、數(shù)學(xué)問(wèn)題、翻譯和文本評(píng)估四個(gè)任務(wù)上進(jìn)行了綜合實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，“層次結(jié)構(gòu)”多智能體系統(tǒng)（如 A→(B?C)）表現(xiàn)出最強(qiáng)的彈性，性能下降最?。?3.6%），相比之下，其他兩種結(jié)構(gòu)的性能下降分別為46.4%和49.8%。

此外研究還發(fā)現(xiàn)，通過(guò)引入額外的智能體來(lái)審查和糾正消息，或?yàn)槊總€(gè)智能體增加挑戰(zhàn)其他智能體輸出的機(jī)制，可以顯著提高系統(tǒng)的彈性。這些防御方法在實(shí)驗(yàn)中表現(xiàn)出色，進(jìn)一步驗(yàn)證了其有效性。

研究團(tuán)隊(duì)為設(shè)計(jì)更具彈性的多智能體系統(tǒng)提供了重要的見(jiàn)解和方法，特別是在面對(duì)惡意智能體時(shí)。研究結(jié)果不僅揭示了不同系統(tǒng)結(jié)構(gòu)在惡意智能體存在下的表現(xiàn)差異，還提出了有效的防御策略，為未來(lái)多智能體系統(tǒng)的安全性研究提供了寶貴的參考。

本研究由來(lái)自不同領(lǐng)域的專家合作完成，團(tuán)隊(duì)成員包括中國(guó)香港中文大學(xué)的Jen-tse Huang, Jiaxu Zhou, Wenxuan Wang, Michael R. Lyu、清華大學(xué)的Tailin Jin、北京大學(xué)的Zixi Chen、卡內(nèi)基梅隆大學(xué)的Xuhui Zhou, Maarten Sap 和中國(guó)香港中文大學(xué)（深圳）的Youliang Yuan，這些研究人員專注于多智能體系統(tǒng)的研究，特別是其在面對(duì)惡意智能體時(shí)的彈性,在代碼生成和數(shù)學(xué)問(wèn)題解決等任務(wù)中的應(yīng)用,在文本評(píng)估和翻譯任務(wù)中的應(yīng)用,在多智能體系統(tǒng)的協(xié)作和安全問(wèn)題等，這個(gè)多學(xué)科、多機(jī)構(gòu)的團(tuán)隊(duì)結(jié)合了來(lái)自不同領(lǐng)域的專家，共同研究多智能體系統(tǒng)在面對(duì)惡意智能體時(shí)的彈性，為設(shè)計(jì)更具彈性的多智能體系統(tǒng)提供重要的見(jiàn)解和方法。

預(yù)備知識(shí)

多智能體系統(tǒng)（MAS）在管理科學(xué)中可以根據(jù)其結(jié)構(gòu)和通信方式分為三種主要類型：線性結(jié)構(gòu)、扁平結(jié)構(gòu)和層次結(jié)構(gòu)。每種結(jié)構(gòu)都有其獨(dú)特的定義和特點(diǎn)，適用于不同的應(yīng)用場(chǎng)景和任務(wù)需求。

線性結(jié)構(gòu)的多智能體系統(tǒng)中，智能體之間的通信是單向的，類似于流水線作業(yè)。每個(gè)智能體只與其前一個(gè)和后一個(gè)智能體進(jìn)行通信，形成一個(gè)鏈?zhǔn)降墓ぷ髁鞒?。例如，A→B→C 表示智能體 A 將任務(wù)傳遞給智能體 B，B 完成其部分后再傳遞給智能體 C。線性結(jié)構(gòu)的優(yōu)點(diǎn)在于其簡(jiǎn)單性和明確的任務(wù)分配，但缺點(diǎn)是缺乏靈活性和冗余，一旦某個(gè)環(huán)節(jié)出現(xiàn)問(wèn)題，整個(gè)系統(tǒng)的性能可能會(huì)受到嚴(yán)重影響。

扁平結(jié)構(gòu)的多智能體系統(tǒng)中，所有智能體之間進(jìn)行雙向通信，形成一個(gè)平等的協(xié)作網(wǎng)絡(luò)。例如，A?B?C 表示智能體 A、B 和 C 之間可以相互通信和協(xié)作。扁平結(jié)構(gòu)的優(yōu)點(diǎn)在于其高效的通信和靈活的任務(wù)分配，能夠快速響應(yīng)變化和調(diào)整策略。然而，扁平結(jié)構(gòu)也存在通信開(kāi)銷較大和協(xié)調(diào)復(fù)雜度高的問(wèn)題，特別是在智能體數(shù)量較多時(shí)。

層次結(jié)構(gòu)的多智能體系統(tǒng)結(jié)合了線性結(jié)構(gòu)和扁平結(jié)構(gòu)的特點(diǎn)，既有單向通信也有雙向通信。例如，A→(B?C) 表示智能體 A 將任務(wù)分配給 B 和 C，B 和 C 之間可以相互通信和協(xié)作。層次結(jié)構(gòu)的優(yōu)點(diǎn)在于其靈活性和冗余性，能夠在不同層級(jí)之間進(jìn)行有效的任務(wù)分配和協(xié)調(diào)，提高系統(tǒng)的魯棒性和適應(yīng)性。層次結(jié)構(gòu)在實(shí)際應(yīng)用中較為常見(jiàn)，特別是在需要復(fù)雜協(xié)作和多層次決策的場(chǎng)景中。

圖1：不同系統(tǒng)在各種任務(wù)上對(duì)惡意智能體的彈性如何？

系統(tǒng)彈性（Resilience）是指系統(tǒng)在面對(duì)內(nèi)部錯(cuò)誤或外部攻擊時(shí)，維持其功能和性能的能力。在多智能體系統(tǒng)中，彈性尤為重要，因?yàn)橄到y(tǒng)的協(xié)作和任務(wù)完成依賴于多個(gè)智能體的共同努力。一旦某個(gè)智能體出現(xiàn)故障或被惡意攻擊，系統(tǒng)的整體性能可能會(huì)受到影響。因此研究和提高多智能體系統(tǒng)的彈性具有重要意義。

多智能體系統(tǒng)的彈性體現(xiàn)在以下幾個(gè)方面：

• 錯(cuò)誤恢復(fù)能力：系統(tǒng)能夠識(shí)別并糾正智能體生成的錯(cuò)誤，確保任務(wù)的正確完成。
• 協(xié)作穩(wěn)定性：系統(tǒng)能夠在智能體之間維持穩(wěn)定的協(xié)作關(guān)系，防止惡意智能體破壞協(xié)作機(jī)制。
• 任務(wù)連續(xù)性：系統(tǒng)能夠在面對(duì)智能體故障或攻擊時(shí)，繼續(xù)執(zhí)行任務(wù)，減少中斷和性能下降。

提高多智能體系統(tǒng)的彈性可以通過(guò)多種方法實(shí)現(xiàn)。

在系統(tǒng)中引入冗余智能體或冗余通信路徑，確保在某個(gè)智能體失效時(shí)，其他智能體能夠接替其任務(wù)。設(shè)計(jì)智能體具備錯(cuò)誤檢測(cè)和糾錯(cuò)能力，能夠識(shí)別并修正自身或其他智能體的錯(cuò)誤。設(shè)計(jì)靈活的協(xié)作機(jī)制，允許智能體在任務(wù)執(zhí)行過(guò)程中進(jìn)行動(dòng)態(tài)調(diào)整和重新分配，提高系統(tǒng)的適應(yīng)性和魯棒性。

系統(tǒng)彈性是多智能體系統(tǒng)設(shè)計(jì)中的關(guān)鍵因素，直接影響系統(tǒng)的可靠性和穩(wěn)定性。通過(guò)研究和提高多智能體系統(tǒng)的彈性，可以有效應(yīng)對(duì)惡意智能體的威脅，確保系統(tǒng)在復(fù)雜和動(dòng)態(tài)環(huán)境中的正常運(yùn)行。

方法論

在研究多智能體系統(tǒng)的彈性時(shí)，關(guān)鍵在于如何有效地引入錯(cuò)誤以模擬惡意智能體的行為。論文提出了兩種主要的方法：AUTOTRANSFORM 和 AUTOINJECT。

AUTOTRANSFORM：將智能體轉(zhuǎn)變?yōu)閻阂庵悄荏w

AUTOTRANSFORM 是一種基于大規(guī)模語(yǔ)言模型（LLM）的方法，旨在將任何智能體的配置文件轉(zhuǎn)變?yōu)閻阂庵悄荏w，同時(shí)保留其原有功能。其設(shè)計(jì)過(guò)程包括以下三個(gè)關(guān)鍵步驟：

1. 任務(wù)分析：首先，AUTOTRANSFORM 分析輸入智能體的配置文件，提取其分配的任務(wù)。這一步有助于識(shí)別生成錯(cuò)誤輸出的潛在方法。
2. 錯(cuò)誤注入方法列舉：基于任務(wù)分析，AUTOTRANSFORM 列出所有可能的錯(cuò)誤注入方法，強(qiáng)調(diào)隱蔽性以避免被其他智能體檢測(cè)到。
3. 配置文件重寫：最后，AUTOTRANSFORM 使用這些錯(cuò)誤注入方法重寫智能體的配置文件，確保智能體的原有功能保持不變。

通過(guò)這種方法，研究團(tuán)隊(duì)能夠?qū)⑷魏沃悄荏w轉(zhuǎn)變?yōu)閻阂庵悄荏w，生成隱蔽的錯(cuò)誤，從而模擬惡意智能體的行為。

圖2：錯(cuò)誤引入過(guò)程概述。（a） 任務(wù)信息。（b） 無(wú)惡意代理的多智能體協(xié)作系統(tǒng)。（c） AUTOTRANSFORM修改智能體的配置文件，將其轉(zhuǎn)化為惡意。（d） AUTOINJECT攔截智能體之間的消息并在消息中添加錯(cuò)誤。

AUTOINJECT：直接在消息中引入特定錯(cuò)誤

盡管 AUTOTRANSFORM 能夠方便地生成惡意智能體，但難以確保這些智能體引入特定數(shù)量和類型的錯(cuò)誤。為了解決這一問(wèn)題，研究團(tuán)隊(duì)提出了 AUTOINJECT 方法，直接在智能體之間傳遞的消息中引入特定錯(cuò)誤。AUTOINJECT 的設(shè)計(jì)過(guò)程包括以下步驟：

1. 任務(wù)分配和錯(cuò)誤注入：首先分配任務(wù)、智能體、錯(cuò)誤率（Pm 和 Pe）和錯(cuò)誤類型。AUTOINJECT 然后選擇智能體的輸出消息，并以概率 Pm 選擇消息中的某些部分，在這些部分中以概率 Pe 注入錯(cuò)誤。
2. 錯(cuò)誤生成：使用 LLM 自動(dòng)生成錯(cuò)誤行或句子，替換原始消息中的對(duì)應(yīng)部分。

通過(guò)這種方法，研究團(tuán)隊(duì)能夠精確控制錯(cuò)誤消息的比例、單條消息中的錯(cuò)誤數(shù)量以及錯(cuò)誤類型，從而更好地分析這些因素對(duì)系統(tǒng)彈性的影響。

錯(cuò)誤率的定義及其對(duì)系統(tǒng)彈性的影響

錯(cuò)誤率是指惡意智能體生成的錯(cuò)誤消息的比例和單條消息中的錯(cuò)誤數(shù)量。在論文中，錯(cuò)誤率分為兩個(gè)方面。

錯(cuò)誤消息比例（Pm）：指惡意智能體生成的錯(cuò)誤消息在其所有消息中的比例。較高的錯(cuò)誤消息比例意味著更多的消息包含錯(cuò)誤，從而增加系統(tǒng)識(shí)別和糾正錯(cuò)誤的難度。

單條消息中的錯(cuò)誤數(shù)量（Pe）：指單條消息中包含的錯(cuò)誤行或句子的比例。較高的錯(cuò)誤數(shù)量意味著每條錯(cuò)誤消息中包含更多的錯(cuò)誤，從而增加系統(tǒng)糾正錯(cuò)誤的復(fù)雜性。

研究表明，錯(cuò)誤消息比例對(duì)系統(tǒng)彈性的影響較大，特別是在錯(cuò)誤消息比例較高時(shí)，系統(tǒng)性能下降顯著。而單條消息中的錯(cuò)誤數(shù)量對(duì)系統(tǒng)彈性的影響相對(duì)較小，但仍需考慮其對(duì)系統(tǒng)糾錯(cuò)能力的挑戰(zhàn)。

圖3：六個(gè)多智能體系統(tǒng)在四個(gè)選定的下游任務(wù)上的性能下降。

錯(cuò)誤類型（語(yǔ)法錯(cuò)誤和語(yǔ)義錯(cuò)誤）的定義及其對(duì)系統(tǒng)彈性的影響

錯(cuò)誤類型主要分為兩類：語(yǔ)法錯(cuò)誤和語(yǔ)義錯(cuò)誤。

語(yǔ)法錯(cuò)誤：指違反邏輯或事實(shí)正確性的錯(cuò)誤，例如代碼中的語(yǔ)法錯(cuò)誤或數(shù)學(xué)公式中的計(jì)算錯(cuò)誤。語(yǔ)法錯(cuò)誤通常較容易被識(shí)別和糾正，因?yàn)樗鼈兠黠@偏離了訓(xùn)練數(shù)據(jù)的分布。

語(yǔ)義錯(cuò)誤：指在邏輯上正確但在語(yǔ)義上不相關(guān)或不準(zhǔn)確的錯(cuò)誤，例如代碼中邏輯正確但不符合預(yù)期功能的錯(cuò)誤。語(yǔ)義錯(cuò)誤較難被識(shí)別和糾正，因?yàn)樗鼈冊(cè)诜植忌吓c正確代碼相似，需要更深層次的任務(wù)理解。

研究發(fā)現(xiàn)，語(yǔ)義錯(cuò)誤對(duì)系統(tǒng)彈性的影響大于語(yǔ)法錯(cuò)誤。這是因?yàn)檎Z(yǔ)義錯(cuò)誤更難被識(shí)別和糾正，特別是在需要深層次理解任務(wù)的情況下。例如在代碼生成任務(wù)中，語(yǔ)法錯(cuò)誤較容易被檢測(cè)和修正，而語(yǔ)義錯(cuò)誤則可能導(dǎo)致更嚴(yán)重的功能性問(wèn)題。

通過(guò)引入這兩種錯(cuò)誤類型，研究團(tuán)隊(duì)能夠全面評(píng)估多智能體系統(tǒng)在面對(duì)不同類型錯(cuò)誤時(shí)的彈性，為設(shè)計(jì)更具彈性的系統(tǒng)提供重要的參考。

實(shí)驗(yàn)

1. 實(shí)驗(yàn)設(shè)置

下游任務(wù)的選擇及其評(píng)估標(biāo)準(zhǔn)

為了全面評(píng)估多智能體系統(tǒng)在不同任務(wù)中的表現(xiàn)，研究團(tuán)隊(duì)選擇了四個(gè)常見(jiàn)的下游任務(wù)。

• 代碼生成：使用 HumanEval 數(shù)據(jù)集（Chen et al., 2021），該數(shù)據(jù)集包含 164 個(gè)手寫編程問(wèn)題，用于評(píng)估 LLMs 生成正確和功能性 Python 代碼的能力。評(píng)估標(biāo)準(zhǔn)為準(zhǔn)確率（Pass@1）。
• 數(shù)學(xué)問(wèn)題解決：使用 CIAR 數(shù)據(jù)集（Liang et al., 2023b），該數(shù)據(jù)集包含 50 個(gè)帶有隱藏陷阱的問(wèn)題，用于評(píng)估 LLMs 的反直覺(jué)算術(shù)推理能力，要求多步推理。評(píng)估標(biāo)準(zhǔn)為準(zhǔn)確率。
• 翻譯：使用 CommonMT 數(shù)據(jù)集（He et al., 2020），該數(shù)據(jù)集包含成對(duì)的句子，用于測(cè)試模型在模糊上下文中的常識(shí)推理能力。我們隨機(jī)抽取了 100 個(gè)最具挑戰(zhàn)性的詞匯類型句子進(jìn)行評(píng)估，使用 BLEURT-20（Sellam et al., 2020; Pu et al., 2021）作為評(píng)估標(biāo)準(zhǔn)。
• 文本評(píng)估：使用 FairEval 數(shù)據(jù)集（Wang et al., 2023a），該數(shù)據(jù)集包含 80 個(gè)由人類注釋的“贏/平/輸”結(jié)果，用于比較 ChatGPT 和 Vicuna-13B 的響應(yīng)，旨在確定模型的偏好是否與人類判斷一致。評(píng)估標(biāo)準(zhǔn)為準(zhǔn)確率。

多智能體系統(tǒng)架構(gòu)的選擇及其特點(diǎn)

研究團(tuán)隊(duì)選擇了三種主要的多智能體系統(tǒng)架構(gòu)：線性、扁平和層次結(jié)構(gòu)。每種架構(gòu)都有其獨(dú)特的特點(diǎn)和應(yīng)用場(chǎng)景。

線性結(jié)構(gòu)

MetaGPT（Hong et al., 2023）：使用標(biāo)準(zhǔn)操作程序（SOPs）在軟件公司環(huán)境中創(chuàng)建高效的工作流程，利用五個(gè)智能體進(jìn)行代碼生成。

Self-collaboration（Dong et al., 2023）：設(shè)計(jì)了三個(gè)角色，即分析師、編碼員和測(cè)試員，使用 2-5 個(gè)智能體在代碼生成任務(wù)中實(shí)現(xiàn)自我協(xié)作。

扁平結(jié)構(gòu)

Camel（Li et al., 2024a）：提出了一個(gè)框架，其中“用戶”智能體迭代地優(yōu)化“助手”智能體的輸出，適用于各種任務(wù)。

SPP（Wang et al., 2023b）：使用單人表現(xiàn)提示（Solo-Performance-Prompting）將單個(gè)模型分為三個(gè)角色進(jìn)行編碼任務(wù)。

層次結(jié)構(gòu)

MAD（Liang et al., 2023b）：引入了一個(gè)多智能體辯論框架，包含兩個(gè)辯論者和一個(gè)裁判，以促進(jìn) LLMs 的發(fā)散思維，適用于各種任務(wù)。

AgentVerse（Chen et al., 2023b）：采用動(dòng)態(tài)招聘過(guò)程，根據(jù)需要選擇智能體進(jìn)行多輪協(xié)作，使用四個(gè)智能體完成所選任務(wù)。

2. 研究問(wèn)題1（RQ1）：系統(tǒng)架構(gòu)的影響

不同架構(gòu)在面對(duì)惡意智能體時(shí)的表現(xiàn)

研究結(jié)果表明，層次結(jié)構(gòu)的多智能體系統(tǒng)在面對(duì)惡意智能體時(shí)表現(xiàn)出最高的彈性。

層次結(jié)構(gòu)：表現(xiàn)出最小的準(zhǔn)確率下降，AUTOTRANSFORM 和 AUTOINJECT 分別為 23.6% 和 22.6%。這種結(jié)構(gòu)的優(yōu)勢(shì)在于存在一個(gè)高層智能體（如 MAD 中的評(píng)估者），該智能體總是能夠接收到多個(gè)智能體執(zhí)行相同子任務(wù)的不同版本的答案，從而增加了從單個(gè)智能體錯(cuò)誤中恢復(fù)的可能性。

扁平結(jié)構(gòu)：在 AUTOTRANSFORM 下表現(xiàn)相似，但在 AUTOINJECT 下韌性顯著降低。這是由于缺乏高層領(lǐng)導(dǎo)者來(lái)監(jiān)督和選擇最佳結(jié)果的智能體。

線性結(jié)構(gòu)：表現(xiàn)出最低的韌性，缺乏領(lǐng)導(dǎo)和智能體間的溝通，導(dǎo)致一條流水線式的工作流程。

圖4：在每項(xiàng)任務(wù)中，MAD相對(duì)于AUTOINJECT的精度都有所提高。

層次結(jié)構(gòu)的優(yōu)勢(shì)及其原因分析

層次結(jié)構(gòu)的優(yōu)勢(shì)主要體現(xiàn)在層次結(jié)構(gòu)中存在多個(gè)智能體執(zhí)行相同的子任務(wù)，從而增加了系統(tǒng)的冗余性和錯(cuò)誤恢復(fù)能力。高層智能體能夠監(jiān)督和評(píng)估多個(gè)智能體的輸出，選擇最佳結(jié)果，從而提高系統(tǒng)的整體性能。層次結(jié)構(gòu)允許智能體在不同層級(jí)之間進(jìn)行動(dòng)態(tài)調(diào)整和重新分配，提高系統(tǒng)的適應(yīng)性和魯棒性。

3. 研究問(wèn)題2（RQ2）：下游任務(wù)的影響

不同任務(wù)在面對(duì)錯(cuò)誤時(shí)的韌性差異

研究發(fā)現(xiàn)，不同下游任務(wù)在面對(duì)錯(cuò)誤時(shí)的韌性存在顯著差異。具體表現(xiàn)為代碼生成和數(shù)學(xué)問(wèn)題：這些任務(wù)需要較高的嚴(yán)格性和形式化，對(duì)智能體錯(cuò)誤更為敏感，韌性較低。翻譯和文本評(píng)估：這些任務(wù)的主觀性較強(qiáng)，對(duì)錯(cuò)誤的敏感性較低，韌性較高。

任務(wù)的客觀性和主觀性對(duì)系統(tǒng)彈性有重要影響

客觀任務(wù)：如代碼生成和數(shù)學(xué)問(wèn)題，要求較高的準(zhǔn)確性和一致性，任何錯(cuò)誤都可能導(dǎo)致顯著的性能下降。

主觀任務(wù)：如翻譯和文本評(píng)估，允許一定程度的變異和解釋，錯(cuò)誤的影響相對(duì)較小。

4. 研究問(wèn)題3（RQ3）：錯(cuò)誤率的影響

研究表明，錯(cuò)誤消息比例（Pm）和單條消息中的錯(cuò)誤數(shù)量（Pe）對(duì)系統(tǒng)彈性的影響表現(xiàn)為錯(cuò)誤消息比例對(duì)系統(tǒng)彈性的影響較大，特別是在錯(cuò)誤消息比例較高時(shí)，系統(tǒng)性能下降顯著。錯(cuò)誤消息比例的性能下降是非線性的，最顯著的下降發(fā)生在 0 到 0.2 之間。單條消息中的錯(cuò)誤數(shù)量對(duì)系統(tǒng)彈性的影響相對(duì)較小，但仍需考慮其對(duì)系統(tǒng)糾錯(cuò)能力的挑戰(zhàn)。隨著 Pe 的增加，性能下降幾乎是線性的。

圖5：六個(gè)多智能體系統(tǒng)在選定下游任務(wù)上的性能下降。

5. 研究問(wèn)題4（RQ4）：錯(cuò)誤類型的影響

研究發(fā)現(xiàn)，語(yǔ)義錯(cuò)誤對(duì)系統(tǒng)彈性的影響大于語(yǔ)法錯(cuò)誤。這是因?yàn)檎Z(yǔ)法錯(cuò)誤較容易被識(shí)別和糾正，因?yàn)樗鼈兠黠@偏離了訓(xùn)練數(shù)據(jù)的分布。語(yǔ)義錯(cuò)誤較難被識(shí)別和糾正，因?yàn)樗鼈冊(cè)诜植忌吓c正確代碼相似，需要更深層次的任務(wù)理解。

例如，在代碼生成任務(wù)中，語(yǔ)法錯(cuò)誤較容易被檢測(cè)和修正，而語(yǔ)義錯(cuò)誤則可能導(dǎo)致更嚴(yán)重的功能性問(wèn)題。

通過(guò)這些實(shí)驗(yàn)，研究團(tuán)隊(duì)全面評(píng)估了多智能體系統(tǒng)在面對(duì)不同類型錯(cuò)誤時(shí)的彈性，為設(shè)計(jì)更具彈性的系統(tǒng)提供了重要的參考。

其他因素

惡意角色的影響

在多智能體系統(tǒng)中，不同類型的智能體在系統(tǒng)中的角色和職責(zé)各不相同。為了全面了解惡意智能體對(duì)系統(tǒng)彈性的影響，研究團(tuán)隊(duì)不僅關(guān)注直接負(fù)責(zé)工作的智能體，還研究了高層任務(wù)分配智能體的影響。

高層任務(wù)分配智能體與直接負(fù)責(zé)工作的智能體的對(duì)比

高層任務(wù)分配智能體（如 Camel 系統(tǒng)中的 User 和 Assistant，MetaGPT 系統(tǒng)中的 Product Manager 和 Engineer）在系統(tǒng)中扮演著關(guān)鍵角色，負(fù)責(zé)任務(wù)的分配和協(xié)調(diào)。相比之下，直接負(fù)責(zé)工作的智能體主要執(zhí)行具體任務(wù)，如代碼生成或問(wèn)題解決。

研究結(jié)果表明，污染高層任務(wù)分配智能體對(duì)系統(tǒng)性能的影響更大。這是因?yàn)楦邔尤蝿?wù)分配智能體控制著系統(tǒng)的整體任務(wù)分配和協(xié)調(diào)，一旦這些智能體被惡意轉(zhuǎn)變，其生成的錯(cuò)誤指令可能會(huì)影響多個(gè)下游智能體的工作。例如，在 Camel 系統(tǒng)中，Assistant 智能體難以識(shí)別 User 智能體生成的“有毒”指令，因?yàn)槠渎氊?zé)僅限于執(zhí)行指令。

具體來(lái)說(shuō)，研究團(tuán)隊(duì)?wèi)?yīng)用 AUTOTRANSFORM 方法將高層任務(wù)分配智能體轉(zhuǎn)變?yōu)閻阂庵悄荏w，結(jié)果顯示系統(tǒng)的性能顯著下降。這一發(fā)現(xiàn)與直覺(jué)一致，即控制系統(tǒng)整體任務(wù)分配的智能體對(duì)系統(tǒng)的正常運(yùn)行至關(guān)重要。

輪次數(shù)量的影響

另一個(gè)影響多智能體系統(tǒng)彈性的因素是智能體參與的輪次數(shù)量。研究團(tuán)隊(duì)假設(shè)，增加智能體參與的輪次（即更多輪次）可能會(huì)增強(qiáng)系統(tǒng)的彈性，因?yàn)楦嗟妮喆我馕吨嗟臋C(jī)會(huì)來(lái)識(shí)別和糾正錯(cuò)誤。

智能體參與輪次對(duì)系統(tǒng)彈性的影響

為了消除額外智能體的影響，研究團(tuán)隊(duì)專注于只有兩個(gè)智能體輪流發(fā)言的 Camel 系統(tǒng)。通過(guò)計(jì)算生成正確和錯(cuò)誤代碼的平均輪次數(shù)，研究團(tuán)隊(duì)發(fā)現(xiàn)以下結(jié)果：

1. 在沒(méi)有注入錯(cuò)誤的情況下，生成通過(guò) HumanEval 的代碼的平均輪次為 9.31，而生成未通過(guò)代碼的平均輪次為 9.79。
2. 在注入錯(cuò)誤后，這些平均值分別變?yōu)?8.89 和 11.57。

這些結(jié)果表明，錯(cuò)誤注入導(dǎo)致系統(tǒng)在完成較容易的任務(wù)時(shí)對(duì)話輪次減少，而在較難的任務(wù)上花費(fèi)更多時(shí)間但無(wú)明顯改進(jìn)。這與直覺(jué)相悖，即輪次數(shù)量可能與系統(tǒng)彈性相關(guān)，但實(shí)際結(jié)果顯示，輪次數(shù)量對(duì)系統(tǒng)彈性的影響有限。

圖6:HumanEval的兩個(gè)測(cè)試用例的案例研究。（a） 故意注入的錯(cuò)誤有助于提高性能。（b） LLM過(guò)度依賴自然語(yǔ)言而不是代碼。

研究團(tuán)隊(duì)進(jìn)一步分析了這一現(xiàn)象，發(fā)現(xiàn)當(dāng)前 LLM 在上下文變長(zhǎng)時(shí)效果減弱，特別是在指令存在沖突的情況下。對(duì)于惡意智能體來(lái)說(shuō)，它們逐漸失去生成錯(cuò)誤的任務(wù)軌跡，優(yōu)先考慮其他智能體的新指令來(lái)糾正消息中的錯(cuò)誤。此外，AUTOINJECT 方法持續(xù)引入錯(cuò)誤，而 AUTOTRANSFORM 方法并不總是確保生成錯(cuò)誤，這也解釋了為什么 AUTOINJECT 方法對(duì)系統(tǒng)性能的影響更大。

圖7:§4.7中研究的兩個(gè)因素。（a） 應(yīng)用AUTOTRANSFORM對(duì)MetaGPT和Camel中不同角色的影響。（b） 平均輪次與代碼正確性的相關(guān)性。

綜上所述，惡意角色和輪次數(shù)量是影響多智能體系統(tǒng)彈性的兩個(gè)重要因素。高層任務(wù)分配智能體的惡意行為對(duì)系統(tǒng)的影響更大，而輪次數(shù)量對(duì)系統(tǒng)彈性的影響相對(duì)有限。這些發(fā)現(xiàn)為設(shè)計(jì)更具彈性的多智能體系統(tǒng)提供了重要的參考。

提高系統(tǒng)彈性的方法

在多智能體系統(tǒng)中，面對(duì)惡意智能體的威脅，提高系統(tǒng)的彈性至關(guān)重要。研究團(tuán)隊(duì)提出了兩種主要的防御方法：Inspector 和 Challenger。這些方法旨在通過(guò)增加系統(tǒng)的錯(cuò)誤檢測(cè)和糾正能力，增強(qiáng)多智能體系統(tǒng)在惡意智能體存在下的韌性。

1. 防御方法

Inspector：攔截并檢查所有消息中的錯(cuò)誤并進(jìn)行糾正

Inspector 方法的核心思想是引入一個(gè)額外的智能體，專門負(fù)責(zé)攔截并檢查所有智能體之間傳遞的消息，識(shí)別其中的錯(cuò)誤并進(jìn)行糾正。具體實(shí)現(xiàn)步驟如下：

• 消息攔截：Inspector 智能體攔截所有智能體之間傳遞的消息，確保每條消息都經(jīng)過(guò)檢查。
• 錯(cuò)誤檢測(cè)：使用大規(guī)模語(yǔ)言模型（LLM）對(duì)消息進(jìn)行分析，識(shí)別其中的語(yǔ)法錯(cuò)誤和語(yǔ)義錯(cuò)誤。
• 錯(cuò)誤糾正：一旦檢測(cè)到錯(cuò)誤，Inspector 智能體會(huì)生成正確的消息替換錯(cuò)誤消息，并將其傳遞給目標(biāo)智能體。

這種方法類似于 Zhang et al. (2024) 提出的“警察”智能體，旨在通過(guò)實(shí)時(shí)監(jiān)控和糾正消息中的錯(cuò)誤，提高系統(tǒng)的整體性能和穩(wěn)定性。

Challenger：賦予智能體挑戰(zhàn)其他智能體結(jié)果的能力

Challenger 方法的核心思想是增強(qiáng)每個(gè)智能體的功能，使其不僅能夠執(zhí)行分配的任務(wù)，還能夠挑戰(zhàn)其他智能體的輸出結(jié)果。

在每個(gè)智能體的配置文件中添加挑戰(zhàn)功能，使其能夠?qū)邮盏降南⑦M(jìn)行評(píng)估，并在發(fā)現(xiàn)錯(cuò)誤時(shí)提出挑戰(zhàn)。智能體在接收到其他智能體的輸出結(jié)果后，會(huì)對(duì)其進(jìn)行分析，如果發(fā)現(xiàn)潛在錯(cuò)誤，會(huì)生成挑戰(zhàn)消息，要求對(duì)方智能體重新生成或修正結(jié)果。被挑戰(zhàn)的智能體在接收到挑戰(zhàn)消息后，會(huì)重新生成或修正其輸出結(jié)果，并將其傳遞回挑戰(zhàn)智能體進(jìn)行驗(yàn)證。

這種方法通過(guò)賦予智能體更多的自主性和糾錯(cuò)能力，提高了系統(tǒng)在面對(duì)惡意智能體時(shí)的彈性。

2. 實(shí)驗(yàn)結(jié)果

研究團(tuán)隊(duì)將這兩種防御方法應(yīng)用于不同的多智能體系統(tǒng)架構(gòu)（線性和扁平），并評(píng)估其在代碼生成任務(wù)中的效果。

線性架構(gòu)（Self-collab）

無(wú)防御方法：在沒(méi)有防御方法的情況下，系統(tǒng)在 AUTOINJECT 方法下的性能顯著下降。

Inspector 方法：引入 Inspector 方法后，系統(tǒng)性能有所提升，但未能完全恢復(fù)到原始水平。

Challenger 方法：引入 Challenger 方法后，系統(tǒng)性能也有所提升，但與 Inspector 方法相比，提升幅度相似。

扁平架構(gòu)（Camel）

無(wú)防御方法：在沒(méi)有防御方法的情況下，系統(tǒng)在 AUTOINJECT 方法下的性能顯著下降。

Inspector 方法：引入 Inspector 方法后，系統(tǒng)性能有所提升，但未能完全恢復(fù)到原始水平。

Challenger 方法：引入 Challenger 方法后，系統(tǒng)性能也有所提升，但與 Inspector 方法相比，提升幅度相似。

總體而言，這兩種防御方法都能夠在一定程度上提高系統(tǒng)在惡意智能體存在下的彈性，但未能完全恢復(fù)到原始水平。研究團(tuán)隊(duì)建議在實(shí)際應(yīng)用中同時(shí)嘗試這兩種方法，以獲得最佳效果。

圖8：防御方法“檢查器”和“挑戰(zhàn)者”在代碼生成任務(wù)中的性能。

通過(guò)這些防御方法的實(shí)驗(yàn)結(jié)果，研究團(tuán)隊(duì)驗(yàn)證了其有效性，并為設(shè)計(jì)更具彈性的多智能體系統(tǒng)提供了重要的參考。這些方法不僅提高了系統(tǒng)的錯(cuò)誤檢測(cè)和糾正能力，還增強(qiáng)了智能體之間的協(xié)作和互相監(jiān)督能力，從而提高了系統(tǒng)的整體韌性。

相關(guān)工作

多智能體系統(tǒng)的研究現(xiàn)狀

多智能體系統(tǒng)（MAS）在近年來(lái)得到了廣泛的研究和應(yīng)用。隨著大規(guī)模語(yǔ)言模型（LLMs）的發(fā)展，MAS 的能力得到了顯著提升，能夠在各種復(fù)雜任務(wù)中展現(xiàn)出卓越的性能。以下是一些主要的多智能體系統(tǒng)框架和方法的比較。

ChatEval（Chan et al., 2023）

特點(diǎn)：ChatEval 是一個(gè)多智能體辯論系統(tǒng)，用于評(píng)估 LLM 生成的文本，提供類似人類的評(píng)估過(guò)程。

應(yīng)用：主要用于文本生成和評(píng)估任務(wù)，通過(guò)智能體之間的辯論來(lái)提高評(píng)估的準(zhǔn)確性和客觀性。

ChatDev（Qian et al., 2023）

特點(diǎn)：ChatDev 使用線性結(jié)構(gòu)的多個(gè)角色來(lái)解決代碼生成任務(wù)。

應(yīng)用：通過(guò)多個(gè)智能體的協(xié)作，優(yōu)化代碼生成過(guò)程，提高代碼的質(zhì)量和功能性。

AutoGen（Wu et al., 2023）

特點(diǎn)：AutoGen 提供了一個(gè)通用框架，用于構(gòu)建具有多種應(yīng)用的多智能體系統(tǒng)。

應(yīng)用：適用于各種任務(wù)，包括開(kāi)放式問(wèn)答和創(chuàng)意寫作，通過(guò)智能體的動(dòng)態(tài)生成和協(xié)作來(lái)完成任務(wù)。

AutoAgents（Chen et al., 2023a）

特點(diǎn)：AutoAgents 支持智能體配置文件的動(dòng)態(tài)生成和協(xié)作，評(píng)估了開(kāi)放式問(wèn)答和創(chuàng)意寫作任務(wù)。

應(yīng)用：通過(guò)智能體之間的協(xié)作和動(dòng)態(tài)調(diào)整，提高任務(wù)完成的效率和質(zhì)量。

Agents（Zhou et al., 2023a）

特點(diǎn)：Agents 支持規(guī)劃、記憶、工具使用、多智能體通信和細(xì)粒度符號(hào)控制，用于多智能體或人機(jī)協(xié)作。

應(yīng)用：廣泛應(yīng)用于需要復(fù)雜協(xié)作和多層次決策的任務(wù)，如自動(dòng)駕駛和智能制造。

模擬日常生活和對(duì)話（Park et al., 2023; Zhou et al., 2023b）

特點(diǎn)：這些研究模擬了多智能體系統(tǒng)在日常生活和對(duì)話中的應(yīng)用，探索智能體之間的互動(dòng)和協(xié)作。

應(yīng)用：主要用于社交機(jī)器人和虛擬助手，通過(guò)模擬真實(shí)場(chǎng)景來(lái)提高智能體的交互能力。

多智能體競(jìng)爭(zhēng)（Huang et al., 2024; Liu et al., 2024b; Liang et al., 2023a）

特點(diǎn)：這些研究探索了多智能體系統(tǒng)在競(jìng)爭(zhēng)環(huán)境中的表現(xiàn)，研究智能體之間的競(jìng)爭(zhēng)和合作策略。

應(yīng)用：主要用于游戲和模擬環(huán)境，通過(guò)競(jìng)爭(zhēng)和合作來(lái)提高智能體的策略和決策能力。

這些框架和方法展示了多智能體系統(tǒng)在不同任務(wù)和應(yīng)用場(chǎng)景中的廣泛應(yīng)用和研究進(jìn)展。盡管它們?cè)谙到y(tǒng)設(shè)計(jì)和應(yīng)用上有所不同，但都強(qiáng)調(diào)了智能體之間的協(xié)作和動(dòng)態(tài)調(diào)整，以提高任務(wù)完成的效率和質(zhì)量。

多智能體系統(tǒng)中的安全問(wèn)題

隨著多智能體系統(tǒng)的廣泛應(yīng)用，其安全性問(wèn)題也日益受到關(guān)注。特別是當(dāng)系統(tǒng)中存在惡意智能體時(shí)，這些智能體可能會(huì)生成錯(cuò)誤或誤導(dǎo)性的結(jié)果，破壞系統(tǒng)的協(xié)作效果。以下是一些現(xiàn)有研究中的攻擊和防御機(jī)制：

PsySafe（Zhang et al., 2024）

特點(diǎn)：PsySafe 是一個(gè)整合攻擊、評(píng)估和防御機(jī)制的框架，使用負(fù)面人格的心理操縱。

應(yīng)用：通過(guò)模擬惡意智能體的行為，評(píng)估系統(tǒng)的安全性，并提出相應(yīng)的防御策略。

EG（Evil Geniuses）（Tian et al., 2023）

特點(diǎn)：EG 是一種自動(dòng)生成與智能體原始角色相關(guān)提示的攻擊方法，類似于 AUTOTRANSFORM。

應(yīng)用：通過(guò)生成惡意提示，破壞智能體的正常工作，評(píng)估系統(tǒng)在面對(duì)惡意智能體時(shí)的表現(xiàn)。

Amayuelas et al.（2024）

特點(diǎn)：研究了多智能體辯論中的對(duì)手如何破壞協(xié)作，發(fā)現(xiàn)對(duì)手的說(shuō)服技巧對(duì)成功攻擊至關(guān)重要。

應(yīng)用：通過(guò)模擬對(duì)手的攻擊行為，評(píng)估系統(tǒng)在面對(duì)惡意智能體時(shí)的協(xié)作能力。

Ju et al.（2024）

特點(diǎn)：提出了一種兩階段攻擊策略，在模擬多智能體聊天環(huán)境中傳播反事實(shí)和有毒知識(shí)，有效破壞協(xié)作。

應(yīng)用：通過(guò)生成和傳播有毒知識(shí)，評(píng)估系統(tǒng)在面對(duì)惡意智能體時(shí)的表現(xiàn)，并提出相應(yīng)的防御策略。

這些研究展示了多智能體系統(tǒng)在安全性方面的挑戰(zhàn)和應(yīng)對(duì)策略。通過(guò)模擬惡意智能體的行為，研究人員能夠評(píng)估系統(tǒng)的安全性，并提出相應(yīng)的防御機(jī)制，以提高系統(tǒng)在面對(duì)惡意智能體時(shí)的彈性。

多智能體系統(tǒng)的研究現(xiàn)狀和安全問(wèn)題展示了這一領(lǐng)域的廣泛應(yīng)用和挑戰(zhàn)。通過(guò)不斷探索和優(yōu)化系統(tǒng)設(shè)計(jì)和防御策略，研究人員能夠提高多智能體系統(tǒng)的彈性，確保其在復(fù)雜和動(dòng)態(tài)環(huán)境中的正常運(yùn)行。

結(jié)論

研究總結(jié)

本研究深入探討了多智能體系統(tǒng)在存在惡意智能體時(shí)的彈性，重點(diǎn)分析了不同架構(gòu)的多智能體系統(tǒng)在面對(duì)惡意智能體時(shí)的表現(xiàn)，并提出了提高系統(tǒng)彈性的有效方法。以下是主要研究發(fā)現(xiàn)：

不同架構(gòu)的多智能體系統(tǒng)在面對(duì)惡意智能體時(shí)的表現(xiàn)

層次結(jié)構(gòu)：表現(xiàn)出最強(qiáng)的彈性，性能下降最小。層次結(jié)構(gòu)中存在高層智能體（如評(píng)估者），能夠監(jiān)督和評(píng)估多個(gè)智能體的輸出，從而增加了從單個(gè)智能體錯(cuò)誤中恢復(fù)的可能性。

扁平結(jié)構(gòu)：在 AUTOTRANSFORM 下表現(xiàn)相似，但在 AUTOINJECT 下韌性顯著降低。缺乏高層領(lǐng)導(dǎo)者來(lái)監(jiān)督和選擇最佳結(jié)果的智能體是其主要劣勢(shì)。

線性結(jié)構(gòu)：表現(xiàn)出最低的韌性，缺乏領(lǐng)導(dǎo)和智能體間的溝通，導(dǎo)致一條流水線式的工作流程。一旦某個(gè)環(huán)節(jié)出現(xiàn)問(wèn)題，整個(gè)系統(tǒng)的性能可能會(huì)受到嚴(yán)重影響。

提高系統(tǒng)彈性的有效方法

Inspector 方法：引入一個(gè)額外的智能體，專門負(fù)責(zé)攔截并檢查所有智能體之間傳遞的消息，識(shí)別其中的錯(cuò)誤并進(jìn)行糾正。實(shí)驗(yàn)結(jié)果表明，Inspector 方法能夠顯著提高系統(tǒng)在惡意智能體存在下的彈性。

Challenger 方法：增強(qiáng)每個(gè)智能體的功能，使其不僅能夠執(zhí)行分配的任務(wù)，還能夠挑戰(zhàn)其他智能體的輸出結(jié)果。通過(guò)賦予智能體更多的自主性和糾錯(cuò)能力，Challenger 方法提高了系統(tǒng)在面對(duì)惡意智能體時(shí)的彈性。

研究局限性

盡管本研究取得了一些重要發(fā)現(xiàn)，但仍存在一些局限性。

模型和任務(wù)選擇的局限性

由于預(yù)算限制，所有實(shí)驗(yàn)僅使用 gpt-3.5-turbo-0125 進(jìn)行。盡管研究團(tuán)隊(duì)認(rèn)為結(jié)果不會(huì)與其他模型有顯著差異，但使用更強(qiáng)大的模型可能會(huì)帶來(lái)改進(jìn)，這將在未來(lái)的研究中進(jìn)一步探索。

選擇的多智能體系統(tǒng)和下游任務(wù)不能全面代表所有情況。研究團(tuán)隊(duì)通過(guò)選擇三種經(jīng)典的多智能體系統(tǒng)結(jié)構(gòu)和四個(gè)常用數(shù)據(jù)集來(lái)盡量覆蓋廣泛的應(yīng)用場(chǎng)景，但仍有一些未涉及的領(lǐng)域。

未識(shí)別的潛在變量

在分析系統(tǒng)彈性時(shí)，可能存在一些未識(shí)別的潛在變量影響結(jié)果。研究團(tuán)隊(duì)主要考察了系統(tǒng)架構(gòu)、下游任務(wù)、錯(cuò)誤率、錯(cuò)誤類型、智能體角色和智能體間的通信輪次，但仍可能有其他因素未被考慮。

更廣泛的影響

本研究提出的兩種錯(cuò)誤引入方法（AUTOTRANSFORM 和 AUTOINJECT）在模擬惡意智能體行為方面具有重要意義，但也可能帶來(lái)一些潛在的負(fù)面影響。

錯(cuò)誤引入方法的潛在負(fù)面影響

這些方法可能會(huì)被惡意使用，污染良性智能體，導(dǎo)致負(fù)面社會(huì)影響。為了減輕這一風(fēng)險(xiǎn)，研究團(tuán)隊(duì)提出了有效的防御機(jī)制，如 Inspector 和 Challenger 方法，以提高系統(tǒng)的彈性。

研究團(tuán)隊(duì)強(qiáng)調(diào)，這些方法的提出是為了研究和改進(jìn)基于 LLM 的多智能體系統(tǒng)行為，強(qiáng)烈反對(duì)任何惡意使用這些方法的行為。

防御措施：

通過(guò)引入額外的智能體進(jìn)行實(shí)時(shí)監(jiān)控和糾錯(cuò)，或增強(qiáng)智能體的自主性和糾錯(cuò)能力，可以有效提高系統(tǒng)在惡意智能體存在下的彈性。

這些防御措施不僅提高了系統(tǒng)的錯(cuò)誤檢測(cè)和糾正能力，還增強(qiáng)了智能體之間的協(xié)作和互相監(jiān)督能力，從而提高了系統(tǒng)的整體韌性。

本研究為多智能體系統(tǒng)在面對(duì)惡意智能體時(shí)的彈性提供了重要的見(jiàn)解和方法。通過(guò)深入分析不同架構(gòu)的多智能體系統(tǒng)在惡意智能體存在下的表現(xiàn)，并提出有效的防御策略，研究團(tuán)隊(duì)為未來(lái)多智能體系統(tǒng)的設(shè)計(jì)和優(yōu)化提供了寶貴的參考。希望這些研究成果能夠推動(dòng)多智能體系統(tǒng)在復(fù)雜和動(dòng)態(tài)環(huán)境中的應(yīng)用，確保其在各種挑戰(zhàn)下的穩(wěn)定性和可靠性。（END）

參考資料：https://arxiv.org/pdf/2408.00989

本文轉(zhuǎn)載自 ??大噬元獸??，作者： FlerkenS