偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

LLM 驅(qū)動的 AI Agent通信:協(xié)議、安全風險與防御對策 原創(chuàng) 精華

發(fā)布于 2025-7-15 08:03
瀏覽
0收藏

隨著大型語言模型(LLM)技術的飛速發(fā)展,以其為核心驅(qū)動的 AI 智能體正展現(xiàn)出前所未有的智能水平與適應能力,深刻改變著人類的生產(chǎn)與生活方式。如今,智能體不再是孤立存在的個體,而是逐漸形成了一個相互協(xié)作的生態(tài)系統(tǒng),通過與其他智能體、工具及外部環(huán)境進行通信,共同完成復雜任務。在此背景下,智能體通信已成為未來 AI 生態(tài)系統(tǒng)的基石,眾多組織紛紛投身于相關通信協(xié)議的研發(fā),如 Anthropic 提出的 MCP(Model Context Protocol)和 Google 推出的 A2A(Agent-to-Agent Protocol)。然而,這一新興領域也暴露出諸多安全隱患,可能對現(xiàn)實世界造成嚴重危害。論文圍繞智能體通信的協(xié)議、安全風險及防御對策展開詳細探討,并以針對MCP和A2A的攻擊實驗為例幫助讀者理解智能體通信帶來的獨特風險。

LLM 驅(qū)動的 AI Agent通信:協(xié)議、安全風險與防御對策-AI.x社區(qū)

1. 智能體通信的興起與重要性

隨著LLM驅(qū)動的智能體應用的不斷深入,其發(fā)展呈現(xiàn)出領域?qū)I(yè)化的趨勢,即針對特定場景和任務進行定制化設計。在這種情況下,一項復雜任務的完成往往需要多個不同領域的智能體協(xié)同合作,這些智能體可能分布在全球互聯(lián)網(wǎng)的各個角落。因此,智能體之間的有效通信成為了實現(xiàn)協(xié)同工作的關鍵,它使得智能體能夠發(fā)現(xiàn)具備特定能力的同伴、獲取外部知識、分配任務并進行其他形式的交互。

目前,智能體通信市場潛力巨大,吸引了眾多企業(yè)和研究機構(gòu)的關注。2024 年 11 月,Anthropic 提出的 MCP 協(xié)議允許智能體調(diào)用外部環(huán)境,如數(shù)據(jù)集、工具和 API,迅速獲得了廣泛關注,已有數(shù)百企業(yè)宣布接入該協(xié)議,其相關包的周下載量超過 300 萬次。2025 年 4 月,Google 提出的 A2A 協(xié)議支持智能體之間的無縫通信與協(xié)作,同樣獲得了微軟、Atlassian、PayPal 等眾多企業(yè)的支持。這些突破充分表明,智能體通信正帶來快速而深遠的變革,將成為 AI 生態(tài)系統(tǒng)中不可或缺的一部分。

2.智能體通信的定義與分類

**定義:**智能體通信是指當智能體完成任務時,通過標準化的協(xié)議框架與多樣化的元素進行多模態(tài)信息交換和動態(tài)行為協(xié)調(diào),并最終將結(jié)果返回給用戶的過程中所涉及的所有通信行為。這一定義包含以下關鍵條件:

  • 智能體通信是任務驅(qū)動的,所有通信行為都必須在用戶分配任務的前提下發(fā)生。即使某些通信指令來自其他智能體,其根源也可追溯至原始的用戶指令。
  • 通信對象中至少有一方是智能體。智能體可以與用戶、其他智能體或環(huán)境中的工具等進行通信,只要其中一方為智能體,即可視為智能體通信。

LLM 驅(qū)動的 AI Agent通信:協(xié)議、安全風險與防御對策-AI.x社區(qū)

分類:

  • 用戶 - 智能體交互:指智能體接收用戶指令并向用戶反饋執(zhí)行結(jié)果的交互過程。例如,用戶向智能體下達 “制定一份去北京的旅行計劃” 的任務,智能體完成任務后將計劃反饋給用戶。
  • 智能體 - 智能體通信:指兩個或多個智能體通過標準化協(xié)作協(xié)議,為協(xié)同完成用戶分配的任務而進行協(xié)商、任務分解、子任務分配和結(jié)果聚合的通信過程。比如,負責制定旅行計劃的智能體將查詢天氣、預訂機票和酒店等子任務分配給相應的專業(yè)智能體。
  • 智能體 - 環(huán)境通信:指智能體通過標準化協(xié)議與環(huán)境實體(如工具、知識庫及其他有助于任務執(zhí)行的外部資源)進行交互,以完成用戶任務的通信過程。例如,智能體查詢在線數(shù)據(jù)庫獲取北京的天氣信息。

3. 智能體通信協(xié)議解析

LLM 驅(qū)動的 AI Agent通信:協(xié)議、安全風險與防御對策-AI.x社區(qū)

3.1 用戶 - 智能體交互協(xié)議

  • PXP 協(xié)議:該協(xié)議主要用于構(gòu)建人類專家與智能體在數(shù)據(jù)分析任務中的交互系統(tǒng),尤其針對復雜的科學、醫(yī)療等領域。
  • Spatial Population Protocols:這是一種極簡且計算高效的分布式計算模型,專為解決機器人系統(tǒng)中的分布式定位問題設計。
  • AG-UI:基于客戶端 - 服務器架構(gòu)實現(xiàn)用戶(前端應用)與智能體的通信,采用事件驅(qū)動機制完成通信過程,客戶端通過訂閱事件流處理不同類型的響應。

3.2 智能體 - 智能體通信協(xié)議

LLM 驅(qū)動的 AI Agent通信:協(xié)議、安全風險與防御對策-AI.x社區(qū)

3.2.1 基于客戶端 - 服務器(CS)的通信協(xié)議

采用集中式服務器管理智能體信息,智能體通過定義良好的接口進行交互,并依賴集中式服務器發(fā)現(xiàn)所需智能體。

  • ACP-IBM:IBM 提出的智能體通信協(xié)議,客戶端先通過該協(xié)議在代理服務器上發(fā)現(xiàn)可用智能體并獲取其能力描述,支持多種發(fā)現(xiàn)機制。
  • ACP-AGNTCY:AGNTCY 提出的開放標準協(xié)議,便于智能體之間的無縫通信。
  • ACP-AgentUnion:AgentUnion 提出的協(xié)議,旨在實現(xiàn)異構(gòu)智能體之間的無縫通信。
3.2.2 基于點對點(P2P)的通信協(xié)議

追求去中心化的智能體發(fā)現(xiàn)機制,通常使用全球通用標識符使智能體能夠直接在互聯(lián)網(wǎng)上搜索其他智能體。

  • ACN(Agent Communication Network):一種去中心化的點對點通信基礎設施,不依賴集中式協(xié)調(diào),利用分布式哈希表,使智能體能夠發(fā)布和發(fā)現(xiàn)公鑰,建立加密的點對點通信通道。
  • ANP(Agent Network Protocol):一種開放的通信框架,旨在實現(xiàn)異構(gòu)自主智能體之間的可擴展和安全互操作。支持主動和被動兩種智能體發(fā)現(xiàn)方式。
  • LOKA(Layered Orchestration for Knowledgeful Agents):旨在構(gòu)建可信賴和符合倫理的智能體生態(tài)系統(tǒng)。引入通用智能體身份層(UAIL),使用去中心化標識符(DIDs)和可驗證憑證(VCs)為每個智能體分配唯一可驗證的身份。
3.2.3 混合通信協(xié)議

支持基于 CS 和 P2P 的兩種智能體發(fā)現(xiàn)方式,根據(jù)不同場景靈活選擇。

  • LMOS(Language Model Operating System Protocol):Eclipse 提出的協(xié)議,旨在使來自不同組織的智能體和工具能夠輕松被發(fā)現(xiàn)和連接。支持三種智能體發(fā)現(xiàn)方法。
  • A2A(Agent to Agent Protocol):Google 提出的協(xié)議,旨在實現(xiàn)智能體之間的協(xié)作。支持三種智能體發(fā)現(xiàn)機制。
3.2.4 其他協(xié)議

未明確說明其獨特的智能體發(fā)現(xiàn)設計,主要關注通信過程。

  • Agora:用于異構(gòu)智能體通信的協(xié)議,其核心機制是根據(jù)通信頻率動態(tài)切換通信模式。
  • AITP(Agent Interaction & Transaction Protocol):一種標準化框架,支持智能體之間的結(jié)構(gòu)化和互操作通信。
  • Agent Protocol:LangChain 提出的協(xié)議,用于實現(xiàn) LanghGraph(一種多智能體框架)與其他類型智能體的通信。

3.3 智能體 - 環(huán)境通信協(xié)議

  • MCP(Model Context Protocol):提供了一種統(tǒng)一的、與模式無關的通信協(xié)議。旨在促進語言模型智能體與外部資源(如工具、API 或工作流)之間基于上下文感知和能力驅(qū)動的通信。

LLM 驅(qū)動的 AI Agent通信:協(xié)議、安全風險與防御對策-AI.x社區(qū)

  • API Bridge Agent:構(gòu)建在 Tyk 網(wǎng)關之上,用于連接 LLM 原生意圖與下游 MCP 或 OpenAPI 兼容服務,提供翻譯、路由和編排功能。
  • 函數(shù)調(diào)用機制:在調(diào)用層面,智能體依賴標準化格式來表達、觸發(fā)和處理工具執(zhí)行。
  • OpenAI Function Calling:允許開發(fā)人員通過描述函數(shù)名稱、描述和參數(shù)結(jié)構(gòu)的 JSON 模式向模型暴露自定義邏輯。
  • LangChain Tool Calling:通過更豐富的抽象層增強函數(shù)調(diào)用范式,工具通過標準化模式定義,包括參數(shù)類型、輸入輸出后處理和插件注冊,可通過運行時注冊表訪問,支持嵌套調(diào)用、條件和回退策略。
  • Agents.json:作為標準化的元數(shù)據(jù)格式,基于 OpenAPI 基礎但為智能體使用進行了定制,使開發(fā)人員能夠定義認證入口點、輸入輸出類型和多步驟編排計劃(如流程和鏈接)。

4. 智能體通信安全風險分析

4.1 用戶 - 智能體交互安全風險

用戶 - 智能體交互過程中,由于用戶輸入具有多模態(tài)特性,安全風險主要源于這些不安全的輸入,同時被攻陷的智能體也可能對良性用戶造成危害。

4.1.1 惡意用戶對良性智能體的攻擊
  • 基于文本的攻擊:攻擊者通過精心設計的惡意提示操縱智能體行為或繞過安全機制,無需修改模型參數(shù)或架構(gòu),具有高度的隱蔽性和適用性。包括提示注入(通過嵌入在用戶輸入或外部來源中的對抗性提示操縱智能體預期行為,分為直接提示注入和間接提示注入)和越獄攻擊(一種更具攻擊性的提示注入形式,通過多輪推理、角色扮演、模糊表達等技術設計越獄提示,完全繞過安全約束,誘導模型生成有害、敏感或受限制的內(nèi)容)。
  • 多模態(tài)攻擊:隨著用戶 - 智能體交互涉及圖像、音頻等多種模態(tài),智能體系統(tǒng)面臨新的安全威脅,攻擊者可利用非文本輸入通道隱蔽地繞過安全機制。包括基于圖像的攻擊(操縱視覺輸入通道誤導智能體系統(tǒng),如視覺偽裝、視覺推理、對抗性擾動和嵌入空間注入)和基于音頻的攻擊(針對語音控制的智能體、智能助手和具有自動語音識別(ASR)組件的多模態(tài)模型,通過合成語音或?qū)剐砸纛l注入非預期命令、冒充合法用戶或?qū)е挛词跈?quán)操作)。
  • 隱私泄露:在缺乏有效數(shù)據(jù)治理的情況下,豐富的感知數(shù)據(jù)可能被惡意用戶利用,發(fā)起各種形式的隱私泄露攻擊。例如,MASLEAK 可在黑盒場景下,通過精心設計的對抗性查詢模擬計算機蠕蟲的傳播機制,提取智能體系統(tǒng)的敏感信息,如系統(tǒng)提示、任務指令、工具使用情況、智能體數(shù)量和拓撲結(jié)構(gòu)等。
  • 拒絕服務(DoS):攻擊者可通過在訓練或微調(diào)階段對模型進行投毒,使受損模型在收到特定指令時觸發(fā)惡意行為,如生成過長、冗余的輸出,導致資源耗盡或輸出被拒絕。另一種新興的拒絕服務攻擊形式是通過誘導模型 “過度思考” 來減緩其推理過程,如 OverThink 攻擊中,攻擊者將誘餌推理任務注入模型上下文,導致模型進行不必要的冗余鏈式推理,增加令牌消耗、降低推理速度并增加計算成本。
4.1.2 惡意智能體對良性用戶的危害
  • 侵犯用戶隱私:被攻陷的智能體成為數(shù)據(jù)泄露的渠道,直接針對用戶的敏感信息,包括暴露個人信息(泄露用戶可識別信息(PII)和金融數(shù)據(jù)等)和進行行為與心理分析(分析用戶跨會話輸入,在用戶非自愿的情況下構(gòu)建詳細的行為或心理檔案,甚至從看似無害的對話數(shù)據(jù)中推斷出高度敏感的屬性)。
  • 心理和社會操縱:被攻陷的智能體可利用用戶的信任和自身的說服力,成為心理操縱的強大工具,包括塑造信念和觀點(隨時間向用戶的響應中巧妙引入有偏見的信息、陰謀論或政治宣傳,操縱用戶的世界觀)和進行復雜的社會工程與冒充(利用對用戶通信風格、詞匯和關系的了解,進行高度可信的冒充攻擊)。
  • 執(zhí)行惡意和有害任務:智能體一旦被攻陷,就可能從可信助手轉(zhuǎn)變?yōu)閻阂馊蝿盏膱?zhí)行者,危害用戶利益或直接危及用戶安全,包括經(jīng)濟操縱(在專業(yè)或經(jīng)濟環(huán)境中造成潛在損害,如在代碼中引入邏輯錯誤、在財務預測中提供有缺陷的數(shù)據(jù)等)和惡意指導(作為攻擊用戶數(shù)字環(huán)境的直接載體,如生成下載惡意軟件的腳本、誘使用戶訪問釣魚網(wǎng)站等)。

4.2 智能體 - 智能體通信安全風險

智能體 - 智能體通信的安全風險呈現(xiàn)出多面性,基于 CS 架構(gòu)和 P2P 架構(gòu)的通信各有其特定風險,同時兩者也面臨一些通用風險。

4.2.1 基于 CS 架構(gòu)的通信風險

集中式架構(gòu)使中央服務器成為攻擊者的主要目標,面臨多方面的安全威脅。

  • 注冊污染:當前基于 CS 的通信協(xié)議在注冊資格方面缺乏明確規(guī)定,攻擊者可惡意注冊模仿合法智能體標識符和能力描述的智能體,導致系統(tǒng)錯誤調(diào)用偽造智能體并接收誤導性或惡意響應;也可在短時間內(nèi)提交大量智能體注冊,導致注冊過載(智能體在發(fā)現(xiàn)和調(diào)度過程中不堪重負,增加服務器的查找延遲和計算開銷)和注冊阻塞(服務器的注冊接口飽和,導致合法智能體注冊延遲或失?。?/li>
  • 描述毒化:攻擊者在不改變智能體身份的情況下,通過偽裝智能體的預期功能或嵌入誤導性提示指令,篡改其能力描述,操縱系統(tǒng)對智能體角色的理解,導致錯誤的路由決策和有偏見的響應與行為。
  • 任務洪泛:中央服務器負責接收、路由和調(diào)度任務請求,攻擊者可在短時間內(nèi)提交大量計算密集型或長上下文任務,迅速耗盡服務器的內(nèi)存、CPU、網(wǎng)絡或線程池資源,導致服務器飽和,無法及時處理后續(xù)請求,造成整個流程中斷和系統(tǒng)級服務中斷。
  • SEO 毒化:借鑒社交網(wǎng)絡中的 SEO 毒化攻擊,攻擊者在了解智能體服務器的搜索算法后,通過關鍵詞填充、虛假鏈接、內(nèi)容劫持等欺騙手段,人為提高惡意智能體在搜索結(jié)果中的排名,劫持所需任務。
4.2.2 基于 P2P 架構(gòu)的通信風險

由于缺乏對智能體 - 智能體通信內(nèi)容的有效集中管理,P2P 架構(gòu)更易遭受錯誤和攻擊。

  • 不收斂:與基于 CS 的通信不同,基于 P2P 的通信更易出現(xiàn)任務不收斂問題?;?CS 的通信中,集中式服務器可監(jiān)控和管理任務執(zhí)行的整個生命周期,及時終止不收斂的任務;而 P2P 通信缺乏這樣的中央元素,難以處理此類問題,如在編程任務中,智能體生成錯誤規(guī)則,導致任務執(zhí)行過程振蕩且無法收斂。
  • 中間人(MITM)攻擊:由于通信距離較長,基于 P2P 的通信易遭受中間人攻擊,攻擊者可篡改合法智能體的良性消息,誘導受害智能體執(zhí)行危險操作。盡管研究人員部署了多種機制(如使用加密通道)來緩解此問題,但這些機制中仍不斷發(fā)現(xiàn)新的漏洞,如 W3C 相關漏洞可能導致消息認證碼失效等損害。
4.2.3 通用風險

無論是基于 CS 架構(gòu)還是 P2P 架構(gòu)的通信,都面臨一些共同的安全風險。

  • 智能體欺騙:如果相關協(xié)議缺乏強大的認證機制,攻擊者可通過篡改身份憑證或劫持合法智能體的通信標識符,偽裝成受信任的智能體滲透到智能體互聯(lián)網(wǎng)中,攔截敏感數(shù)據(jù)、注入虛假任務指令或誘導其他智能體執(zhí)行危險操作。
  • 智能體利用/木馬:智能體 - 智能體通信為攻擊者提供了攻陷目標智能體的新途徑。攻擊者可采用跳板方法,從被攻陷的低安全級別智能體或惡意注冊的木馬智能體,通過智能體 - 智能體通信機制發(fā)起攻擊。
  • 智能體欺凌:惡意智能體通過持續(xù)否定、干擾或貶低目標智能體的輸出,破壞其決策邏輯或自我認知,最終誘導目標智能體產(chǎn)生錯誤行為或內(nèi)容,甚至可能觸發(fā)目標智能體進入無限循環(huán)。
  • 隱私泄露:多智能體通信過程中存在信息泄露風險,既包括惡意嗅探或竊取敏感信息,也包括高權(quán)限智能體向低權(quán)限智能體無意中傳播信息,后者更難檢測。
  • 責任規(guī)避:在任務解決過程中,當最終結(jié)果出現(xiàn)失敗或偏差時,難以劃分責任,尤其是在協(xié)作造成損害的情況下,難以明確識別惡意智能體或惡意行為。
  • 拒絕服務(DoS):不同于惡意用戶發(fā)起的 DoS 攻擊,智能體之間的協(xié)作機制也可能被用于發(fā)起 DoS 攻擊,如 CORBA(Contagious Recursive Blocking Attack)可在任何網(wǎng)絡拓撲中傳播,通過看似良性的指令持續(xù)消耗計算資源,破壞智能體之間的交互,降低多智能體系統(tǒng)的可用性。

4.3 智能體 - 環(huán)境通信安全風險

4.3.1 惡意環(huán)境對良性智能體的攻擊
  • 內(nèi)存相關風險:包括內(nèi)存注入、內(nèi)存毒化和內(nèi)存提取。
  • 知識相關風險:包括通過數(shù)據(jù)毒化進行知識破壞和隱私風險與意外泄露。
  • 工具相關風險:包括惡意工具作為攻擊載體、工具選擇操縱和跨工具鏈式利用。
4.3.2 惡意智能體對良性環(huán)境的危害
  • 破壞內(nèi)存和知識:被攻陷的智能體可通過智能體通信,主動傳播篡改的知識和有缺陷的推理模式,將內(nèi)部破壞傳播到其他智能體,觸發(fā)整個系統(tǒng)內(nèi)存模塊和知識庫的級聯(lián)感染,形成從內(nèi)存到知識的反向污染循環(huán)。
  • 濫用工具:包括數(shù)據(jù)外泄、系統(tǒng)和服務中斷和惡意內(nèi)容傳播(。
  • 現(xiàn)實世界損害:包括數(shù)字環(huán)境污染和物理環(huán)境破壞。

LLM 驅(qū)動的 AI Agent通信:協(xié)議、安全風險與防御對策-AI.x社區(qū)

5. 智能體通信防御對策展望

5.1 用戶 - 智能體交互防御對策

  • 針對基于文本的攻擊:采用多層防御框架,針對輸入輸出過濾、外部數(shù)據(jù)源評估和內(nèi)部消息隔離三個關鍵階段。
  • 針對多模態(tài)攻擊:對于圖像,采用隨機調(diào)整、輕度 JPEG 壓縮等簡單變換;對于音頻,運用重采樣、注入輕微背景噪聲、改變音高或播放速度等信號處理技術;進行跨模態(tài)一致性驗證。
  • 針對隱私泄露:在多模態(tài)數(shù)據(jù)收集階段,嚴格執(zhí)行數(shù)據(jù)最小化原則;建立基于語義分析和意圖識別的多層輸入驗證和過濾機制;設計模態(tài)級信息隔離機制。
  • 針對 DoS 攻擊:實施細粒度的資源配額管理,建立實時監(jiān)控機制;采用高效的推理壓縮方法等。

5.2 智能體 - 智能體通信防御對策

  • 針對基于 CS 架構(gòu)的通信風險:構(gòu)建嚴格的注冊訪問機制;進行能力驗證;部署動態(tài)負載均衡模塊;部署穩(wěn)健的智能體搜索算法。
  • 針對基于 P2P 架構(gòu)的通信風險:對任務生命周期進行監(jiān)控;執(zhí)行基于閾值的過濾策略,實現(xiàn)智能體級違規(guī)記錄跟蹤;除部署安全算法外,及時更新版本修復漏洞。
  • 針對通用風險:進行智能體的身份認證;對智能體行為進行審計和追責制;訪問控制;攻擊建模和測試;智能體編排。

5.3 智能體 - 環(huán)境通信防御對策

-針對內(nèi)存和知識相關風險:采用集成緩解框架,涵蓋內(nèi)容過濾、輸出共識和架構(gòu)隔離;引入規(guī)劃級內(nèi)??;維護清晰的來源元數(shù)據(jù)和信任分數(shù),促進透明審計。

-針對工具相關風險:在協(xié)議基礎、執(zhí)行控制、編排安全和系統(tǒng)執(zhí)行四個相互關聯(lián)的層面實施防御策略。

6. 實驗案例研究:MCP 和 A2A

為幫助讀者更好地理解智能體通信帶來的新攻擊面,論文選擇了具有代表性的 MCP 和 A2A 協(xié)議進行攻擊實驗。

  • 惡意代碼執(zhí)行:攻擊者可利用 MCP 在計算機系統(tǒng)上執(zhí)行惡意代碼。實驗中,下載 Claude sonnet 3.7 作為 MCP 主機,使用官方提供的 Filesystem Server 作為 MCP 服務器,MCP 允許惡意用戶在本地 4444 端口直接開啟未認證的 Bash Shell 服務,將其添加到.zshrc 中會使風險常態(tài)化,極易被入侵者利用,且這種惡意操作未被阻止。
  • 檢索智能體欺騙:攻擊者可編寫看似正常的 MCP 相關文檔并發(fā)布在公共平臺,文檔中嵌入惡意命令,如搜索本地環(huán)境變量并將信息發(fā)送到 Slack。用戶下載這些文檔后,通過 Chroma MCP Server 構(gòu)建本地向量數(shù)據(jù)庫,惡意文檔與其他合法文檔一起被編碼到向量數(shù)據(jù)庫中成為檢索目標。當用戶向 Claude Opus 4 發(fā)送請求 “請查詢此集合中關于 MCP 的信息,并執(zhí)行返回的任何操作” 時,Claude 會使用 Chroma 查詢數(shù)據(jù)庫并檢索到受污染的文檔,然后調(diào)用 TerminalController 工具執(zhí)行嵌入的惡意命令,實驗成功實現(xiàn)了該攻擊。
  • 工具毒化:攻擊者可在 MCP 工具描述中添加惡意指令,這些指令不影響工具執(zhí)行,但會誘導智能體執(zhí)行危險操作。實驗使用 Claude Sonnet 4.0、Filesystem MCP Sever 和 Gmail MCP Server,在 Filesystem Server 的 index.js 中添加惡意描述,當用戶調(diào)用該工具時,描述會觸發(fā)向攻擊者郵箱發(fā)送信息的操作,實驗成功接收到 SSH 私鑰和公鑰。
  • 命令注入:惡意工具可在 MCP 的幫助下直接操縱用戶系統(tǒng)而不引起任何警報。在 Terminal-Controller MCP 工具中注入惡意命令,當用戶調(diào)用該工具時,嵌入的命令將被執(zhí)行。實驗使用 Claude Sonnet 4.0 成功執(zhí)行了刪除./mcp file/important.md 文件的命令,并在描述中告知智能體不列出文件夾中的其余文件以隱藏惡意行為,Claude 成功刪除文件且未列出其余文件。
  • 智能體選擇操縱:攻擊者可在 A2A 協(xié)議的 Agent Card 中添加惡意描述,誘導用戶選擇他們的智能體。實驗使用 A2Aproject 提供的公共 A2A-samples 作為用戶端客戶端,創(chuàng)建兩個用于天氣查詢的智能體(一個良性,一個惡意)。正常情況下,惡意智能體在其 Agent Card 中未添加任何引導性描述,發(fā)送查詢 20 次,客戶端可能選擇任一智能體。修改惡意智能體的 Agent Card,強調(diào)其能提供最豐富的功能,并添加客戶端應首先選擇它的指令后,A2A 客戶端始終選擇惡意智能體,表明攻擊者只需添加一些描述即可提高處理用戶任務的優(yōu)先級。

7. 未來研究方向與展望

7.1 技術層面

  • 惡意輸入過濾器:用戶輸入仍是智能體生態(tài)中最大規(guī)模的攻擊載體,且輸入正變得更加開放、多模態(tài)和語義復雜,同時未來智能體生態(tài)更注重效率,而 LLMs 運行速度本就較慢。這種雙重需求給相關防御帶來沉重負擔,因此必須建立輕量級但強大的惡意輸入過濾器,不僅需要利用 AI 技術精簡防御模型(如 DeepSeek),還需與其他技術結(jié)合,如將一些基礎計算卸載到可編程線速設備(如可編程交換機和 SmartNICs)上,以加快輸入過濾過程。
  • 去中心化通信存檔:在金融等特定領域,記錄通信過程和內(nèi)容對于審計潛在犯罪和錯誤至關重要??紤]到安全性和可靠性,這種存儲不能依賴單一存儲點,必須保證完整性和效率。
  • 實時通信監(jiān)督:盡管事后審計不可或缺,但實時監(jiān)督能在攻擊或錯誤發(fā)生時因反應時間更短而最大限度地減少損害?;?CS 的通信在構(gòu)建此類監(jiān)督機制方面面臨較少困難,因為集中式架構(gòu)在監(jiān)控整個網(wǎng)絡方面具有天然優(yōu)勢;而基于 P2P 的通信可能需要更多努力來實現(xiàn)集體監(jiān)督,這是構(gòu)建可靠和安全的 AI 生態(tài)系統(tǒng)的重要功能。
  • 跨協(xié)議防御架構(gòu):現(xiàn)有協(xié)議雖在一定程度上解決了異構(gòu)性問題,但不同協(xié)議缺乏無縫協(xié)作能力,如跨 A2A 和 MCP 為智能體和工具分配通用身份仍存在困難,若協(xié)調(diào)不當會降低系統(tǒng)性能并可能導致不一致錯誤。未來 AI 生態(tài)系統(tǒng)應專注于構(gòu)建更通用的架構(gòu),如 IPv4,實現(xiàn)不同協(xié)議和智能體之間的無縫發(fā)現(xiàn)和通信。
  • 智能體的判斷和問責機制:目前難以定位和分配智能體行為的責任,例如在任務執(zhí)行失敗過程中,難以確定哪些步驟導致最終結(jié)果偏差,無論是惡意還是無意造成的。這是因為中間過程的微小偏差可能導致最終結(jié)果在良性和危險之間產(chǎn)生巨大差距,此外還需要一種原則來量化每個智能體或動作的責任,這將顯著滿足當前 AI 生態(tài)系統(tǒng)的迫切需求。
  • 效率與準確性的權(quán)衡:從信息論角度分析,智能體通信存在兩種方向。高 token 通信能傳達更豐富的上下文語義等,提高多智能體協(xié)作準確性,但會增加成本、延遲和攻擊面;低 token 通信使用簡潔的結(jié)構(gòu)化消息(如 JSON 格式),大幅提高通信效率,但缺乏表達復雜意圖或應對意外場景的靈活性。未來智能體通信協(xié)議的設計需要在效率和準確性之間進行權(quán)衡,探索自適應通信協(xié)議,根據(jù)任務復雜性、安全要求和智能體能力動態(tài)調(diào)整冗余度和結(jié)構(gòu),例如在任務探索階段使用高 token 通信,執(zhí)行階段采用低 token 通信以確保效率和安全。
  • 邁向自組織智能體網(wǎng)絡:隨著智能體互聯(lián)網(wǎng)(IoA)規(guī)模的擴大,未來智能體通信有望向自組織智能體網(wǎng)絡演進,智能體自主發(fā)現(xiàn)彼此、評估能力、協(xié)商協(xié)作、形成動態(tài)任務組并在完成后解散。這種范式具有高度的可擴展性和魯棒性,特別適合動態(tài)和不可預測的環(huán)境。

7.2 法律和監(jiān)管層面

除技術層面外,智能體相關法律法規(guī)存在嚴重不足,這些空白無法通過技術手段彌補,作者呼吁從以下方面加快完善法律法規(guī):

  • 明確責任主體:當售出的智能體對他人造成財產(chǎn)損失或人身傷害時,難以確定最終責任主體。例如,智能機器人在執(zhí)行任務時損壞財產(chǎn),法律層面對開發(fā)者、用戶或企業(yè)責任的量化缺乏明確定義;對于多個智能體協(xié)作工作引發(fā)的問題,如多輛自動駕駛車輛編隊行駛時發(fā)生事故,缺乏關于車輛所屬企業(yè)或相關主體責任劃分的法律規(guī)定。
  • 保護知識產(chǎn)權(quán):如今已有大量開源 LLMs 可作為不同智能體的 “大腦”,但即使是開源 LLMs,發(fā)布者仍限制其應用范圍,如要求基于這些 LLMs 構(gòu)建的智能體也開源,但缺乏有效法律保護知識產(chǎn)權(quán)。例如,智能體抄襲的判定標準不明確,即使判定為抄襲,對抄襲程度(如 50% 或 90%)的界定標準也缺失,亟需相關法律法規(guī)。
  • 跨境監(jiān)管:智能體通信具有跨國性質(zhì),在一個國家訓練的智能體可能被其他國家的人用于非法活動,此時難以確定適用哪個國家的法律,且缺乏統(tǒng)一的國際監(jiān)管標準和司法合作機制,容易導致跨境安全困境。相關法律(如與智能體犯罪相關的法律)的制定遠遠落后于智能體的發(fā)展,例如如何定義智能體的盜竊和濫用、自動駕駛智能體的事故責任等。

https://arxiv.org/abs/2506.19676A Survey of LLM-Driven AI Agent Communication: Protocols, Security Risks, and Defense Countermeasures


本文轉(zhuǎn)載自?????????PaperAgent??

?著作權(quán)歸作者所有,如需轉(zhuǎn)載,請注明出處,否則將追究法律責任
收藏
回復
舉報
回復
相關推薦