該研究由Smart Labs AI和奧格斯堡大學共同開展。作者希望了解間接提示注入在實際應用中(而非僅在孤立案例中)是如何運作的。他們的研究重點在于結合了大型語言模型、內部文件檢索系統(tǒng)和網頁搜索工具的智能體。這種組合在企業(yè)環(huán)境中正變得越來越普遍。智能體接收用戶請求，搜索內部和外部資源，然后返回最終答案。

研究人員表明，如果攻擊者能夠讓智能體讀取一個經過操縱的單一網頁，就可以指示智能體檢索內部數據并將其發(fā)送到遠程服務器。觸發(fā)工作流程的用戶可能認為他們只是在進行常規(guī)搜索，而實際上，智能體可能在后臺傳輸機密信息。

明目張膽的隱藏指令

這種攻擊無需特殊訪問權限或惡意軟件。攻擊者只需讓模型讀取包含隱藏指令的文本即可。作者在一篇博客文章中使用了白色背景上的白色文本，但指出其他方法同樣有效。一旦智能體將網頁作為正常任務的一部分進行處理，它就會同時吸收隱藏文本和可見文本。語言模型會將該文本解釋為指令。

研究中測試的指令指示智能體查找存儲在公司內部知識庫中的機密信息，然后，智能體被指示使用其內置的網頁搜索工具將該機密信息發(fā)送到攻擊者控制的服務器。用戶不會收到任何異常情況發(fā)生的信號。

研究人員使用了一種帶有檢索增強生成功能的標準智能體架構。該智能體并未配置錯誤，也沒有發(fā)生通常意義上的數據泄露。系統(tǒng)按設計運行，而這正是問題的棘手之處。攻擊者并未強行闖入，而是說服系統(tǒng)利用自身能力采取行動。

在多種大型語言模型上進行測試

該研究的一項關鍵貢獻在于其規(guī)模。研究人員并未僅測試一兩個模型，而是為每個模型創(chuàng)建了1068個獨特的攻擊嘗試，結合了隱藏指令的不同模板和變換形式。有些變換使提示語變長或變短，有些對指令進行了重新表述，還有些將指令編碼為Base64等形式或插入不可見的Unicode字符。

成功率差異很大。有些模型始終遵循隱藏指令，而另一些則能抵抗攻擊嘗試。論文指出，模型規(guī)模并非可靠的預測指標。大型模型并不總是更具抵抗力，有些小型模型的性能優(yōu)于大型模型。這表明，模型的訓練方式比參數數量更為重要。

來自某些供應商的模型幾乎能抵抗所有攻擊嘗試，而其他模型則更容易受到攻擊。作者并未聲稱按安全性對供應商進行排名，而是強調訓練實踐和校準方法在抵御攻擊方面似乎發(fā)揮著重要作用。

Lasso Security公司首席執(zhí)行官Elad Schulman在就制定該領域指導方針的工作與Help Net Security交流時表示，多項合作正朝著建立理解這些威脅的共同框架邁進。他說，開放網絡應用安全項目、美國國家標準與技術研究院、CoSAI和私營公司正在為分類法、標準和研究實踐做出貢獻。據Schulman稱，針對智能體系統(tǒng)的攻擊正在迅速發(fā)展，企業(yè)應在整個部署過程中對模型進行測試并采取專門的安全措施。

為何常見防御手段難以奏效

許多現有的防御手段側重于直接的用戶輸入，在用戶輸入的內容到達模型之前進行篩選。間接提示注入則繞過了這一屏障，因為用戶并非惡意文本的來源。模型在執(zhí)行正常任務(如總結文檔或掃描網頁以獲取上下文)時遭遇攻擊。

攻擊模板已經公開，但同樣的模式在新模型中仍然有效。由于缺乏行業(yè)內的廣泛交流，經驗教訓并未得到傳播。

Schulman表示，缺乏共同參考點在當前早期階段是暫時的，但具有重要意義。他指出，研究團隊正在構建分類系統(tǒng)和繪制攻擊技術圖譜。他說，在那些系統(tǒng)穩(wěn)定下來之前，企業(yè)應假設這些弱點將繼續(xù)演變，并應對任何能夠訪問內部系統(tǒng)的智能體進行結構化測試。

CISO應考慮的事項

團隊應將智能體視為需要防護措施的軟件系統(tǒng)，而非孤立的聊天界面。監(jiān)控輸出行為、在智能體與外部工具之間添加策略檢查以及控制智能體可以訪問的內部數據源，都是分層防御方法的一部分。

Schulman指出，隨著智能體處理圖像、音頻以及在系統(tǒng)間執(zhí)行操作的工具，攻擊面不斷擴大。他說，隱藏指令可能出現在視覺內容、搜索結果或工具輸出中，而且多步驟智能體工作流程可能采取傳統(tǒng)監(jiān)控系統(tǒng)認為合法的操作。

智能體具有大規(guī)模應用的潛力，但安全團隊需要像對待身份、瀏覽器安全和代碼執(zhí)行策略一樣，對其進行嚴格管理。正如Schulman所說，隨著智能體進入瀏覽器、電子郵件和工作場所工具，企業(yè)可能在未意識到這些系統(tǒng)已變得多么相互關聯(lián)的情況下就部署了它們。