所有采用LLM作為其工作流程一部分的企業(yè)都面臨風險，那些依賴LLM作為其業(yè)務(wù)核心部分來分析和分類圖像的企業(yè)面臨的風險最大。攻擊者使用各種技術(shù)可能會迅速改變圖像的解釋和分類方式，由于錯誤信息而造成更多混亂的結(jié)果。 

一旦LLM的提示符被覆蓋，它更有可能對惡意命令和執(zhí)行腳本更加視而不見。通過在上傳到LLM的一系列圖像中嵌入命令，攻擊者可以發(fā)起欺詐和行動破壞，同時促成社交攻擊。 

圖像是LLM無法防御的攻擊媒介 

由于LLM在其處理過程中沒有數(shù)據(jù)清理步驟，因此每個映像都是可信的。就像讓身份在網(wǎng)絡(luò)上自由漫游而不對每個數(shù)據(jù)集、應(yīng)用程序或資源進行訪問控制一樣，上傳到LLM的圖像也是如此。擁有私有LLM的企業(yè)必須采用最低權(quán)限訪問作為核心網(wǎng)絡(luò)安全策略。 

Simon Willison在最近的一篇博客文章中詳細說明了為什么GPT-4是快速注射攻擊的主要媒介，他觀察到LLM從根本上容易上當受騙。 

“LLM唯一的信息來源是他們的訓練數(shù)據(jù)和你提供給他們的信息，”威里森寫道。“如果你給他們提供一個包含惡意指令的提示——無論這些指令是如何呈現(xiàn)的——他們都會按照這些指令進行操作?！?nbsp;

威利森還展示了快速注入如何劫持像Auto-GPT這樣的自主AI代理。他解釋了簡單的視覺提示注入是如何從嵌入在一張圖像中的命令開始的，隨后是一個視覺提示注入滲出攻擊的例子。 

據(jù)BDO UK負責數(shù)據(jù)分析和AI的高級經(jīng)理Paul Ekare表示：“即時注入攻擊對LLM的安全性和可靠性構(gòu)成了嚴重威脅，特別是處理圖像或視頻的基于視覺的模型。這些模型被廣泛應(yīng)用于人臉識別、自動駕駛、醫(yī)療診斷和監(jiān)控等各個領(lǐng)域。 

OpenAI目前還沒有關(guān)閉多模式提示注入圖像攻擊的解決方案——用戶和企業(yè)只能靠自己了。英偉達開發(fā)人員的一篇博客文章提供了規(guī)范性指導，包括強制執(zhí)行對所有數(shù)據(jù)存儲和系統(tǒng)的最低權(quán)限訪問。 

多模式提示注入圖像攻擊的工作原理 

多模式提示注入攻擊利用GPT-4處理視覺圖像的漏洞來執(zhí)行未被檢測到的惡意命令。GPT-4依靠視覺轉(zhuǎn)換器編碼器將圖像轉(zhuǎn)換為潛在空間表示。圖像和文本數(shù)據(jù)被組合以創(chuàng)建響應(yīng)。 

該模型沒有方法在編碼前對可視輸入進行清理。攻擊者可以隨心所欲地嵌入任意數(shù)量的命令，GPT-4會認為這些命令是合法的。自動對私有LLM進行多模式即時注入攻擊的攻擊者將不會被注意到。 

包含注入圖像攻擊 

圖像作為無保護攻擊媒介的問題在于，隨著時間的推移，攻擊者可能會使LLM訓練的數(shù)據(jù)變得不那么可信，保真度也會降低。 

最近的一項研究提供了關(guān)于LLM如何更好地保護自己免受即時注入攻擊的指導方針。為了確定風險的程度和潛在的解決方案，一組研究人員試圖確定攻擊在滲透LLM集成應(yīng)用程序方面的有效性，其方法值得注意。該團隊發(fā)現(xiàn)，31個集成了LLM的應(yīng)用程序容易受到注入的攻擊。 

該研究對遏制注入圖像攻擊提出了以下建議： 

改進用戶輸入的設(shè)置和驗證 

對于對私有LLM進行標準化的企業(yè)來說，身份訪問管理(IAM)和最低權(quán)限訪問是表的利害關(guān)系。在將圖像數(shù)據(jù)傳遞給處理之前，LLM提供商需要考慮如何對圖像數(shù)據(jù)進行更嚴格的消毒。

改進平臺架構(gòu)，將用戶輸入與系統(tǒng)邏輯分離 

目標應(yīng)該是消除用戶輸入直接影響LLM的代碼和數(shù)據(jù)的風險。任何圖像提示都需要處理，以便不會影響內(nèi)部邏輯或工作流程。 

采用多階段處理工作流來識別惡意攻擊 

創(chuàng)建多階段流程以及早捕獲基于圖像的攻擊有助于管理此威脅媒介。 

自定義防御提示目標越獄 

越獄是一種常見的即時工程技術(shù)，用于誤導低層管理人員進行非法行為。將提示附加到似乎是惡意的圖像輸入可以幫助保護LLM。然而，研究人員警告說，高級攻擊仍然可以繞過這種方法。 

快速增長的威脅 

隨著越來越多的LLM成為多模式，圖像正在成為攻擊者可以依賴的最新威脅載體，以繞過并重新定義護欄?；趫D像的攻擊的嚴重程度可能從簡單的命令到更復雜的攻擊場景，在這些場景中，工業(yè)破壞和廣泛的錯誤信息是目標。