根據(jù)三位安全研究人員的說(shuō)法，兩種新的威脅模式可以將GenAI模型的行為從為GenAI應(yīng)用服務(wù)轉(zhuǎn)變?yōu)楣羲鼈儭?/p>

雖然不像《終結(jié)者》電影系列中的虛構(gòu)場(chǎng)景Skynet那么危險(xiǎn)，但研究人員展示的PromptWare和Advanced PromptWare攻擊確實(shí)展示了“被越獄的AI系統(tǒng)可能造成的重大危害”。從迫使應(yīng)用程序進(jìn)行拒絕服務(wù)攻擊到利用應(yīng)用程序AI更改電子商務(wù)數(shù)據(jù)庫(kù)中的價(jià)格，這些威脅不僅非常真實(shí)，而且很可能會(huì)被惡意行為者利用，除非人們更加重視越獄GenAI模型的潛在危害。

介紹PromptWare GenAI威脅

雖然被越獄的GenAI模型本身可能不會(huì)對(duì)會(huì)話(huà)AI的用戶(hù)構(gòu)成重大威脅，但它可以對(duì)由GenAI驅(qū)動(dòng)的應(yīng)用程序造成重大損害。根據(jù)以色列理工學(xué)院、康奈爾科技和Intuit的研究合作發(fā)表的一項(xiàng)名為“被越獄的GenAI模型可能造成重大損害：由GenAI驅(qū)動(dòng)的應(yīng)用程序容易受到PromptWares攻擊”的研究，新威脅可以迫使這些應(yīng)用程序執(zhí)行惡意活動(dòng)，而不僅僅是提供錯(cuò)誤信息和返回攻擊性?xún)?nèi)容。

研究人員Stav Cohen(以色列理工學(xué)院博士生)、Ron Bitton(Intuit首席AI安全研究員)和Ben Nassi(BlackHat董事會(huì)成員)表示，他們發(fā)布這項(xiàng)研究是為了幫助“改變對(duì)越獄的看法”，并展示“被越獄的GenAI模型可能對(duì)GenAI驅(qū)動(dòng)的應(yīng)用程序造成的實(shí)際危害”。

可以理解，為什么許多安全專(zhuān)業(yè)人士不認(rèn)真對(duì)待這些對(duì)GenAI的威脅。使用提示讓聊天機(jī)器人侮辱用戶(hù)并不是世紀(jì)罪行。被越獄的聊天機(jī)器人可能提供的任何信息都會(huì)在網(wǎng)上或暗網(wǎng)上找到。那么，為什么應(yīng)該認(rèn)為這種越獄威脅是危險(xiǎn)的呢?研究人員解釋說(shuō)，“因?yàn)镚enAI引擎的輸出用于決定GenAI驅(qū)動(dòng)的應(yīng)用程序的流程”，這意味著被越獄的GenAI模型“可以改變應(yīng)用程序的執(zhí)行流程并觸發(fā)惡意活動(dòng)”。

什么是PromptWare?

研究人員將PromptWare稱(chēng)為零點(diǎn)擊惡意軟件攻擊，因?yàn)樗恍枰{行為者在執(zhí)行攻擊之前已經(jīng)入侵GenAI應(yīng)用程序。

可以將PromptWares視為由用戶(hù)輸入的包含越獄命令的命令，這些命令迫使GenAI引擎本身遵循攻擊者發(fā)布的命令，并生成額外的命令以觸發(fā)惡意活動(dòng)。

通過(guò)迫使GenAI返回所需的輸出，在應(yīng)用程序上下文中協(xié)調(diào)惡意活動(dòng)，從而實(shí)現(xiàn)惡意活動(dòng)。在GenAI驅(qū)動(dòng)的應(yīng)用程序的背景下，被越獄的引擎被轉(zhuǎn)向應(yīng)用程序本身，允許攻擊者決定執(zhí)行流程。結(jié)果將取決于應(yīng)用程序本身的權(quán)限、上下文、實(shí)施和架構(gòu)。

雖然GenAI引擎確實(shí)有防護(hù)措施和安全保障，如輸入和輸出過(guò)濾，旨在防止此類(lèi)模型的濫用，但研究人員發(fā)現(xiàn)了多種技術(shù)，可以讓越獄仍然成功。

為了展示攻擊者如何利用對(duì)GenAI應(yīng)用程序邏輯的了解，通過(guò)特定的用戶(hù)輸入強(qiáng)制實(shí)現(xiàn)惡意結(jié)果，研究人員揭示了PromptWare如何用于對(duì)基于計(jì)劃和執(zhí)行的應(yīng)用程序執(zhí)行拒絕服務(wù)(DoS)攻擊。他們寫(xiě)道：“我們展示了攻擊者可以向GenAI驅(qū)動(dòng)的應(yīng)用程序提供簡(jiǎn)單的用戶(hù)輸入，迫使應(yīng)用程序執(zhí)行進(jìn)入無(wú)限循環(huán)，從而觸發(fā)對(duì)GenAI引擎的無(wú)限API調(diào)用(浪費(fèi)諸如不必要API調(diào)用和計(jì)算資源等資源)，并阻止應(yīng)用程序達(dá)到最終狀態(tài)?！?/p>

執(zhí)行這種DoS攻擊的步驟如下：

1. 攻擊者通過(guò)GenAI助手向用戶(hù)發(fā)送電子郵件。

2. GenAI應(yīng)用程序通過(guò)查詢(xún)GenAI引擎以獲取計(jì)劃，并將其作為草稿回復(fù)。

3. 應(yīng)用程序通過(guò)查詢(xún)用戶(hù)的日歷API執(zhí)行找到合適時(shí)間安排請(qǐng)求會(huì)議的任務(wù)。

4. 應(yīng)用程序使用GenAI引擎執(zhí)行任務(wù)。

5. 應(yīng)用程序執(zhí)行EmailChecker任務(wù)并確定其不安全。

6. 應(yīng)用程序執(zhí)行重新措辭任務(wù)。

7. 應(yīng)用程序再次執(zhí)行EmailChecker任務(wù)并確定其不安全。

8. 這樣就創(chuàng)建了一個(gè)無(wú)限循環(huán)，從而執(zhí)行了DoS攻擊。

什么是高級(jí)PromptWare威脅(Advanced PromptWare Threat)?

研究人員稱(chēng)，更復(fù)雜的基本PromptWare攻擊版本為高級(jí)PromptWare威脅(APwT)。即使目標(biāo)GenAI應(yīng)用程序的邏輯對(duì)威脅行為者未知，APwT攻擊也可以使用。研究人員展示了攻擊者如何使用一個(gè)對(duì)抗性的自我復(fù)制提示，基于實(shí)時(shí)過(guò)程自動(dòng)確定和執(zhí)行惡意活動(dòng)，以理解應(yīng)用程序本身的上下文、涉及的資產(chǎn)和可能造成的損害。

本質(zhì)上，APwT攻擊使用GenAI引擎自身的能力，通過(guò)六步過(guò)程在“推理時(shí)間”內(nèi)發(fā)起殺鏈：

1. 特權(quán)升級(jí)：自我復(fù)制提示越獄GenAI引擎，以確保GenAI引擎的推理繞過(guò)GenAI引擎的防護(hù)措施。

2. 偵察A：自我復(fù)制提示查詢(xún)GenAI引擎關(guān)于應(yīng)用程序的上下文。

3. 偵察B：自我復(fù)制提示查詢(xún)GenAI引擎關(guān)于應(yīng)用程序資產(chǎn)的信息。

4. 推理?yè)p害：自我復(fù)制提示指示GenAI引擎使用偵察中獲得的信息推理可能造成的損害。

5. 決定損害：自我復(fù)制提示指示GenAI引擎使用信息從不同的替代方案中決定惡意活動(dòng)。

6. 執(zhí)行：自我復(fù)制提示指示GenAI執(zhí)行惡意活動(dòng)。

研究人員展示的示例顯示，攻擊者無(wú)需了解GenAI引擎邏輯即可發(fā)起一個(gè)殺鏈，從而觸發(fā)SQL表的修改，可能改變用戶(hù)通過(guò)GenAI驅(qū)動(dòng)的購(gòu)物應(yīng)用程序購(gòu)買(mǎi)商品的價(jià)格。

AI開(kāi)發(fā)者和安全專(zhuān)家對(duì)PromptWare研究的回應(yīng)

我聯(lián)系了Google和OpenAI，要求他們對(duì)PromptWare研究發(fā)表聲明。Google在發(fā)布前沒(méi)有回應(yīng)，然而，OpenAI的一位發(fā)言人表示：“我們一直在改進(jìn)內(nèi)置于我們模型中的防護(hù)措施，以抵御像越獄這樣的對(duì)抗性攻擊。我們感謝研究人員分享他們的發(fā)現(xiàn)，并將繼續(xù)根據(jù)反饋定期更新我們的模型。我們?nèi)匀恢铝τ诖_保人們能夠從安全的AI中受益?！?/p>

Checkmarx的安全研究主管Erez Yalon說(shuō)：“大型語(yǔ)言模型和GenAI助手是現(xiàn)代軟件供應(yīng)鏈中的最新組成部分，像開(kāi)源包、容器和其他組件一樣，我們需要以謹(jǐn)慎的態(tài)度對(duì)待它們。我們看到越來(lái)越多的惡意行為者試圖通過(guò)不同的組件(包括有偏見(jiàn)的、感染的和中毒的LLM)來(lái)攻擊軟件供應(yīng)鏈。如果越獄的GenAI實(shí)現(xiàn)可以成為攻擊向量，毫無(wú)疑問(wèn)，它將成為許多攻擊者武器庫(kù)的一部分?！?/p>