ChatGPT 自去年年底發(fā)布以來，在全球范圍都引起了轟動。但 ChatGPT 在消費者和 IT 專業(yè)人士中的受歡迎程度同時也激起了系統(tǒng)漏洞被利用的網(wǎng)絡(luò)安全噩夢。網(wǎng)絡(luò)安全專家已經(jīng)證明，問題的關(guān)鍵點在于 ChatGPT 和其他大型語言模型（LLM）生成多態(tài)或變異代碼以規(guī)避端點檢測和響應(yīng)(EDR)系統(tǒng)的能力。

最近的一系列概念驗證攻擊展示了如何創(chuàng)建一個看似良性的可執(zhí)行文件，以便在運行時，它能對 ChatGPT 進(jìn)行 API 調(diào)用。除了復(fù)制已經(jīng)編寫的代碼片段的示例，ChatGPT 還可以在提示下生成惡意代碼的動態(tài)、變異版本，從而使網(wǎng)絡(luò)安全工具難以檢測到由此產(chǎn)生的漏洞利用。

“ChatGPT 降低了黑客的標(biāo)準(zhǔn)，使用 AI 模型的惡意行為者可被視為現(xiàn)代的‘腳本小子’。”網(wǎng)絡(luò)安全公司 GitGuardian 的開發(fā)人員 Mackenzie Jackson 表示，“ChatGPT 被欺騙生產(chǎn)惡意軟件并不算具有開創(chuàng)性，但隨著模型變得更好，更多的樣本數(shù)據(jù)被消耗以及不同的產(chǎn)品進(jìn)入市場，人工智能最終創(chuàng)建出的惡意軟件，可能只能被其他用于防御的人工智能系統(tǒng)檢測到。誰也不知道這場比賽哪一方會贏?！?/span>

提示繞過過濾器以創(chuàng)建惡意代碼

ChatGPT 和其他 LLM 具有內(nèi)容過濾器，可以禁止它們服從一些命令或者提示生成有害內(nèi)容，例如惡意代碼。但是內(nèi)容過濾器可以被繞過。

幾乎所有被報道的通過 ChatGPT 完成的漏洞利用都是通過所謂的“提示工程”實現(xiàn)的，即修改輸入提示以繞過工具的內(nèi)容過濾器并檢索所需輸出的做法。例如，早期用戶發(fā)現(xiàn)，他們可以讓 ChatGPT 創(chuàng)建它不應(yīng)該創(chuàng)建的內(nèi)容——通過“越獄”程序，即在提示框創(chuàng)建假定情景，例如在要求它做某事時，假設(shè)它不是人工智能，而是一個意圖造成傷害的惡意人員。

“ChatGPT 對系統(tǒng)制定了一些限制，例如過濾器限制了 ChatGPT 通過評估問題上下文提供答案的范圍，”專注于 Kubernetes 的網(wǎng)絡(luò)安全公司 KSOC 的安全研究主管 Andrew Josephides 說，“如果你要求 ChatGPT 給你寫一個惡意代碼，它會拒絕這個請求。如果你要求 ChatGPT 編寫能夠有效執(zhí)行你打算實現(xiàn)的惡意功能的代碼，ChatGPT 可能會為你構(gòu)建該代碼。”

Josephides 認(rèn)為，每次更新，ChatGPT 都變得更加難以成為惡意軟件，但隨著不同的模型和產(chǎn)品進(jìn)入市場，要防止 LLM 被用于惡意目的，我們不能只依靠內(nèi)容過濾器。

誘使 ChatGPT 利用它被過濾器封閉的能力可能會為一些用戶生成有效的惡意代碼。并且運用 ChatGPT 修改和微調(diào)結(jié)果還可以使代碼呈現(xiàn)多態(tài)性。

例如，一個看起來無害的 Python 可執(zhí)行文件可以生成一個查詢發(fā)送到 ChatGPT API，以便在每次運行該可執(zhí)行文件時處理不同版本的惡意代碼。這樣，惡意操作就會在 exec ()函數(shù)之外執(zhí)行。這項技術(shù)如果用來生成一個變異、多態(tài)的惡意軟件程序，將難以被威脅掃描儀檢測到。

多態(tài)惡意軟件的現(xiàn)有概念證明

今年早些時候，威脅檢測公司 HYAS InfoSec 的首席安全工程師Jeff Sims 發(fā)表了一份概念驗證白皮書，為這種漏洞提供了一個工作模型。他演示了如何在運行時使用提示工程和查詢 ChatGPT API 來構(gòu)建多態(tài)鍵盤記錄器有效負(fù)載，稱之為 BlackMamba。

實際上，BlackMamba 是一個 Python 可執(zhí)行文件，它提示 ChatGPT 的 API 構(gòu)建一個惡意的鍵盤記錄器，該鍵盤記錄器在運行時使每個調(diào)用進(jìn)行變異，使其具有多態(tài)性，并規(guī)避端點和響應(yīng)(EDR)過濾器。

“Python 的 exec（）函數(shù)是一個內(nèi)置功能，允許你在運行時動態(tài)執(zhí)行Python 代碼，”Sims 說，“它獲取一個字符串，其中包含要作為輸入執(zhí)行的代碼，然后執(zhí)行該代碼。Exec ()函數(shù)通常用于動態(tài)修改程序，這意味著可以通過在程序運行時執(zhí)行新代碼來改變運行程序的行為?！?/span>

在BlackMamba 的背景下，“在產(chǎn)生生成響應(yīng)時，多態(tài)性的上限受到提示工程師的創(chuàng)造力（輸入的創(chuàng)造力）和模型訓(xùn)練數(shù)據(jù)的質(zhì)量的限制。”Sims 說。

在BlackMamba 概念驗證中，在收集擊鍵后，數(shù)據(jù)通過 web hook（一種基于 HTTP 的回調(diào)函數(shù)，允許 API 之間進(jìn)行事件驅(qū)動的通信）提取到微軟團(tuán)隊的一個頻道。據(jù)西姆斯說，BlackMamba 多次回避了一個“行業(yè)領(lǐng)先”的 EDR 應(yīng)用程序。

網(wǎng)絡(luò)安全公司 CyberArk 的 Eran Shimony 和 Omer Tsarfati 創(chuàng)建了一個單獨的概念驗證程序，在惡意軟件中使用了 ChatGPT。該惡意軟件包括“一個 Python 解釋器，它定期查詢 ChatGPT，尋找執(zhí)行惡意行為的新模塊，”Shimony 和 Tsarfati 在一篇解釋概念驗證的博客中寫道?！巴ㄟ^從 ChatGPT 請求特定功能，如代碼注入、文件加密或持久性，我們可以很容易地獲得新代碼或修改現(xiàn)有代碼。”

與黑曼巴不同，ChattyCat 并不是針對特定類型的惡意軟件，但它提供了一個模板來構(gòu)建各種各樣的惡意軟件，包括勒索軟件和信息竊取程序。

“我們的POC，ChattyCaty，是一個開源項目，演示了使用 GPT 模型創(chuàng)建多態(tài)程序的基礎(chǔ)設(shè)施，”Tsarfati 說，“多態(tài)性可用于逃避防病毒/惡意軟件程序的檢測?！?/span>

Shimony 和 Tsarfati 還發(fā)現(xiàn)，與最初的在線版本相比，ChatGPT API 中的內(nèi)容過濾器似乎更弱了。

“有趣的是，在使用API 時，ChatGPT系統(tǒng)似乎沒有利用其內(nèi)容過濾器。目前還不清楚為什么會這樣，但它使我們的任務(wù)變得更加容易，因為網(wǎng)絡(luò)版本往往會陷入更復(fù)雜的請求?！盨himony 和 Tsarfati 在他們的博客中寫道。

監(jiān)管 AI 以提高安全性

盡管世界各國政府都在努力解決如何監(jiān)管人工智能以防止傷害的問題，但中國是迄今為止唯一頒布新規(guī)定的大國。專家們提出了不同的方法來控制生成性人工智能的潛在危害。

“目前控制人工智能問題的解決方案似乎是‘增加更多人工智能’，我認(rèn)為這可能不現(xiàn)實，”Forrester 分析師Jeff Pollard說。“為了真正為這些解決方案添加正確的控制層，我們需要更好地解釋和觀察系統(tǒng)中的上下文。這些應(yīng)該與 API 相結(jié)合，用于提供有意義的細(xì)節(jié)，并提供目前似乎不存在的管理能力?！?/span>

然而，監(jiān)管生成人工智能將是困難的，因為技術(shù)行業(yè)仍處于了解其能力的初級階段，分析師和咨詢公司 Enterprise Management Associate 的研究總監(jiān) Chris Steffen 認(rèn)為。

“監(jiān)管的前景并不樂觀。原因是 ChatGPT 是擁有無窮無盡可能性的事物，想要為 GPT 實例可能涵蓋的所有情況做好準(zhǔn)備將是非常困難的，”Steffen 說?！疤貏e是在以下領(lǐng)域?qū)永щy：如何監(jiān)管，使用的流程以及責(zé)任的歸屬?！?/span>

作者：Shweta Sharma

原文鏈接：ChatGPT creates mutating malware that evades detection by EDR | CSO Online