雖然大語言模型(LLM)應(yīng)用正在全球快速普及，但企業(yè)對大語言模型的威脅態(tài)勢仍然缺乏全面了解。面對大語言模型風(fēng)險的不確定性，企業(yè)希望在保障其安全性的基礎(chǔ)上加快

應(yīng)用腳步，用人工智能提升企業(yè)核心競爭力，這意味著企業(yè)的CISO面臨著理解和應(yīng)對新興人工智能威脅的巨大壓力。

人工智能威脅態(tài)勢每天都在變化，企業(yè)安全團隊?wèi)?yīng)當(dāng)優(yōu)先關(guān)注和處理那些對企業(yè)運營構(gòu)成重大風(fēng)險的大語言模型漏洞。如果網(wǎng)絡(luò)安全團隊能夠深入了解這些漏洞及其緩解措施，企業(yè)就可以大膽放手一搏，利用大語言模型加速創(chuàng)新，而無需過度擔(dān)心風(fēng)險。

以下，我們將簡要介紹四類大語言模型重大風(fēng)險及其緩解措施：

一、提示注入攻擊和數(shù)據(jù)泄露

對于大語言模型來說，數(shù)據(jù)泄露是最受關(guān)注的重大風(fēng)險。大語言模型可能會被“誘騙”披露敏感的企業(yè)或用戶信息，從而導(dǎo)致一系列隱私和安全問題。提示泄漏是另一個大問題，如果惡意用戶訪問系統(tǒng)提示，公司的知識產(chǎn)權(quán)可能會受到損害。

這兩個漏洞都與提示注入有關(guān)，直接和間接提示注入攻擊如今都變得越來越普遍，并且會帶來嚴重的后果。

成功的提示注入攻擊可能會導(dǎo)致跨插件請求偽造、跨站點腳本編寫和訓(xùn)練數(shù)據(jù)提取，這些都會使公司機密、個人用戶數(shù)據(jù)和重要訓(xùn)練數(shù)據(jù)面臨風(fēng)險。

因此，企業(yè)需要在整個人工智能應(yīng)用開發(fā)生命周期中實施檢查系統(tǒng)。從采購和處理數(shù)據(jù)到選擇和訓(xùn)練應(yīng)用程序，每一步都應(yīng)該受到限制，以降低違規(guī)風(fēng)險。與大語言模型打交道時，沙箱、白名單和API網(wǎng)關(guān)等常規(guī)安全實踐同樣有價值(如果不是更有價值的話)。除此之外，在將插件與大語言模型應(yīng)用程序集成之前，安全團隊?wèi)?yīng)仔細審查所有插件，并人工審核批準所有高權(quán)限任務(wù)，這一點至關(guān)重要。

二、模型數(shù)據(jù)中毒攻擊

人工智能模型的有效性取決于數(shù)據(jù)質(zhì)量。但在整個模型開發(fā)過程中——從預(yù)訓(xùn)練到微調(diào)和嵌入——訓(xùn)練數(shù)據(jù)集很容易受到黑客的攻擊。

大多數(shù)企業(yè)利用第三方模型，由未知人員管理數(shù)據(jù)，網(wǎng)絡(luò)團隊不能盲目相信數(shù)據(jù)沒有被篡改。無論使用第三方還是自有模型，總會存在不良行為者帶來“數(shù)據(jù)中毒”的風(fēng)險，這可能會對模型性能產(chǎn)生重大影響，從而損害品牌聲譽。

開源AutoPoison框架(https://github.com/azshue/AutoPoison/blob/main/assets/intro.png)清楚地描述了數(shù)據(jù)中毒攻擊如何在指令調(diào)整過程中影響模型。此外，以下是網(wǎng)絡(luò)安全團隊可以實施的一系列風(fēng)險環(huán)節(jié)策略，可以以降低風(fēng)險并最大限度地提高人工智能模型的性能：

供應(yīng)鏈審查：通過嚴密的安全措施審查供應(yīng)鏈，以驗證數(shù)據(jù)源是否干凈。提出諸如“數(shù)據(jù)是如何收集的?”之類的問題。以及“是否征得用戶同意和并符合道德規(guī)則?”此外，還需要詢問數(shù)據(jù)標注者的身份、他們的資格以及標簽中是否存在任何偏差或不一致。此外，解決數(shù)據(jù)所有權(quán)和許可問題，包括誰擁有數(shù)據(jù)以及許可條款和條件。

數(shù)據(jù)清理和清理：在數(shù)據(jù)進入模型之前，請務(wù)必檢查所有數(shù)據(jù)和來源。例如，PII在放入模型之前必須進行編輯。

紅隊演習(xí)：在模型生命周期的測試階段進行以大語言模型為重點的紅隊演習(xí)。具體包括：優(yōu)先考慮涉及操縱訓(xùn)練數(shù)據(jù)以注入惡意代碼、偏見或有害內(nèi)容的測試場景，并采用各種攻擊方法，包括對抗性輸入、中毒攻擊和模型提取技術(shù)。

三、互聯(lián)系統(tǒng)的API風(fēng)險

GPT-4等高級模型經(jīng)常會被集成到與其他應(yīng)用程序通信的系統(tǒng)中。但只要涉及API，下游系統(tǒng)就會面臨風(fēng)險，一個惡意提示就可能會對互連系統(tǒng)產(chǎn)生多米諾骨牌效應(yīng)。為了降低這種風(fēng)險，請考慮以下事項：

如果允許大語言模型調(diào)用外部API，請在執(zhí)行潛在破壞性操作之前請求用戶確認。

在不同系統(tǒng)互連之前審查大語言模型輸出。檢查它們是否存在可能導(dǎo)致遠程代碼執(zhí)行(RCE)等風(fēng)險的潛在漏洞。

請?zhí)貏e注意這些輸出促進不同計算機系統(tǒng)之間交互的場景。

為互連系統(tǒng)中涉及的所有API實施強大的安全措施。

使用強大的身份驗證和授權(quán)協(xié)議來防止未經(jīng)授權(quán)的訪問和數(shù)據(jù)泄露。

監(jiān)控API活動是否存在異常和可疑行為跡象，例如異常請求模式或嘗試利用漏洞。

四、大模型DoS攻擊

網(wǎng)絡(luò)帶寬飽和漏洞可能被攻擊者利用實施拒絕服務(wù)(DoS)攻擊，可導(dǎo)致大語言模型使用成本飆升。

在模型拒絕服務(wù)攻擊中，攻擊者以過度消耗資源(例如帶寬或系統(tǒng)處理能力)的方式使用模型，最終損害目標系統(tǒng)的可用性。反過來，此類攻擊可導(dǎo)致大模型服務(wù)質(zhì)量下降和天價賬單。由于DoS攻擊對于網(wǎng)絡(luò)安全領(lǐng)域來說并不新鮮，因此可以采用多種策略來防御模型拒絕服務(wù)攻擊并降低成本快速上升的風(fēng)險：

速率限制：實施速率限制以防止系統(tǒng)因過多請求而不堪重負。確定應(yīng)用程序的正確速率限制取決于模型大小和復(fù)雜性、硬件和基礎(chǔ)設(shè)施以及平均請求數(shù)和峰值使用時間。

字符限制：對用戶可以在查詢中包含的字符數(shù)設(shè)置限制，以米便大模型的API資源耗盡。

框架提供商的方法：利用框架提供商提供的方法來加強對攻擊的防御。例如，如果您使用LangChain，請考慮使用max_iterations參數(shù)。

保護大語言模型需要采取多種方法，涵蓋數(shù)據(jù)處理、模型訓(xùn)練、系統(tǒng)集成和資源使用。通過實施以上建議策略并保持警惕，企業(yè)無需因噎廢食，在充分利用大語言模型能力的同時，最大限度地降低相關(guān)風(fēng)險。