研究發(fā)現(xiàn)，自2023年4月至2024年1月期間，AI/ML 工具使用量飆升了594.82%。在2024大模型應(yīng)用元年，多參數(shù)、高精度的 AI 大模型成就新質(zhì)生產(chǎn)力的同時(shí)，也暴露出了諸多更復(fù)雜的安全風(fēng)險(xiǎn)。基于負(fù)責(zé)任的 AI 倫理需求，保障 AI 大模型的可靠實(shí)用、安全真實(shí)，不僅成為亟待突破的智能化瓶頸，也是保障數(shù)字化安全的關(guān)鍵課題。

延伸閱讀，點(diǎn)擊鏈接了解 Akamai API Security

Akamai“蜀”智出海，從“蓉”上云主題分布式云戰(zhàn)略高峰論壇上，上海觀安信息網(wǎng)絡(luò)安全專家，OWASP 上海分會(huì)主席王文君先生，圍繞 AI 大模型本身的安全問(wèn)題，系統(tǒng)梳理了當(dāng)下泛濫的 AI 大模型十大威脅，并提出了制度先行、實(shí)踐框架、安全工具三個(gè)層次的安全產(chǎn)業(yè)合作策略。

AI 大模型風(fēng)險(xiǎn)圖形化

提示詞注入攻擊過(guò)程中，攻擊者會(huì)通過(guò)刻意輸入惡意提示詞，操縱大型語(yǔ)言模型，導(dǎo)致大模型執(zhí)行意外操作，輸出敏感信息。具體類別分為直接注入和間接注入。提示詞直接注入，會(huì)覆蓋系統(tǒng)提示詞；而間接注入，會(huì)隱藏惡意指令，通過(guò)文檔、網(wǎng)頁(yè)、圖像等載體進(jìn)行注入攻擊，繞過(guò)大模型的安全檢測(cè)機(jī)制。

間接提示詞注入，更考驗(yàn)黑客的思維創(chuàng)造能力，通常隱藏著更大危害。由于訓(xùn)練成本與獲取實(shí)時(shí)數(shù)據(jù)的瓶頸問(wèn)題，大模型應(yīng)用過(guò)程中多涉及與插件操作，一旦大模型用插件去訪問(wèn)被攻擊者操控的目標(biāo)網(wǎng)站，攻擊者 payload 返給大模型處理后，大模型用戶將可能遭遇數(shù)據(jù)泄露等威脅。

透視不安全的輸出處理攻擊路徑，黑客會(huì)精心構(gòu)造惡意查詢輸入大模型，當(dāng)大模型輸出未經(jīng)處理而被上游系統(tǒng)直接使用，則會(huì)出現(xiàn)此漏洞暴露上游系統(tǒng)，返回帶有惡意代碼的輸出，此類濫用可能會(huì)導(dǎo)致 XSS、CSRF、SSRF、權(quán)限升級(jí)或遠(yuǎn)程代碼執(zhí)行等嚴(yán)重后果。

黑客可能會(huì)使用包含提示注入指令等網(wǎng)站摘要提取工具，捕獲用戶對(duì)話敏感內(nèi)容；后續(xù)大模型直接將響應(yīng)傳遞給插件做惡意操作，而沒(méi)有適當(dāng)?shù)妮敵鲵?yàn)證，則會(huì)加劇風(fēng)險(xiǎn)。因此一旦產(chǎn)生敏感信息、集成代碼等不安全的輸出處理時(shí)，不應(yīng)該盲目信任、直接渲染，可能要做一些過(guò)濾、分析來(lái)進(jìn)行處理。

數(shù)據(jù)、算法、算力，是人工智能“三駕馬車”。訓(xùn)練數(shù)據(jù)投毒，是污染 AI 大模型的惡劣手段，會(huì)嚴(yán)重破壞 AI 向善格局。黑客會(huì)操縱預(yù)訓(xùn)練數(shù)據(jù)或在微調(diào)或嵌入過(guò)程中涉及的數(shù)據(jù)，以引入可能危害模型安全性或道德行為的漏洞、后門或偏見(jiàn)內(nèi)容。

投毒的信息可能會(huì)被呈現(xiàn)給用戶，或者造成其他風(fēng)險(xiǎn)，如性能下降、下游軟件濫用和聲譽(yù)損害。惡意行為者或競(jìng)爭(zhēng)對(duì)手，故意針對(duì)大模型的預(yù)訓(xùn)練、微調(diào)或嵌入數(shù)據(jù)進(jìn)行投毒，使之輸出不正確的內(nèi)容。而另一種攻擊場(chǎng)景，可能是大模型使用未經(jīng)驗(yàn)證的數(shù)據(jù)進(jìn)行訓(xùn)練，則會(huì)致使虛假信息泛濫。

如果說(shuō)訓(xùn)練數(shù)據(jù)投毒是對(duì) LLM 資源的污染，那么大模型拒絕服務(wù)就是對(duì)資源的浪費(fèi)。在此過(guò)程中，攻擊者會(huì)對(duì)大模型進(jìn)行資源密集型操作，導(dǎo)致服務(wù)降級(jí)或高成本。由于 LLM 的資源密集型性質(zhì)和用戶輸入的不可預(yù)測(cè)性，該漏洞可能會(huì)被放大。

攻擊者持續(xù)不斷地向大模型發(fā)送消耗資源的操作（生成圖像和視頻），攻擊者會(huì)通過(guò)制作利用大模型遞歸行為的輸入，占用大量計(jì)算資源。在應(yīng)用高峰期，大模型拒絕服務(wù)循環(huán)運(yùn)轉(zhuǎn)的話，將會(huì)對(duì)大模型的常態(tài)性能造成巨大沖擊。

供應(yīng)鏈風(fēng)險(xiǎn)是近年來(lái)的熱門安全話題，不只是與勒索軟件形成協(xié)同威脅，還會(huì)滲透至大模型應(yīng)用程序的生命周期中，通過(guò)薄弱環(huán)節(jié)的組件或服務(wù)生成攻擊。使用第三方數(shù)據(jù)集、預(yù)先訓(xùn)練的模型和插件，都有可能引起大模型應(yīng)用的供應(yīng)鏈風(fēng)險(xiǎn)。譬如，攻擊者利用 PyPi 軟件包發(fā)布惡意庫(kù)，對(duì)Hugging Face市場(chǎng)上的大模型文件進(jìn)行反序列化，篡改了一個(gè)公開可用的預(yù)訓(xùn)練模型，將誘餌部署在 Hugging Face 模型市場(chǎng)上，等待潛在受害者下載使用。

大模型應(yīng)用程序根據(jù)用戶輸入查詢，可能會(huì)輸出敏感信息，可能導(dǎo)致未經(jīng)授權(quán)訪問(wèn)敏感數(shù)據(jù)、知識(shí)產(chǎn)權(quán)，侵犯隱私和其他安全漏洞。攻擊者通過(guò)精心設(shè)計(jì)的一組提示詞，向大模型發(fā)送間接提示詞注入，會(huì)繞過(guò)防護(hù)機(jī)制，沒(méi)有通過(guò)脫敏而泄漏到訓(xùn)練模型中去。大模型的重要應(yīng)用場(chǎng)景，便是扮演個(gè)人辦公助手，通過(guò)處理郵件、自動(dòng)匯總會(huì)議信息等方式，釋放企業(yè)員工的生產(chǎn)力。圍繞該場(chǎng)景，黑客可能借助插件獲取受害者的郵件，竊取用戶的敏感信息。配合上網(wǎng)絡(luò)釣魚與虛假網(wǎng)站，黑客的社會(huì)工程攻擊會(huì)產(chǎn)生更大的破壞力。

插件的存在，拓展與繁榮了大模型創(chuàng)新生態(tài)，但若缺失對(duì)相關(guān)調(diào)用 API 的安全管控，會(huì)帶來(lái)顯著危害。而大模型插件一旦未正確處理輸入以及沒(méi)有充分進(jìn)行權(quán)限控制，攻擊者便可以利用漏洞進(jìn)行攻擊，如遠(yuǎn)程代碼執(zhí)行。

啟用大模型插件時(shí)，會(huì)在用戶與大模型交互時(shí)自動(dòng)調(diào)用。插件接受來(lái)自大模型輸入文本而不進(jìn)行驗(yàn)證，這使得攻擊者可以構(gòu)造惡意請(qǐng)求發(fā)送給插件，造成高風(fēng)險(xiǎn)威脅。如天氣預(yù)報(bào)插件接受基本 URL 獲取天氣情況，黑客通過(guò)精心構(gòu)造 URL 指向控制域名執(zhí)行命令，會(huì)影響下游插件，若使用間接提示注入來(lái)操縱代碼管理插件，可造成刪庫(kù)風(fēng)險(xiǎn)。

凡事適度，即便身處大模型時(shí)代，過(guò)于相信大模型也會(huì)陷入過(guò)度代理的險(xiǎn)境。造成此類風(fēng)險(xiǎn)的根本原因通常是功能過(guò)多、權(quán)限過(guò)多或自主權(quán)過(guò)多。過(guò)度代理會(huì)允許在大模型在出現(xiàn)意外時(shí)（如通過(guò)直接或間接提示注入等）會(huì)執(zhí)行破壞性操作。針對(duì) AI 大模型扮演個(gè)人智能助理場(chǎng)景，社會(huì)工程類攻擊者會(huì)編造一封郵件內(nèi)容發(fā)給用戶。個(gè)人助理進(jìn)行處理后，若沒(méi)有限制大模型的發(fā)送郵件功能，可能發(fā)送垃圾郵件/釣魚郵件給其他用戶，而文檔的插件會(huì)允許用戶執(zhí)行刪除操作，而無(wú)需用戶的任何確認(rèn)。

過(guò)度代理不可取，過(guò)度依賴不可信。雖然大模型可以生成創(chuàng)意內(nèi)容，但它們也可能是生成不準(zhǔn)確、不適當(dāng)或不安全的內(nèi)容幻覺(jué)。過(guò)度依賴大模型可能會(huì)導(dǎo)致錯(cuò)誤信息、法律問(wèn)題和安全漏洞。相信不少大模型用戶都會(huì)遇到過(guò)大模型“一本正經(jīng)地胡說(shuō)八道”的 AI 幻覺(jué)時(shí)刻。無(wú)意識(shí)的 AI 可能會(huì)進(jìn)行內(nèi)容剽竊，導(dǎo)致版權(quán)問(wèn)題和對(duì)組織的信任度下降。例如，軟件開發(fā)公司使用大模型來(lái)協(xié)助開發(fā)者，同時(shí)開發(fā)人員完全信任 AI，可能無(wú)意中將惡意包集成到公司的軟件中，這將會(huì)埋下隱蔽的風(fēng)險(xiǎn)隱患。

模型失竊威脅，是指具有知識(shí)產(chǎn)權(quán)的私有大模型被盜取、復(fù)制或權(quán)重和參數(shù)被提取，以創(chuàng)建一個(gè)功能等效的模型。這將損害創(chuàng)新企業(yè)的經(jīng)濟(jì)和品牌聲譽(yù)、削弱競(jìng)爭(zhēng)優(yōu)勢(shì)，以及致使黑客對(duì)模型進(jìn)行未授權(quán)使用、盜取一些垂直領(lǐng)域的敏感信息等。

鑒于全球已發(fā)生多起使用AIGC導(dǎo)致的數(shù)據(jù)泄露事件，多國(guó)合規(guī)機(jī)構(gòu)升級(jí)監(jiān)管要求，當(dāng)下維護(hù) AI 大模型的安全性與可靠性，是保障各行業(yè)由數(shù)字化邁向智能化的關(guān)鍵安全基礎(chǔ)。以 AI 抗擊 AI 是當(dāng)下的主要安全策略，2024年 RSAC 創(chuàng)新沙盒大賽冠軍Reality Defender網(wǎng)絡(luò)安全公司的深度偽造檢測(cè)平臺(tái)，即善用多模型支持政府和企業(yè)檢測(cè) AI 生成的虛假內(nèi)容，已然成為網(wǎng)絡(luò)安全的新風(fēng)向。Akamai 首席執(zhí)行官兼聯(lián)合創(chuàng)始人湯姆·萊頓指出，大模型提速升級(jí)的當(dāng)下，短期內(nèi)黑客可能獲得不對(duì)稱的優(yōu)勢(shì)；但基于 Akamai AI 智能化產(chǎn)品，能支持客戶去檢測(cè)異常與受攻擊情況，監(jiān)測(cè)撞庫(kù)攻擊、盜號(hào)等情況。在未來(lái)，Akamai 也將持續(xù)對(duì) AI 與云服務(wù)進(jìn)行創(chuàng)新融合，構(gòu)建更為穩(wěn)固的安全防線。

—————————————————————————————————————————————————

如您所在的企業(yè)也想要進(jìn)一步保護(hù)API安全，

點(diǎn)擊鏈接 了解Akamai的解決方案