偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

AI 大模型十大威脅全面解析:如何捍衛(wèi)智能時代的安全底線?

安全
Akamai“蜀”智出海,從“蓉”上云主題分布式云戰(zhàn)略高峰論壇上,上海觀安信息網(wǎng)絡(luò)安全專家,OWASP 上海分會主席王文君先生,圍繞 AI 大模型本身的安全問題,系統(tǒng)梳理了當(dāng)下泛濫的 AI 大模型十大威脅,并提出了制度先行、實踐框架、安全工具三個層次的安全產(chǎn)業(yè)合作策略。?

研究發(fā)現(xiàn),自2023年4月至2024年1月期間,AI/ML 工具使用量飆升了594.82%。在2024大模型應(yīng)用元年,多參數(shù)、高精度的 AI 大模型成就新質(zhì)生產(chǎn)力的同時,也暴露出了諸多更復(fù)雜的安全風(fēng)險?;谪?fù)責(zé)任的 AI 倫理需求,保障 AI 大模型的可靠實用、安全真實,不僅成為亟待突破的智能化瓶頸,也是保障數(shù)字化安全的關(guān)鍵課題。

延伸閱讀,點擊鏈接了解 Akamai API Security

Akamai“蜀”智出海,從“蓉”上云主題分布式云戰(zhàn)略高峰論壇上,上海觀安信息網(wǎng)絡(luò)安全專家,OWASP 上海分會主席王文君先生,圍繞 AI 大模型本身的安全問題,系統(tǒng)梳理了當(dāng)下泛濫的 AI 大模型十大威脅,并提出了制度先行、實踐框架、安全工具三個層次的安全產(chǎn)業(yè)合作策略。

AI 大模型風(fēng)險圖形化

提示詞注入攻擊過程中,攻擊者會通過刻意輸入惡意提示詞,操縱大型語言模型,導(dǎo)致大模型執(zhí)行意外操作,輸出敏感信息。具體類別分為直接注入和間接注入。提示詞直接注入,會覆蓋系統(tǒng)提示詞;而間接注入,會隱藏惡意指令,通過文檔、網(wǎng)頁、圖像等載體進(jìn)行注入攻擊,繞過大模型的安全檢測機(jī)制。

間接提示詞注入,更考驗黑客的思維創(chuàng)造能力,通常隱藏著更大危害。由于訓(xùn)練成本與獲取實時數(shù)據(jù)的瓶頸問題,大模型應(yīng)用過程中多涉及與插件操作,一旦大模型用插件去訪問被攻擊者操控的目標(biāo)網(wǎng)站,攻擊者 payload 返給大模型處理后,大模型用戶將可能遭遇數(shù)據(jù)泄露等威脅。

透視不安全的輸出處理攻擊路徑,黑客會精心構(gòu)造惡意查詢輸入大模型,當(dāng)大模型輸出未經(jīng)處理而被上游系統(tǒng)直接使用,則會出現(xiàn)此漏洞暴露上游系統(tǒng),返回帶有惡意代碼的輸出,此類濫用可能會導(dǎo)致 XSS、CSRF、SSRF、權(quán)限升級或遠(yuǎn)程代碼執(zhí)行等嚴(yán)重后果。

黑客可能會使用包含提示注入指令等網(wǎng)站摘要提取工具,捕獲用戶對話敏感內(nèi)容;后續(xù)大模型直接將響應(yīng)傳遞給插件做惡意操作,而沒有適當(dāng)?shù)妮敵鲵炞C,則會加劇風(fēng)險。因此一旦產(chǎn)生敏感信息、集成代碼等不安全的輸出處理時,不應(yīng)該盲目信任、直接渲染,可能要做一些過濾、分析來進(jìn)行處理。

數(shù)據(jù)、算法、算力,是人工智能“三駕馬車”。訓(xùn)練數(shù)據(jù)投毒,是污染 AI 大模型的惡劣手段,會嚴(yán)重破壞 AI 向善格局。黑客會操縱預(yù)訓(xùn)練數(shù)據(jù)或在微調(diào)或嵌入過程中涉及的數(shù)據(jù),以引入可能危害模型安全性或道德行為的漏洞、后門或偏見內(nèi)容。

投毒的信息可能會被呈現(xiàn)給用戶,或者造成其他風(fēng)險,如性能下降、下游軟件濫用和聲譽(yù)損害。惡意行為者或競爭對手,故意針對大模型的預(yù)訓(xùn)練、微調(diào)或嵌入數(shù)據(jù)進(jìn)行投毒,使之輸出不正確的內(nèi)容。而另一種攻擊場景,可能是大模型使用未經(jīng)驗證的數(shù)據(jù)進(jìn)行訓(xùn)練,則會致使虛假信息泛濫。

如果說訓(xùn)練數(shù)據(jù)投毒是對 LLM 資源的污染,那么大模型拒絕服務(wù)就是對資源的浪費(fèi)。在此過程中,攻擊者會對大模型進(jìn)行資源密集型操作,導(dǎo)致服務(wù)降級或高成本。由于 LLM 的資源密集型性質(zhì)和用戶輸入的不可預(yù)測性,該漏洞可能會被放大。

攻擊者持續(xù)不斷地向大模型發(fā)送消耗資源的操作(生成圖像和視頻),攻擊者會通過制作利用大模型遞歸行為的輸入,占用大量計算資源。在應(yīng)用高峰期,大模型拒絕服務(wù)循環(huán)運(yùn)轉(zhuǎn)的話,將會對大模型的常態(tài)性能造成巨大沖擊。

供應(yīng)鏈風(fēng)險是近年來的熱門安全話題,不只是與勒索軟件形成協(xié)同威脅,還會滲透至大模型應(yīng)用程序的生命周期中,通過薄弱環(huán)節(jié)的組件或服務(wù)生成攻擊。使用第三方數(shù)據(jù)集、預(yù)先訓(xùn)練的模型和插件,都有可能引起大模型應(yīng)用的供應(yīng)鏈風(fēng)險。譬如,攻擊者利用 PyPi 軟件包發(fā)布惡意庫,對Hugging Face市場上的大模型文件進(jìn)行反序列化,篡改了一個公開可用的預(yù)訓(xùn)練模型,將誘餌部署在 Hugging Face 模型市場上,等待潛在受害者下載使用。

大模型應(yīng)用程序根據(jù)用戶輸入查詢,可能會輸出敏感信息,可能導(dǎo)致未經(jīng)授權(quán)訪問敏感數(shù)據(jù)、知識產(chǎn)權(quán),侵犯隱私和其他安全漏洞。攻擊者通過精心設(shè)計的一組提示詞,向大模型發(fā)送間接提示詞注入,會繞過防護(hù)機(jī)制,沒有通過脫敏而泄漏到訓(xùn)練模型中去。大模型的重要應(yīng)用場景,便是扮演個人辦公助手,通過處理郵件、自動匯總會議信息等方式,釋放企業(yè)員工的生產(chǎn)力。圍繞該場景,黑客可能借助插件獲取受害者的郵件,竊取用戶的敏感信息。配合上網(wǎng)絡(luò)釣魚與虛假網(wǎng)站,黑客的社會工程攻擊會產(chǎn)生更大的破壞力。

插件的存在,拓展與繁榮了大模型創(chuàng)新生態(tài),但若缺失對相關(guān)調(diào)用 API 的安全管控,會帶來顯著危害。而大模型插件一旦未正確處理輸入以及沒有充分進(jìn)行權(quán)限控制,攻擊者便可以利用漏洞進(jìn)行攻擊,如遠(yuǎn)程代碼執(zhí)行。

啟用大模型插件時,會在用戶與大模型交互時自動調(diào)用。插件接受來自大模型輸入文本而不進(jìn)行驗證,這使得攻擊者可以構(gòu)造惡意請求發(fā)送給插件,造成高風(fēng)險威脅。如天氣預(yù)報插件接受基本 URL 獲取天氣情況,黑客通過精心構(gòu)造 URL 指向控制域名執(zhí)行命令,會影響下游插件,若使用間接提示注入來操縱代碼管理插件,可造成刪庫風(fēng)險。

凡事適度,即便身處大模型時代,過于相信大模型也會陷入過度代理的險境。造成此類風(fēng)險的根本原因通常是功能過多、權(quán)限過多或自主權(quán)過多。過度代理會允許在大模型在出現(xiàn)意外時(如通過直接或間接提示注入等)會執(zhí)行破壞性操作。針對 AI 大模型扮演個人智能助理場景,社會工程類攻擊者會編造一封郵件內(nèi)容發(fā)給用戶。個人助理進(jìn)行處理后,若沒有限制大模型的發(fā)送郵件功能,可能發(fā)送垃圾郵件/釣魚郵件給其他用戶,而文檔的插件會允許用戶執(zhí)行刪除操作,而無需用戶的任何確認(rèn)。

過度代理不可取,過度依賴不可信。雖然大模型可以生成創(chuàng)意內(nèi)容,但它們也可能是生成不準(zhǔn)確、不適當(dāng)或不安全的內(nèi)容幻覺。過度依賴大模型可能會導(dǎo)致錯誤信息、法律問題和安全漏洞。相信不少大模型用戶都會遇到過大模型“一本正經(jīng)地胡說八道”的 AI 幻覺時刻。無意識的 AI 可能會進(jìn)行內(nèi)容剽竊,導(dǎo)致版權(quán)問題和對組織的信任度下降。例如,軟件開發(fā)公司使用大模型來協(xié)助開發(fā)者,同時開發(fā)人員完全信任 AI,可能無意中將惡意包集成到公司的軟件中,這將會埋下隱蔽的風(fēng)險隱患。

模型失竊威脅,是指具有知識產(chǎn)權(quán)的私有大模型被盜取、復(fù)制或權(quán)重和參數(shù)被提取以創(chuàng)建一個功能等效的模型。這將損害創(chuàng)新企業(yè)的經(jīng)濟(jì)和品牌聲譽(yù)、削弱競爭優(yōu)勢,以及致使黑客對模型進(jìn)行未授權(quán)使用、盜取一些垂直領(lǐng)域的敏感信息等。

鑒于全球已發(fā)生多起使用AIGC導(dǎo)致的數(shù)據(jù)泄露事件,多國合規(guī)機(jī)構(gòu)升級監(jiān)管要求,當(dāng)下維護(hù) AI 大模型的安全性與可靠性,是保障各行業(yè)由數(shù)字化邁向智能化的關(guān)鍵安全基礎(chǔ)。以 AI 抗擊 AI 是當(dāng)下的主要安全策略,2024年 RSAC 創(chuàng)新沙盒大賽冠軍Reality Defender網(wǎng)絡(luò)安全公司的深度偽造檢測平臺,即善用多模型支持政府和企業(yè)檢測 AI 生成的虛假內(nèi)容,已然成為網(wǎng)絡(luò)安全的新風(fēng)向。Akamai 首席執(zhí)行官兼聯(lián)合創(chuàng)始人湯姆·萊頓指出,大模型提速升級的當(dāng)下,短期內(nèi)黑客可能獲得不對稱的優(yōu)勢;但基于 Akamai AI 智能化產(chǎn)品,能支持客戶去檢測異常與受攻擊情況,監(jiān)測撞庫攻擊、盜號等情況。在未來,Akamai 也將持續(xù)對 AI 與云服務(wù)進(jìn)行創(chuàng)新融合,構(gòu)建更為穩(wěn)固的安全防線。

—————————————————————————————————————————————————

如您所在的企業(yè)也想要進(jìn)一步保護(hù)API安全,

點擊鏈接 了解Akamai的解決方案


責(zé)任編輯:張燕妮
相關(guān)推薦

2023-06-08 00:16:58

2021-04-27 10:05:46

人工智能安全威脅網(wǎng)絡(luò)安全

2019-07-04 11:33:21

信息安全安全IT

2024-08-13 15:11:57

2020-07-30 07:00:00

API安全威脅零日漏洞

2015-11-02 14:15:05

2015-10-08 09:41:51

2023-05-10 14:40:40

AI模型算力

2015-08-31 10:27:24

2012-04-10 09:44:15

2015-05-08 08:22:27

2023-12-11 22:21:12

2024-01-03 07:53:21

2016-11-09 21:33:29

2011-03-24 14:26:59

2024-03-12 08:57:39

2010-12-30 12:17:55

2019-09-03 10:09:53

數(shù)據(jù)科學(xué)數(shù)據(jù)分析美國

2011-05-24 10:33:48

2018-02-02 09:00:00

點贊
收藏

51CTO技術(shù)棧公眾號