AI 幻覺催生新型網(wǎng)絡(luò)威脅:Slopsquatting 攻擊
網(wǎng)絡(luò)安全研究人員警告稱,由生成式AI(Generative AI)模型推薦不存在依賴項(xiàng)引發(fā)的幻覺現(xiàn)象,正導(dǎo)致一種新型軟件供應(yīng)鏈攻擊——Slopsquatting(暫譯"AI依賴項(xiàng)劫持")。來自德克薩斯大學(xué)圣安東尼奧分校、弗吉尼亞理工大學(xué)和俄克拉荷馬大學(xué)的研究團(tuán)隊(duì)發(fā)現(xiàn),大型語言模型(LLM,Large Language Model)生成的代碼普遍存在"包幻覺"現(xiàn)象,這正被威脅分子所利用。
AI推薦虛假依賴包成隱患
研究團(tuán)隊(duì)在論文中指出:"Python和JavaScript等流行編程語言對集中式軟件包倉庫和開源軟件的依賴,加上代碼生成LLM的出現(xiàn),為軟件供應(yīng)鏈帶來了新型威脅——包幻覺。"通過分析包括GPT-4、GPT-3.5、CodeLlama、DeepSeek和Mistral在內(nèi)的16個(gè)代碼生成模型,研究人員發(fā)現(xiàn)約五分之一的推薦軟件包為虛假存在。
Socket安全公司分析報(bào)告顯示:"如果某個(gè)AI工具廣泛推薦一個(gè)幻覺軟件包,而攻擊者已注冊該名稱,就可能造成大規(guī)模入侵??紤]到許多開發(fā)者未經(jīng)嚴(yán)格驗(yàn)證就信任AI輸出,這種威脅的潛在影響范圍極大。"
攻擊者利用命名規(guī)律實(shí)施劫持
這種攻擊方式被命名為Slopsquatting,由Python軟件基金會(huì)(PSF)安全開發(fā)者Seth Larson首次提出,因其與傳統(tǒng)的"typosquatting"(域名搶注)技術(shù)相似。不同之處在于,威脅分子不再依賴用戶輸入錯(cuò)誤,而是利用AI模型的推薦錯(cuò)誤。
測試樣本顯示,19.7%(20.5萬個(gè))的推薦軟件包為虛假包。開源模型(如DeepSeek和WizardCoder)的幻覺率平均達(dá)21.7%,遠(yuǎn)高于GPT-4等商業(yè)模型(5.2%)。其中CodeLlama表現(xiàn)最差(超三分之一輸出存在幻覺),GPT-4 Turbo表現(xiàn)最佳(僅3.59%幻覺率)。
持久性幻覺威脅加劇
研究發(fā)現(xiàn)這些包幻覺具有持久性、重復(fù)性和可信性三大危險(xiǎn)特征。在重復(fù)500次先前產(chǎn)生幻覺的提示詞時(shí),43%的幻覺包在連續(xù)10次運(yùn)行中每次都出現(xiàn),58%的幻覺包出現(xiàn)超過一次。研究表明:"多數(shù)幻覺并非隨機(jī)噪聲,而是模型對特定提示的可重復(fù)反應(yīng)模式。"
此外,38%的幻覺包名與真實(shí)包存在中度字符串相似性,僅13%屬于簡單拼寫錯(cuò)誤。Socket指出,這些"語義可信"的命名結(jié)構(gòu)大大增加了識別難度。
防護(hù)建議
盡管目前尚未發(fā)現(xiàn)實(shí)際攻擊案例,研究團(tuán)隊(duì)建議開發(fā)者在生產(chǎn)環(huán)境和運(yùn)行時(shí)前安裝依賴項(xiàng)掃描工具,以篩查惡意軟件包。OpenAI近期因大幅削減模型測試時(shí)間和資源而受到批評,這也被認(rèn)為是導(dǎo)致AI模型易產(chǎn)生幻覺的原因之一。安全專家強(qiáng)調(diào),倉促的安全測試會(huì)顯著增加AI系統(tǒng)的風(fēng)險(xiǎn)暴露面。