AI 幻覺(jué)催生新型網(wǎng)絡(luò)威脅:Slopsquatting 攻擊
網(wǎng)絡(luò)安全研究人員警告稱,由生成式AI(Generative AI)模型推薦不存在依賴項(xiàng)引發(fā)的幻覺(jué)現(xiàn)象,正導(dǎo)致一種新型軟件供應(yīng)鏈攻擊——Slopsquatting(暫譯"AI依賴項(xiàng)劫持")。來(lái)自德克薩斯大學(xué)圣安東尼奧分校、弗吉尼亞理工大學(xué)和俄克拉荷馬大學(xué)的研究團(tuán)隊(duì)發(fā)現(xiàn),大型語(yǔ)言模型(LLM,Large Language Model)生成的代碼普遍存在"包幻覺(jué)"現(xiàn)象,這正被威脅分子所利用。

AI推薦虛假依賴包成隱患
研究團(tuán)隊(duì)在論文中指出:"Python和JavaScript等流行編程語(yǔ)言對(duì)集中式軟件包倉(cāng)庫(kù)和開(kāi)源軟件的依賴,加上代碼生成LLM的出現(xiàn),為軟件供應(yīng)鏈帶來(lái)了新型威脅——包幻覺(jué)。"通過(guò)分析包括GPT-4、GPT-3.5、CodeLlama、DeepSeek和Mistral在內(nèi)的16個(gè)代碼生成模型,研究人員發(fā)現(xiàn)約五分之一的推薦軟件包為虛假存在。
Socket安全公司分析報(bào)告顯示:"如果某個(gè)AI工具廣泛推薦一個(gè)幻覺(jué)軟件包,而攻擊者已注冊(cè)該名稱,就可能造成大規(guī)模入侵??紤]到許多開(kāi)發(fā)者未經(jīng)嚴(yán)格驗(yàn)證就信任AI輸出,這種威脅的潛在影響范圍極大。"
攻擊者利用命名規(guī)律實(shí)施劫持
這種攻擊方式被命名為Slopsquatting,由Python軟件基金會(huì)(PSF)安全開(kāi)發(fā)者Seth Larson首次提出,因其與傳統(tǒng)的"typosquatting"(域名搶注)技術(shù)相似。不同之處在于,威脅分子不再依賴用戶輸入錯(cuò)誤,而是利用AI模型的推薦錯(cuò)誤。
測(cè)試樣本顯示,19.7%(20.5萬(wàn)個(gè))的推薦軟件包為虛假包。開(kāi)源模型(如DeepSeek和WizardCoder)的幻覺(jué)率平均達(dá)21.7%,遠(yuǎn)高于GPT-4等商業(yè)模型(5.2%)。其中CodeLlama表現(xiàn)最差(超三分之一輸出存在幻覺(jué)),GPT-4 Turbo表現(xiàn)最佳(僅3.59%幻覺(jué)率)。
持久性幻覺(jué)威脅加劇
研究發(fā)現(xiàn)這些包幻覺(jué)具有持久性、重復(fù)性和可信性三大危險(xiǎn)特征。在重復(fù)500次先前產(chǎn)生幻覺(jué)的提示詞時(shí),43%的幻覺(jué)包在連續(xù)10次運(yùn)行中每次都出現(xiàn),58%的幻覺(jué)包出現(xiàn)超過(guò)一次。研究表明:"多數(shù)幻覺(jué)并非隨機(jī)噪聲,而是模型對(duì)特定提示的可重復(fù)反應(yīng)模式。"
此外,38%的幻覺(jué)包名與真實(shí)包存在中度字符串相似性,僅13%屬于簡(jiǎn)單拼寫錯(cuò)誤。Socket指出,這些"語(yǔ)義可信"的命名結(jié)構(gòu)大大增加了識(shí)別難度。
防護(hù)建議
盡管目前尚未發(fā)現(xiàn)實(shí)際攻擊案例,研究團(tuán)隊(duì)建議開(kāi)發(fā)者在生產(chǎn)環(huán)境和運(yùn)行時(shí)前安裝依賴項(xiàng)掃描工具,以篩查惡意軟件包。OpenAI近期因大幅削減模型測(cè)試時(shí)間和資源而受到批評(píng),這也被認(rèn)為是導(dǎo)致AI模型易產(chǎn)生幻覺(jué)的原因之一。安全專家強(qiáng)調(diào),倉(cāng)促的安全測(cè)試會(huì)顯著增加AI系統(tǒng)的風(fēng)險(xiǎn)暴露面。























