由大型語(yǔ)言模型(LLM)驅(qū)動(dòng)的流行AI聊天機(jī)器人往往無(wú)法就任何主題提供準(zhǔn)確的信息，但研究人員預(yù)計(jì)，威脅行為者將加大努力，誘使這些聊天機(jī)器人輸出可能對(duì)他們有利的信息，如釣魚(yú)網(wǎng)址和虛假下載頁(yè)面。

呈現(xiàn)錯(cuò)誤且可能惡意的URL

通過(guò)SEO投毒和惡意廣告，使用Google或其他搜索引擎搜索登錄頁(yè)面和軟件已變得如同雷區(qū)：如果你不知道如何識(shí)別假冒/偽裝網(wǎng)站，你的憑據(jù)將被盜取，設(shè)備也將被感染。

部分由于這個(gè)原因，部分由于搜索引擎在展示相關(guān)信息方面表現(xiàn)不佳，用戶(hù)開(kāi)始慢慢轉(zhuǎn)向AI聊天機(jī)器人獲取信息。

就目前而言，這些聊天機(jī)器人的結(jié)果可能更為切題且提供得更快，但所提供的信息往往不準(zhǔn)確，原因可能是大型語(yǔ)言模型出錯(cuò)/被欺騙，或者它直接“編造”(即，虛構(gòu))了答案。

舉例來(lái)說(shuō)：Netcraft研究人員最近要求由GPT-4.1系列模型驅(qū)動(dòng)的聊天機(jī)器人展示50個(gè)不同品牌(涵蓋金融、零售、科技和公用事業(yè)等行業(yè))的登錄頁(yè)面，結(jié)果它們?cè)?6%的情況下給出了正確答案。

但返回的域名中有5%屬于無(wú)關(guān)但合法的企業(yè)，而高達(dá)29%(即28個(gè)域名)的域名未注冊(cè)、已停放或沒(méi)有活躍內(nèi)容。

“這意味著，所有建議的域名中有34%并非品牌所有，且可能有害，更糟糕的是，許多未注冊(cè)的域名很容易被攻擊者認(rèn)領(lǐng)并用作惡意用途，這為大規(guī)模釣魚(yú)活動(dòng)打開(kāi)了大門(mén)，而這些活動(dòng)間接得到了用戶(hù)信任的AI工具的認(rèn)可?！彼麄冎赋觥?/p>

流行的搜索引擎也已開(kāi)始提供同樣不可靠的AI驅(qū)動(dòng)搜索結(jié)果，有時(shí)這些結(jié)果會(huì)直接將用戶(hù)引導(dǎo)至冒充知名品牌的釣魚(yú)頁(yè)面(例如，Wells Fargo)。

更糟糕的是，AI生成的答案常常剝離了傳統(tǒng)的驗(yàn)證指標(biāo)，如已驗(yàn)證的域名或搜索摘要?！坝脩?hù)被訓(xùn)練去信任答案，而如果答案錯(cuò)誤，攻擊者就會(huì)利用用戶(hù)，”研究人員指出。

攻擊者正積極嘗試污染AI聊天機(jī)器人的結(jié)果

不良鏈接的出現(xiàn)最初可能很少見(jiàn)，但威脅行為者正竭盡全力使這種情況更頻繁地發(fā)生，并積極嘗試污染生成式AI聊天機(jī)器人提供的結(jié)果。

他們正在設(shè)計(jì)將被聊天機(jī)器人的語(yǔ)言模型高度排名的頁(yè)面：這些頁(yè)面看起來(lái)合法，提供正確的文檔，偽裝成支持中心等。

“這些網(wǎng)站干凈、快速，且在語(yǔ)言上針對(duì)AI消費(fèi)進(jìn)行了優(yōu)化，它們對(duì)人類(lèi)來(lái)說(shuō)看起來(lái)很棒——對(duì)機(jī)器來(lái)說(shuō)則不可抗拒?！毖芯咳藛T指出。

“而且這不僅僅是釣魚(yú)。我們經(jīng)?？吹酵ㄟ^(guò)‘破解軟件’博客、教程和討論帖子分發(fā)惡意軟件。隨著AI搜索的興起，這些舊的傳播途徑可能會(huì)煥發(fā)新生——不是通過(guò)關(guān)鍵詞操作，而是通過(guò)語(yǔ)言流暢性?！?/p>

盡管有防止獲取不良/惡意代碼的安全措施，但AI驅(qū)動(dòng)的編程助手也可能以同樣的方式被威脅行為者“操縱”，他們不僅發(fā)布不良代碼(例如，假冒的API)，還努力附上可信的內(nèi)容(教程、論壇問(wèn)答)，并使用可信的GitHub和社交媒體賬戶(hù)進(jìn)行推廣。