思科Talos最新研究表明，網(wǎng)絡(luò)犯罪分子正越來越多地濫用大語言模型（LLM）來增強其非法活動。這些以生成文本、解決問題和編寫代碼著稱的強大AI工具，據(jù)報告正被操縱用于發(fā)起更復(fù)雜、更廣泛的攻擊。

安全機制遭遇挑戰(zhàn)

雖然LLM設(shè)計時內(nèi)置了安全功能——包括對齊（通過訓(xùn)練減少偏見）和防護欄（防止有害輸出的實時機制）——例如ChatGPT等正規(guī)LLM會拒絕生成釣魚郵件，但網(wǎng)絡(luò)犯罪分子正在積極尋找規(guī)避這些保護措施的方法。

三大濫用手段曝光

Talos與Hackread.com共享的調(diào)查揭示了攻擊者采用的三種主要方法：

• 無審查LLM：這類缺乏安全約束的模型會直接生成敏感或有害內(nèi)容。典型案例包括能生成攻擊性安全工具或釣魚郵件的OnionGPT和WhiteRabbitNeo。通過Ollama等框架，用戶可在本地運行Llama 2 Uncensored等無審查模型。
• 定制犯罪L(fēng)LM：部分具有"創(chuàng)業(yè)精神"的網(wǎng)絡(luò)犯罪分子正在開發(fā)專門用于惡意目的的LLM。暗網(wǎng)上兜售的GhostGPT、WormGPT、DarkGPT、DarkestGPT和FraudGPT等產(chǎn)品，標榜具有創(chuàng)建惡意軟件、釣魚頁面和黑客工具的功能。
• 越獄正規(guī)LLM：通過巧妙的提示注入技術(shù)誘使現(xiàn)有LLM忽略安全協(xié)議。已觀察到的手段包括使用Base64等編碼語言、附加隨機文本（對抗性后綴）、角色扮演場景（如DAN或祖母越獄），甚至利用模型的自反特性（元提示）。

暗網(wǎng)黑市猖獗

暗網(wǎng)已成為這些惡意LLM的交易市場。以FraudGPT為例，其宣傳功能涵蓋編寫惡意代碼、創(chuàng)建無法檢測的惡意軟件、尋找漏洞網(wǎng)站以及生成釣魚內(nèi)容。但該市場對犯罪分子同樣存在風(fēng)險——Talos研究人員發(fā)現(xiàn)，自稱FraudGPT開發(fā)者的CanadianKingpin12實際上通過兜售不存在的產(chǎn)品騙取潛在買家的加密貨幣。

犯罪應(yīng)用場景擴展

除直接生成非法內(nèi)容外，網(wǎng)絡(luò)犯罪分子正以惡意方式將LLM用于與合法用戶相似的場景。2024年12月，Claude LLM的開發(fā)方Anthropic指出編程、內(nèi)容創(chuàng)作和研究是其模型的主要用途。犯罪L(fēng)LM同樣被用于：

• 編程：制作勒索軟件、遠程訪問木馬、數(shù)據(jù)擦除器及代碼混淆工具
• 內(nèi)容創(chuàng)作：生成逼真的釣魚郵件、著陸頁和配置文件
• 研究：驗證被盜信用卡號、掃描漏洞甚至策劃新型犯罪方案

LLM自身成為攻擊目標

攻擊者正在Hugging Face等平臺分發(fā)植入后門的模型，這些模型被下載時會執(zhí)行嵌入的惡意代碼。此外，采用檢索增強生成（RAG）技術(shù)的外部數(shù)據(jù)源LLM可能遭受數(shù)據(jù)投毒攻擊——攻擊者通過操縱數(shù)據(jù)來影響LLM的輸出。

思科Talos預(yù)測，隨著AI技術(shù)持續(xù)發(fā)展，網(wǎng)絡(luò)犯罪分子將越來越多地采用LLM作為現(xiàn)有攻擊方法的"力量倍增器"，而非創(chuàng)造全新的"網(wǎng)絡(luò)武器"，從而提升其犯罪效率。