網(wǎng)絡(luò)犯罪分子已開始利用地下論壇帖子和泄露數(shù)據(jù)來優(yōu)化惡意的大型語言模型(LLM)，以便為特定的詐騙方案定制AI模型，威脅情報(bào)公司Flashpoint警告稱。

具體而言，詐騙者正在使用惡意數(shù)據(jù)集(如泄露的憑證、詐騙腳本和信息竊取日志)對(duì)非法LLM(包括WormGPT和FraudGPT)進(jìn)行微調(diào)。當(dāng)對(duì)手利用這些模型生成輸出時(shí)，他們會(huì)收集用戶反饋來微調(diào)回應(yīng)，從而形成一個(gè)惡性循環(huán)，使攻擊能力隨時(shí)間不斷增強(qiáng)。

“這一趨勢(shì)尤為令人擔(dān)憂，因?yàn)樗砻鲗?duì)手正在‘閉環(huán)優(yōu)化模型’——通過實(shí)時(shí)反饋和非法數(shù)據(jù)，他們的攻擊能力不斷得到提升，”Flashpoint網(wǎng)絡(luò)威脅情報(bào)副總裁Ian Gray告訴記者。

Flashpoint還觀察到，在一些私人聊天群組中，用戶將失敗的提示詞嘗試反饋給LLM開發(fā)者，導(dǎo)致在數(shù)天內(nèi)實(shí)現(xiàn)快速迭代和性能提升。例如，F(xiàn)lashpoint觀察到，一名用戶報(bào)告了金融詐騙提示詞的格式問題，不久后開發(fā)者便分享了帶有優(yōu)化模板的更新版本。

“這種由泄露數(shù)據(jù)和犯罪協(xié)作推動(dòng)的惡意AI的自適應(yīng)和自我改進(jìn)特性，使其成為一種特別強(qiáng)大且難以應(yīng)對(duì)的威脅?！盙ray說道。

網(wǎng)絡(luò)犯罪分子正在為特定的詐騙方案定制AI模型，包括根據(jù)行業(yè)或語言定制的釣魚郵件，以及編寫虛假招聘信息、發(fā)票或驗(yàn)證提示。

“一些供應(yīng)商甚至以分層定價(jià)、API訪問和私鑰許可的方式推銷這些工具，模仿了(合法的)SaaS經(jīng)濟(jì)模式?！盕lashpoint的研究人員發(fā)現(xiàn)。

“這種專業(yè)化可能導(dǎo)致更高的成功率，并實(shí)現(xiàn)攻擊階段的自動(dòng)化復(fù)雜操作。”Flashpoint的Gray告訴記者。

深度偽造即服務(wù)(DaaS)成為主流

網(wǎng)絡(luò)犯罪供應(yīng)商還降低了創(chuàng)建合成視頻和語音的門檻，提供了包括以下內(nèi)容的深度偽造即服務(wù)(DaaS)產(chǎn)品：

? 用于約會(huì)詐騙的定制人臉生成

? 用于語音驗(yàn)證欺詐的音頻偽造

? 基于客戶提交腳本的同步視頻虛擬形象

這些服務(wù)越來越多地提供附加選項(xiàng)，如預(yù)加載的背景故事、匹配的虛假文件和自動(dòng)化的通話安排。

提示詞工程即服務(wù)

地下社區(qū)還圍繞設(shè)計(jì)越獄提示詞的藝術(shù)興起了起來。

這些“繞過構(gòu)建者”專門破解主流LLM(如ChatGPT或Gemini)的限制，以解鎖受限制的輸出，如社交攻擊腳本、分步黑客教程和銀行詐騙手冊(cè)，包括“了解你的客戶”(KYC)繞過指南。

“這種‘提示詞工程即服務(wù)’(PEaaS)降低了入門門檻，使更廣泛的參與者能夠通過預(yù)包裝的惡意提示詞利用先進(jìn)的AI能力?！盙ray警告說。

“這些趨勢(shì)共同構(gòu)成了一種適應(yīng)性威脅：定制模型在非法數(shù)據(jù)的優(yōu)化下變得更加強(qiáng)大，PEaaS擴(kuò)大了威脅參與者的范圍，而持續(xù)的優(yōu)化確保了它們能不斷進(jìn)化以對(duì)抗防御措施?！彼f道。

深度剖析

Flashpoint分析師在超過10萬個(gè)非法來源中實(shí)時(shí)追蹤了這些發(fā)展動(dòng)態(tài)，監(jiān)控范圍從暗網(wǎng)市場(chǎng)和Telegram群組到地下LLM社區(qū)。

在2025年1月1日至5月30日期間，研究人員記錄了超過250萬條與AI相關(guān)的帖子，涵蓋了各種惡意戰(zhàn)術(shù)，包括越獄提示詞、深度偽造服務(wù)廣告、釣魚工具包和專為欺詐及其他網(wǎng)絡(luò)犯罪形式定制的語言模型。

地下LLM戰(zhàn)術(shù)與策略

Cisco Talos的相關(guān)研究警告稱，網(wǎng)絡(luò)犯罪分子繼續(xù)采用LLM來簡(jiǎn)化流程、編寫可用于攻擊用戶的工具和腳本，并生成更容易繞過防御的內(nèi)容。

Talos觀察到，網(wǎng)絡(luò)犯罪分子轉(zhuǎn)而使用未受審查的LLM，甚至是為非法目的定制的犯罪L(fēng)LM。

惡意LLM的廣告特性表明，網(wǎng)絡(luò)犯罪分子正將這些系統(tǒng)與各種外部工具鏈接，以掃描網(wǎng)站漏洞、驗(yàn)證被盜信用卡號(hào)碼及進(jìn)行其他惡意操作。

同時(shí)，對(duì)手經(jīng)常比LLM開發(fā)者更快地破解合法模型，Talos警告道。

對(duì)抗惡意AI

Flashpoint的《AI與威脅情報(bào)：防御者指南》解釋稱，盡管AI在網(wǎng)絡(luò)安全中是一把雙刃劍，但那些將AI深思熟慮地融入其威脅情報(bào)和響應(yīng)工作流程的防御者能夠超越對(duì)手。

企業(yè)需要平衡自動(dòng)化與專家分析，區(qū)分炒作與現(xiàn)實(shí)，并持續(xù)適應(yīng)快速演變的威脅環(huán)境。

“防御者應(yīng)首先將AI視為人類專業(yè)知識(shí)的增強(qiáng)，而非替代，”Flashpoint的Gray說道，“這一理念確保AI能夠強(qiáng)化現(xiàn)有工作流程，通過減少噪音和加速?zèng)Q策來創(chuàng)造價(jià)值，而非制造新的盲點(diǎn)?！?/p>

Gray補(bǔ)充道：“組織原則應(yīng)是通過利用AI從高信號(hào)數(shù)據(jù)中提取洞察，加速發(fā)現(xiàn)過程并構(gòu)建非結(jié)構(gòu)化內(nèi)容，從而增強(qiáng)其收集優(yōu)勢(shì)。最終目標(biāo)是提高效率，通過為分析師提供輔助其判斷的工具、保持人類控制權(quán)并提供上下文來實(shí)現(xiàn)這一目標(biāo)?！?/p>