在人工智能技術(shù)爆發(fā)式發(fā)展的當(dāng)下，大模型（Large Language Models, 以下簡稱LLM）憑借其強(qiáng)大的自然語言處理能力，廣泛滲透于智能助手、內(nèi)容創(chuàng)作、代碼生成等諸多關(guān)鍵領(lǐng)域，深度重塑著人們的生活與工作范式。然而，隨著 LLM 應(yīng)用場景的持續(xù)拓展與深化，一系列嚴(yán)峻的安全挑戰(zhàn)接踵而至，其中提示詞攻擊已逐漸演變?yōu)橥{人工智能系統(tǒng)安全的核心隱患，亟待深入剖析與應(yīng)對。

一、提示詞攻擊定義與影響

提示詞攻擊是指攻擊者精心構(gòu)思并輸入惡意構(gòu)造的文本內(nèi)容，意圖干擾和操縱LLM的內(nèi)部運行邏輯，使其偏離既定的正常行為模式。這一攻擊手段常被形象地稱為 “越獄”（Jailbreaking），其核心目的在于誘使 LLM 突破原本設(shè)定的安全邊界與行為約束，轉(zhuǎn)而執(zhí)行攻擊者預(yù)先埋設(shè)的惡意指令。作為整個攻擊鏈條的核心入口，攻擊者通過精心構(gòu)造的提示詞文本，利用系統(tǒng)對輸入驗證的不足或規(guī)則漏洞滲透進(jìn)入整個體系。正如 OWASP 攻擊鏈中 “注入漏洞” 常被用作權(quán)限提升的起點，提示詞攻擊的成功意味著攻擊者掌握了觸發(fā)模型異常行為的 “鑰匙”，進(jìn)而對整個交互流程乃至后端系統(tǒng)造成系統(tǒng)性影響。

在傳統(tǒng)的用戶界面（UI）和應(yīng)用程序編程接口（API）交互模式下，系統(tǒng)所接收的輸入通常遵循結(jié)構(gòu)化、可預(yù)測的格式規(guī)范，這使得安全防護(hù)機(jī)制能夠較為高效地對輸入數(shù)據(jù)進(jìn)行驗證與過濾。但進(jìn)入 LLM 時代后，系統(tǒng)不得不面對海量非結(jié)構(gòu)化、語義復(fù)雜多變的輸入數(shù)據(jù)洪流。LLM 不僅需要處理前所未有的多模態(tài)信息，還可能將這些未經(jīng)充分安全校驗的輸入數(shù)據(jù)傳播至內(nèi)部各類敏感服務(wù)，如數(shù)據(jù)庫查詢、API 調(diào)用、代碼執(zhí)行環(huán)境等，進(jìn)一步放大了安全風(fēng)險的波及范圍。換言之，當(dāng)前的安全防護(hù)體系不僅需要應(yīng)對遠(yuǎn)超以往量級的輸入數(shù)據(jù)，還需時刻警惕這些數(shù)據(jù)對多種核心服務(wù)的潛在惡意影響。唯有筑牢提示詞這道 “第一道防線”，才能有效阻斷攻擊者通過入口滲透進(jìn)而破壞后續(xù)業(yè)務(wù)流程的可能性。

二、提示詞攻擊手段

目前，提示詞攻擊手段豐富多樣，主要可分為黑盒攻擊和白盒攻擊兩大類。黑盒攻擊在不了解模型內(nèi)部結(jié)構(gòu)和參數(shù)的情況下，通過設(shè)計巧妙的輸入來繞過安全機(jī)制；白盒攻擊則基于對模型內(nèi)部細(xì)節(jié)的掌握，從梯度、logits 等層面進(jìn)行針對性攻擊 。以下將詳細(xì)介紹這兩類攻擊下的具體技術(shù)與方法。

2.1 黑盒攻擊

1. 模板填充攻擊：為繞過模型的安全機(jī)制，攻擊者設(shè)計復(fù)雜模板。
   場景嵌套：通過精心構(gòu)建欺騙性場景，操縱模型進(jìn)入對抗模式。如 DeepInception [2] 利用 LLM 的擬人化能力，將模型催眠為越獄者；ReNeLLM [3] 先對初始有害提示進(jìn)行重寫以繞過安全過濾器，再隨機(jī)選擇場景進(jìn)行嵌套；FuzzLLM [4] 則使用模板進(jìn)行自動模糊測試，發(fā)現(xiàn)越獄漏洞。
   上下文攻擊：利用 LLMs 強(qiáng)大的上下文學(xué)習(xí)能力，將對抗示例嵌入上下文。如 In-Context Attack（ICA）[5]使用有害提示模板引導(dǎo)模型生成不安全輸出；PANDORA [6] 在檢索增強(qiáng)生成（RAG）場景中，利用惡意內(nèi)容操縱提示；還有方法針對 LLMs 的思維鏈（CoT）推理能力，通過嵌入有害上下文來破壞模型的推理過程 [7]。
   代碼注入：攻擊者利用 LLMs 的編程能力，注入特制代碼。如 Kang [8] 等人設(shè)計的攻擊指令利用模型的字符串拼接、變量賦值等功能；CodeChameleon [9] 框架通過將任務(wù)轉(zhuǎn)換為代碼完成格式，隱藏對抗內(nèi)容，實現(xiàn)攻擊目的。
2. 提示詞重寫攻擊：重寫Jailbreak提示詞，隱藏攻擊意圖。
   密碼學(xué)方法：通過加密惡意內(nèi)容繞過內(nèi)容審核。CipherChat [10] 使用多種密碼類型，如字符編碼、常見密碼和自定義密碼方法；ArtPrompt [11] 通過詞掩碼和 ASCII 藝術(shù)生成隱藏提示；還有方法將有害內(nèi)容分解為看似無害的問題，再引導(dǎo)模型重構(gòu)并響應(yīng) [12]。
   低資源語言攻擊：由于 LLMs 的安全機(jī)制主要依賴英語文本數(shù)據(jù)集，將有害英語提示翻譯成低資源非英語語言可有效規(guī)避安全防護(hù)。如 Deng 等人 [13] 利用谷歌翻譯將有害提示翻譯成多種語言進(jìn)行攻擊；Yong 等人 [14]通過實驗驗證了這種攻擊方式對 GPT-4 安全機(jī)制的威脅。
   基于遺傳算法的攻擊：利用遺傳算法的變異和選擇過程，動態(tài)探索和識別有效提示。如 AutoDAN-HGA [15] 通過分層遺傳算法自動生成隱秘的越獄提示；Lapid 等人 [16] 提出的方法利用遺傳算法迭代更新和優(yōu)化候選提示；GPTFUZZER [17] 則集成了種子選擇、變異操作和判斷模型，自動生成越獄提示。
3. 基于 LLM 的生成攻擊：利用 LLM 模擬攻擊者，生成對抗提示詞。
   單 LLM 攻擊：通過微調(diào)或強(qiáng)化學(xué)習(xí)從人類反饋（RLHF）訓(xùn)練單個 LLM 作為攻擊者。如 MASTERKEY [18] 框架通過預(yù)訓(xùn)練和微調(diào) LLM 生成對抗提示詞；Zeng 等人 [19] 利用社會科學(xué)研究中的說服分類法生成可解釋的對抗提示詞；Shah 等人 [20] 利用 LLM 助手自動生成人物，制作攻擊提示詞。
   多 LLM 協(xié)作攻擊：多個 LLM 在框架中協(xié)作，各自擔(dān)任不同角色。如PAIR [21] 利用攻擊者 LLM 迭代更新越獄提示；Jin 等人[22] 設(shè)計的多代理系統(tǒng)中，LLM 分別負(fù)責(zé)生成、翻譯、評估和優(yōu)化提示。

2.2 白盒攻擊

1. 基于梯度的攻擊：通過操縱模型輸入的梯度來誘導(dǎo)模型對有害指令做出合規(guī)響應(yīng)。
   典型方法如貪婪坐標(biāo)梯度（GCG）[23]，在原始提示后添加對抗后綴，迭代計算替換令牌以優(yōu)化后綴，從而實現(xiàn)攻擊目的。進(jìn)一步地，AutoDAN [24] 考慮了后綴的可讀性，通過順序生成對抗后綴并使用單令牌優(yōu)化算法，提高了攻擊成功率，且能繞過困惑度過濾器。
2. 基于 logits 的攻擊：攻擊者利用模型輸出的 logits（表示輸出令牌的概率分布），迭代優(yōu)化提示，使模型生成有害內(nèi)容。
   例如，COLD [25] 算法通過統(tǒng)一和自動化的方式生成具有流暢性和隱秘性的越獄提示詞。此外，還有方法通過增加模型的固有肯定傾向[26]和操縱解碼技術(shù)[27]實現(xiàn)對模型的攻擊。
3. 基于微調(diào)的攻擊：使用惡意數(shù)據(jù)對目標(biāo)模型進(jìn)行重新訓(xùn)練，使模型變得脆弱，易受到對抗攻擊。
   研究表明，即使使用少量有害示例進(jìn)行微調(diào)，也能顯著降低模型的安全對齊性。如 Qi 等人 [28] 發(fā)現(xiàn)微調(diào) LLM 時，良性數(shù)據(jù)集也可能在不經(jīng)意間降低模型的安全性。

三、提示詞攻擊防御策略

提示詞攻擊對模型安全性構(gòu)成嚴(yán)重威脅，如何有效防御成為業(yè)界關(guān)注的重點。以下，將從提示詞防御和模型防御兩大維度，分別針對黑盒攻擊和白盒攻擊，系統(tǒng)介紹目前主流的防御方法及其面臨的挑戰(zhàn)。

3.1 提示詞防御

1. 提示詞檢測：通過計算提示的困惑度或其他特征來檢測對抗提示。
   Jain 等人 [29] 基于閾值的檢測方法，計算文本片段和整個提示的困惑度，超過閾值則判定為有害。但這類方法存在誤判良性提示為有害的問題，導(dǎo)致較高的誤報率。
2. 提示詞擾動：對提示進(jìn)行擾動以消除潛在惡意內(nèi)容。
   RA-LLM [30] 通過在原始提示副本上隨機(jī)添加詞級掩碼，根據(jù)模型對處理后副本的拒絕比例判斷提示是否惡意；SmoothLLM [31] 進(jìn)行字符級擾動，選擇能持續(xù)防御越獄攻擊的最終提示。然而，提示擾動可能會降低提示的可讀性，且搜索空間的隨機(jī)性導(dǎo)致結(jié)果不穩(wěn)定。
3. 系統(tǒng)提示詞防護(hù)：利用精心設(shè)計的系統(tǒng)提示詞引導(dǎo)模型生成安全響應(yīng)。
   Wang 等人[32]在系統(tǒng)提示中集成秘密提示，防御基于微調(diào)的越獄攻擊；Zheng 等人[33]深入研究安全系統(tǒng)提示的內(nèi)在機(jī)制，優(yōu)化提示以引導(dǎo)模型對不同提示做出合適響應(yīng)。但當(dāng)攻擊者針對性設(shè)計攻擊時，系統(tǒng)提示可能會失效。

3.2 模型防御

1. 基于監(jiān)督微調(diào)（SFT）的方法：使用安全數(shù)據(jù)集對 LLM 進(jìn)行監(jiān)督微調(diào)，增強(qiáng)模型的指令跟隨能力和安全對齊性。
   如 Bianchi 等人[34]研究了安全數(shù)據(jù)和目標(biāo)指令的混合對模型安全性的影響；Bhardwaj 等人[35]使用 Chain of Utterances（CoU）構(gòu)建涵蓋多種有害對話的數(shù)據(jù)集。但 SFT 存在災(zāi)難性遺忘問題，會導(dǎo)致模型在通用任務(wù)上的性能下降，且高質(zhì)量安全指令的收集成本較高，同時模型仍可能受到少量有害示例的影響。
2. 基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）的方法：通過擬合反映人類偏好的獎勵模型，對預(yù)訓(xùn)練語言模型進(jìn)行微調(diào)，使模型行為與人類偏好和指令對齊。
   業(yè)界主流 LLM，如 DeepSeek、Doubao、GPT-4、Llama 和 Claude 都證明了 RLHF 在安全對齊方面的有效性。但 RLHF 訓(xùn)練過程耗時，且類似 SFT，也容易被繞過。
3. 基于梯度和 logit 分析：基于梯度和 logit 信息，檢測風(fēng)險，降低潛在危害。
   梯度分析：從模型傳遞的梯度中提取信息，檢測潛在的越獄威脅。如 Hu 等人[36]定義拒絕損失，通過計算梯度范數(shù)等特征識別越獄攻擊?；谔荻鹊姆椒ㄔ诜植纪獾膱鼍爸蟹夯源嬖趩栴}。
   logit 分析：開發(fā)新的解碼算法，變換下一個令牌預(yù)測的 logits，降低潛在危害。如 Xu 等人 [37] 混合目標(biāo)模型和安全對齊模型的輸出 logits；Li 等人 [38] 在束搜索（Beam Search）中添加安全啟發(fā)式評估。基于 logit 的方法可能會降低防御提示的可讀性，影響推理速度。
4. 優(yōu)化校正對齊：利用 LLM 的自我校正能力降低生成非法響應(yīng)的風(fēng)險。
   例如，Zhang 等人[39]提出讓模型在自我優(yōu)化過程中實現(xiàn)特定目標(biāo)，使優(yōu)化更有效。Zou 等人[40]通過監(jiān)測和重新映射與有害輸出相關(guān)的模型表征，將其導(dǎo)向不一致或拒絕表征，中斷有害輸出的生成。但這類方法依賴模型的內(nèi)在表征能力，若模型安全對齊性差，可能會失效。
5. 代理防御：將安全職責(zé)轉(zhuǎn)移到主模型之外的防護(hù)模型。
   Meta 團(tuán)隊的 LlamaGuard [41] 用于文本及多模態(tài)模型的輸入和響應(yīng)的防護(hù)；AutoDefense [42] 多代理防御框架，通過代理檢查過濾有害響應(yīng)。但外部檢測器存在被劫持的風(fēng)險，影響防御效果。 Kong 等人[43]在一般檢測模型基礎(chǔ)上，增加基于概率圖模型的知識增強(qiáng)推理組件。

四、總結(jié)

在 LLM 大規(guī)模應(yīng)用于生產(chǎn)環(huán)境的當(dāng)下，缺乏針對性的安全解決方案將使企業(yè)面臨巨大的安全風(fēng)險。企業(yè)必須高度重視提示詞攻擊的防范工作，采用綜合性的安全策略，結(jié)合先進(jìn)的技術(shù)手段與科學(xué)的管理方法，顯著增加攻擊者實施攻擊的難度，確保 AI 系統(tǒng)的安全性與業(yè)務(wù)發(fā)展需求同步推進(jìn)。同時，隨著 LLM 應(yīng)用領(lǐng)域的持續(xù)拓展與技術(shù)迭代，提示詞攻擊的風(fēng)險也將不斷演變與升級。因此，需要持續(xù)加強(qiáng)安全技術(shù)研究、完善安全防護(hù)體系，保障 LLM 系統(tǒng)的數(shù)據(jù)安全和穩(wěn)定運行。