ChatGPT是一個(gè)基于人工智能技術(shù)的自然語言處理模型，可以通過學(xué)習(xí)大量的語料庫，生成自然語言的文本和對話。ChatGPT通過為各行各業(yè)帶來更高效、智能和個(gè)性化的服務(wù)而對各行業(yè)帶來變革性影響。

研究人員發(fā)現(xiàn)ChatGPT、Bard、Claude等人工智能大語言模型（Large language model，LLM）會在回答用戶提問時(shí)，可能會產(chǎn)生一些不當(dāng)內(nèi)容，即越獄攻擊。比如，通過特殊關(guān)鍵詞等查詢來讓大語言模型產(chǎn)生非預(yù)期的響應(yīng)內(nèi)容。隨后，研究人員開展了大量的調(diào)試工作，以盡可能避免回答用戶有害的內(nèi)容。雖然已有研究人員證明了針對大語言模型的越獄攻擊，但這一過程需要大量的手動操作來進(jìn)行設(shè)計(jì)，而且很容易被大語言模型提供商所修復(fù)。

機(jī)器學(xué)習(xí)從數(shù)據(jù)中學(xué)習(xí)模式，對抗攻擊正是利用機(jī)器學(xué)習(xí)的這一特征來生成異常行為。比如，對圖像做出的人類無法察覺的小修改會使圖像分類器將其錯(cuò)誤識別為其他問題，或使聲音識別系統(tǒng)產(chǎn)生人類聽不見的響應(yīng)消息。

來自卡耐基梅隆大學(xué)的研究人員系統(tǒng)研究了大語言模型的安全性，證明可以自動構(gòu)造針對大語言模型的對抗樣本，尤其是在用戶查詢中添加特定字符流會使大語言模型根據(jù)用戶查詢產(chǎn)生結(jié)果，并不會判斷產(chǎn)生的回復(fù)是否有害。與傳統(tǒng)的大模型越獄相比，研究人員的這一對抗攻擊過程是完全自動的，即用戶可以無限制的發(fā)起此類攻擊。

雖然該研究的攻擊目標(biāo)是開源大語言模型，但研究人員發(fā)現(xiàn)利用其提出的方法生成的對抗提示（prompt）是可遷移的，包括對黑盒的公開發(fā)布的大語言模型。研究人員發(fā)現(xiàn)此類字符串對抗攻擊也可以遷移到許多閉源的、公開可訪問的基于大模型的聊天機(jī)器人，如ChatGPT、Bard和 Claude。鑒于部分模型已開始商用，研究人員對此類模型的安全性表示擔(dān)憂。

目前尚不清楚大語言模型提供商是否能夠完全修復(fù)此類對抗攻擊行為。但過去10年間，類似的針對機(jī)器學(xué)習(xí)的對抗攻擊在計(jì)算機(jī)視覺是一個(gè)非常困難的挑戰(zhàn)。雖然深度學(xué)習(xí)模型的本質(zhì)使得此類威脅不可避免，但研究人員認(rèn)為隨著大模型的廣泛使用以及人們對大模型的依賴，此類對抗攻擊應(yīng)當(dāng)納入考慮范圍。

針對大語言模型的對抗攻擊代碼參見：https://github.com/llm-attacks/llm-attacks

針對大語言模型的對抗攻擊研究論文參見：https://arxiv.org/abs/2307.15043