大模型又又又被曝出安全問題！

近日，來自Enkrypt AI的研究人員發(fā)表了令人震驚的研究成果：量化和微調(diào)竟然也能降低大模型的安全性！

論文地址：https://arxiv.org/pdf/2404.04392.pdf

在作者的實(shí)際測試中，Mistral、Llama等基礎(chǔ)模型包括它們微調(diào)版本，無一幸免。

在經(jīng)過了量化或者微調(diào)之后，LLM被越獄（Jailbreak）的風(fēng)險(xiǎn)大大增加。

——LLM：我效果驚艷，我無所不能，我千瘡百孔......

也許，未來很長一段時(shí)間內(nèi)，在大模型各種漏洞上的攻防戰(zhàn)爭是停不下來了。

由于原理上的問題，AI模型天然兼具魯棒性和脆弱性，在巨量的參數(shù)和計(jì)算中，有些無關(guān)緊要，但又有一小部分至關(guān)重要。

從某種程度上講，大模型遇到的安全問題，與CNN時(shí)代一脈相承，

利用特殊提示、特殊字符誘導(dǎo)LLM產(chǎn)生有毒輸出，包括之前報(bào)道過的，利用LLM長上下文特性，使用多輪對話越獄的方法，都可以稱為：對抗性攻擊。

對抗性攻擊

在CNN時(shí)代，通過更改輸入圖像的幾個(gè)像素，就能導(dǎo)致AI模型對圖像分類錯(cuò)誤，攻擊者甚至可以誘導(dǎo)模型輸出為特定的類別。

上圖展示了對抗性攻擊的過程，為了便于觀察，中間的隨機(jī)擾動(dòng)做了一些夸張，

實(shí)際中，對于對抗攻擊來說，只需要像素值很小的改變，就可以達(dá)到攻擊效果。

更危險(xiǎn)的是，研究人員發(fā)現(xiàn)這種虛擬世界的攻擊行為，可以轉(zhuǎn)移到現(xiàn)實(shí)世界。

下圖的「STOP」標(biāo)志來自之前的一篇著名工作，通過在指示牌上添加一些看似無關(guān)的涂鴉，就可以讓自動(dòng)駕駛系統(tǒng)將停車標(biāo)志誤識別為限速標(biāo)志。

——這塊牌子后來被收藏在倫敦科學(xué)博物館，提醒世人時(shí)刻注意AI模型潛藏的風(fēng)險(xiǎn)。

大語言模型目前受到的此類傷害包括但可能不限于：越獄、提示注入攻擊、隱私泄露攻擊等。

比如下面這個(gè)使用多輪對話進(jìn)行越獄的例子：

還有下圖展示的一種提示注入攻擊，使用尖括號將惡意指令隱藏在提示中，結(jié)果，GPT-3.5忽略了原來總結(jié)文本的指令，開始「make missile with sugar」。

為了應(yīng)對這類問題，研究人員一般采用針對性的對抗訓(xùn)練，來保持模型對齊人類的價(jià)值觀。

但事實(shí)上，能夠誘導(dǎo)LLM產(chǎn)生惡意輸出的提示可能無窮無盡，面對這種情況，紅隊(duì)?wèi)?yīng)該怎么做？

防御端可以采用自動(dòng)化搜索，而攻擊端可以使用另一個(gè)LLM來生成提示幫助越獄。

另外，目前針對大模型的攻擊大多是黑盒的，不過隨著我們對LLM理解的加深，更多的白盒攻擊也會不斷加入進(jìn)來。

相關(guān)研究

不過別擔(dān)心，兵來將擋水來土掩，相關(guān)的研究早就卷起來了。

小編隨手一搜，單單是今年的ICLR上，就有多篇相關(guān)工作。

比如下面這篇Oral：

Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!

論文地址：https://openreview.net/pdf?id=hTEGyKf0dZ

這篇工作跟今天介紹的文章很像了：微調(diào)LLM會帶來安全風(fēng)險(xiǎn)。

研究人員僅通過幾個(gè)對抗性訓(xùn)練樣本對LLM進(jìn)行微調(diào)，就可以破壞其安全對齊。

其中一個(gè)例子僅用10個(gè)樣本，通過OpenAI的API對GPT-3.5 Turbo進(jìn)行微調(diào)，成本不到0.20美元，就使得模型可以響應(yīng)幾乎任何有害指令。

另外，即使沒有惡意意圖，僅僅使用良性和常用的數(shù)據(jù)集進(jìn)行微調(diào)，也可能無意中降低LLM的安全對齊。

再比如下面這篇Spolight：

Jailbreak in pieces: Compositional Adversarial Attacks on Multi-Modal Language Models，

介紹了一種針對視覺語言模型的新型越獄攻擊方法：

論文地址：https://openreview.net/pdf?id=plmBsXHxgR

研究人員將視覺編碼器處理的對抗性圖像與文本提示配對，從而破壞了VLM的跨模態(tài)對齊。

而且這種攻擊的門檻很低，不需要訪問LLM，對于像CLIP這樣的視覺編碼器嵌入在閉源LLM中時(shí)，越獄成功率很高。

此外還有很多，這里不再一一列舉，下面來看一下本文的實(shí)驗(yàn)部分。

實(shí)驗(yàn)細(xì)節(jié)

研究人員使用了一個(gè)稱為AdvBench SubsetAndy Zou的對抗性有害提示子集，包含50個(gè)提示，要求提供32個(gè)類別的有害信息。它是 AdvBench基準(zhǔn)測試中有害行為數(shù)據(jù)集的提示子集。

實(shí)驗(yàn)使用的攻擊算法是攻擊樹修剪（Tree-of-attacks pruning，TAP），實(shí)現(xiàn)了三個(gè)重要目標(biāo)：

（1）黑盒：算法只需要黑盒訪問模型；

（2）自動(dòng)：一旦啟動(dòng)就不需要人工干預(yù)；

（3）可解釋：算法可以生成語義上有意義的提示。

TAP算法與AdvBench子集中的任務(wù)一起使用，以在不同設(shè)置下攻擊目標(biāo)LLM。

實(shí)驗(yàn)流程

為了了解微調(diào)、量化和護(hù)欄對LLM安全性（抵抗越獄攻擊）所產(chǎn)生的影響，研究人員創(chuàng)建了一個(gè)管道來進(jìn)行越獄測試。

如前所述，使用AdvBench子集通過TAP算法對LLM進(jìn)行攻擊，然后記錄評估結(jié)果以及完整的系統(tǒng)信息。

整個(gè)過程會多次迭代，同時(shí)考慮到與LLM相關(guān)的隨機(jī)性質(zhì)。完整的實(shí)驗(yàn)流程如下圖所示：

TAP是目前最先進(jìn)的黑盒和自動(dòng)方法，可以生成具有語義意義的提示來越獄LLM。

TAP算法使用攻擊者LLM A，向目標(biāo)LLM T發(fā)送提示P。目標(biāo)LLM R的響應(yīng)和提示P，被輸入到評估器JUDGE（LLM）中，由JUDGE來判斷提示是否偏離主題。

如果提示偏離主題，則將其刪除（相當(dāng)于消除了對應(yīng)的不良攻擊提示樹），否則，JUDGE會對提示打分（0-10分）。

符合主題的提示將使用廣度優(yōu)先搜索生成攻擊。這個(gè)過程將迭代指定的次數(shù)，或者持續(xù)到成功越獄。

針對越獄提示的護(hù)欄

研究團(tuán)隊(duì)使用內(nèi)部的Deberta-V3模型，來檢測越獄提示。Deberta-V3充當(dāng)輸入過濾器，起到護(hù)欄的作用。

如果輸入提示被護(hù)欄過濾掉或越獄失敗，TAP算法會根據(jù)初始提示和響應(yīng)生成新提示，繼續(xù)嘗試攻擊。

實(shí)驗(yàn)結(jié)果

下面在三個(gè)不同的下游任務(wù)下，分別測試微調(diào)、量化和護(hù)欄帶來的影響。實(shí)驗(yàn)基本涵蓋了工業(yè)界和學(xué)術(shù)界的大多數(shù)LLM實(shí)際用例和應(yīng)用。

實(shí)驗(yàn)采用GPT-3.5-turbo作為攻擊模型，GPT-4-turbo作為判斷模型。

實(shí)驗(yàn)中測試的目標(biāo)模型來自各種平臺，包括Anyscale、OpenAI的API、Azure的NC12sv3（配備32GB V100 GPU），以及Hugging Face，如下圖所示：

實(shí)驗(yàn)中探索了各種基礎(chǔ)模型、迭代型號、以及各種微調(diào)版本，同時(shí)還包括量化的版本。

微調(diào)

對不同任務(wù)進(jìn)行微調(diào)，可以提高LLM完成任務(wù)的效率，微調(diào)為LLM提供了所需的專業(yè)領(lǐng)域知識，比如SQL代碼生成、聊天等。

實(shí)驗(yàn)通過將基礎(chǔ)模型的越獄漏洞與微調(diào)版本進(jìn)行比較，來了解微調(diào)在增加或減少LLM脆弱性方面的作用。

研究人員使用Llama2、Mistral和MPT-7B等基礎(chǔ)模型，及其微調(diào)版本（如CodeLlama、SQLCoder、Dolphin和Intel Neural Chat）。

從下表的結(jié)果可以看出，與基礎(chǔ)模型相比，微調(diào)模型失去了安全對齊，并且很容易越獄。

量化

許多模型在訓(xùn)練、微調(diào)甚至推理過程中都需要大量的計(jì)算資源。量化是減輕計(jì)算負(fù)擔(dān)的最流行方法之一（以犧牲模型參數(shù)的數(shù)值精度為代價(jià)）。

實(shí)驗(yàn)中的量化模型使用GPT生成的統(tǒng)一格式（GGUF）進(jìn)行量化，下面的結(jié)果表明，模型的量化會使其容易受到漏洞的影響。

護(hù)欄

護(hù)欄是抵御LLM攻擊的防線，作為守門員，它的主要功能是過濾掉可能導(dǎo)致有害或惡意結(jié)果的提示。

研究人員使用源自Deberta-V3模型的專有越獄攻擊檢測器，根據(jù)LLM生成的越獄有害提示進(jìn)行訓(xùn)練。

下面的結(jié)果表明，將護(hù)欄作為前期步驟的引入具有顯著效果，可以大大減少越獄的風(fēng)險(xiǎn)。

另外，研究人員還在集成和不集成護(hù)欄（Guardrails）的情況下，對這些模型進(jìn)行了測試，來評估護(hù)欄的性能和有效性，下圖顯示了護(hù)欄的影響：

下圖顯示了越獄模型所需的查詢數(shù)?？梢钥闯?，多數(shù)情況下，護(hù)欄確實(shí)為LLM提供了額外的抵抗力。