這篇文章獲選 Neurips 2024 Spotlight，作者均來(lái)自于伊利諾伊大學(xué)香檳分校計(jì)算機(jī)系。第一作者是博士生林嘯，指導(dǎo)老師是童行行教授。所在的 IDEA 實(shí)驗(yàn)室的研究興趣涵蓋圖機(jī)器學(xué)習(xí)、可信機(jī)器學(xué)習(xí)、LLM 優(yōu)化以及數(shù)據(jù)挖掘等方面。 

• 論文鏈接：https://arxiv.org/pdf/2410.02195
• github 鏈接: https://github.com/xiaolin-cs/backtime
• neurips 主頁(yè): https://neurips.cc/virtual/2024/poster/95645

多變量時(shí)間序列（MTS）預(yù)測(cè)任務(wù)在現(xiàn)實(shí)世界中有著廣泛的應(yīng)用，例如氣象預(yù)測(cè)、交通預(yù)測(cè)等。而深度學(xué)習(xí)模型在這一任務(wù)上展現(xiàn)了強(qiáng)大的預(yù)測(cè)能力。

然而，大量文獻(xiàn)表明，在分類任務(wù)中，深度學(xué)習(xí)模型非常容易被后門攻擊從而給出錯(cuò)誤的分類結(jié)果。因此，自然的想到，當(dāng)面對(duì)適用于時(shí)間序列預(yù)測(cè)的深度學(xué)習(xí)模型時(shí)，后門攻擊是否依然可以操縱預(yù)測(cè)結(jié)果？

為了回答這個(gè)問(wèn)題，本文首次全面地定義了時(shí)間序列預(yù)測(cè)的后門攻擊范式，并進(jìn)而提供了對(duì)應(yīng)的雙層優(yōu)化數(shù)學(xué)模型。在此基礎(chǔ)上，本文提出了模型無(wú)關(guān)的 BackTime 攻擊方法，旨在通過(guò)改變時(shí)間依賴（temporal dependency）和跨變量依賴（inter-variable dependency）來(lái)影響被攻擊模型的預(yù)測(cè)結(jié)果。

實(shí)驗(yàn)表明，通過(guò) BackTime，攻擊者可以隱蔽地操縱預(yù)測(cè)模型，強(qiáng)制要求模型輸出任意形狀的預(yù)測(cè)結(jié)果。這種全新的攻擊范式揭示了預(yù)測(cè)（回歸）任務(wù)中深度學(xué)習(xí)訓(xùn)練的潛在不安全性。

時(shí)間序列預(yù)測(cè)的后門攻擊范式

傳統(tǒng)的后門攻擊針對(duì)圖像 / 文本分類任務(wù)，無(wú)論是從數(shù)據(jù)特性到任務(wù)類型都和時(shí)間序列預(yù)測(cè)全然不同。所以傳統(tǒng)的后門攻擊無(wú)法適用于時(shí)間序列預(yù)測(cè)。因此，我們?cè)诖碎_(kāi)創(chuàng)性地提出時(shí)間序列預(yù)測(cè)的后門攻擊目標(biāo)，并進(jìn)而列出時(shí)間預(yù)測(cè)后門攻擊的多條重要特性。

時(shí)間序列后門攻擊目標(biāo)：被攻擊模型在面對(duì)干凈輸入的時(shí)候提供正常的預(yù)測(cè)結(jié)果，但是如果輸入中包含了觸發(fā)器（trigger），那么被攻擊模型就會(huì)輸出攻擊者預(yù)先定義的結(jié)果。這個(gè)攻擊者自定義的結(jié)果被稱為目標(biāo)模式（target pattern）。 

時(shí)間序列預(yù)測(cè)的后門攻擊特性：

• 實(shí)時(shí)性。在對(duì) t 時(shí)刻進(jìn)行攻擊的時(shí)候，觸發(fā)器形狀必須要在 t 時(shí)刻之前就預(yù)先決定。其原因是，時(shí)間序列預(yù)測(cè)只關(guān)心 “未知的未來(lái)”，而不關(guān)心 “已知的過(guò)去”，一旦時(shí)刻 t 到來(lái)，那么它就變成 “已知的過(guò)去”，對(duì)這個(gè)時(shí)刻的攻擊也就毫無(wú)意義。
  
  
• 攻擊目標(biāo)的約束性。由于回歸任務(wù)沒(méi)有標(biāo)簽，因此目標(biāo)模式和觸發(fā)器一樣直接嵌入訓(xùn)練集中。這就要求目標(biāo)模式也滿足隱蔽性要求。
  
  
• 軟定位。預(yù)測(cè)任務(wù)的輸入是從訓(xùn)練集中截取的一部分時(shí)間窗口，因此，輸入可能只含有部分觸發(fā)器和目標(biāo)模式。在這種情況下，如何定義輸入是否被攻擊是一個(gè)難點(diǎn)。 

雙層優(yōu)化數(shù)學(xué)模型

為了滿足上述所有特性，論文作者提出了如下雙層優(yōu)化模型。攻擊者將觸發(fā)器 g 和目標(biāo)模式 p 嵌入到訓(xùn)練集中，得到了被污染數(shù)據(jù)集。

因此，下層優(yōu)化希望找出在被污染數(shù)據(jù)集上訓(xùn)練的局部最優(yōu)模型，其參數(shù)為。而上層優(yōu)化則更新嵌入在數(shù)據(jù)集  中的觸發(fā)器 g，從而降低模型的預(yù)測(cè)結(jié)果和目標(biāo)模式的差異。

其中，是對(duì)時(shí)刻 的軟定位機(jī)制，衡量了時(shí)刻輸入的被污染程度。具體來(lái)說(shuō)，我們定義只有當(dāng)輸入中包含全部觸發(fā)器，后門攻擊才會(huì)起效。而在剛起效的時(shí)候攻擊效果最強(qiáng)。隨著未來(lái)中需要預(yù)測(cè)的目標(biāo)模式長(zhǎng)度逐漸降低，攻擊效果逐漸減弱。 

BackTime 后門攻擊

論文中提出了針對(duì)時(shí)間序列預(yù)測(cè)的后門攻擊方法 BackTime。它成功解決了何處攻擊、何時(shí)攻擊、如何攻擊三個(gè)關(guān)鍵問(wèn)題。

• 何處攻擊：基于前文的攻擊范式，攻擊者可以隨意選擇想要攻擊的變量，而后門攻擊依然成功。
• 何時(shí)攻擊：將訓(xùn)練集中的數(shù)據(jù)按照干凈模型的預(yù)測(cè) MAE 從小到大（圖上從左到右）分成十組。這十組數(shù)據(jù)對(duì)于干凈模型的學(xué)習(xí)難度逐步提升。論文作者使用簡(jiǎn)易的后門攻擊（固定的觸發(fā)器）來(lái)分別攻擊這十組數(shù)據(jù)。

結(jié)果顯示，MAE 越大的數(shù)據(jù)，后門攻擊效果越好（MAE Difference 越低）。這說(shuō)明，干凈模型越難學(xué)習(xí)的樣本越容易被攻擊。因此，論文作者從數(shù)據(jù)集中選擇干凈 MAE 最高的數(shù)據(jù)實(shí)施攻擊。

• 如何攻擊：首先，將變量之間的關(guān)聯(lián)建模成有權(quán)鄰接矩陣 A。

然后，使用 GCN 作為觸發(fā)器生成器，并將生成的觸發(fā)器縮放，以滿足約束。 

在定義了觸發(fā)器生成器的模型結(jié)構(gòu)后，需要在雙層優(yōu)化中訓(xùn)練。和傳統(tǒng)的后門攻擊一樣，在優(yōu)化過(guò)程中引入代理模型，并迭代更新代理模型和觸發(fā)器生成器，從而獲得局部最優(yōu)的觸發(fā)器生成器。

（1）在更新代理模型的時(shí)候，提高其在數(shù)據(jù)集  的預(yù)測(cè)能力以模擬正常訓(xùn)練：

（2）在更新觸發(fā)器生成器的時(shí)候，通過(guò)改變生成的觸發(fā)器來(lái)降低模型預(yù)測(cè)結(jié)果和目標(biāo)模式的差異：

論文作者進(jìn)一步引入了頻率正則損失來(lái)提高生成的觸發(fā)器的隱蔽性：

最終，在雙層優(yōu)化中被用于更新觸發(fā)器生成器的損失函數(shù)被表示為：

實(shí)驗(yàn)評(píng)估

攻擊有效性衡量

在 5 個(gè)數(shù)據(jù)集上，BackTime 可以對(duì)三種完全不同的 SOTA 時(shí)間序列分析模型實(shí)現(xiàn)有效的攻擊（最低的），并同時(shí)保持這些模型的正常預(yù)測(cè)能力（較低的）。這展現(xiàn)了 BackTime 模型無(wú)關(guān)的特性，并同時(shí)說(shuō)明了其強(qiáng)大的攻擊效果。

目標(biāo)模式多樣性衡量

論文作者使用了三種完全不同的目標(biāo)模式，并觀察 BackTime 的攻擊效果。結(jié)果顯示，BackTime 持續(xù)性取得最好的攻擊表現(xiàn)（最低的和）。 

隱蔽性衡量

論文作者使用兩種 SOTA 的時(shí)間序列異常檢測(cè)模型來(lái)尋找被攻擊數(shù)據(jù)集中的觸發(fā)器和目標(biāo)模式。結(jié)果顯示，異常檢測(cè)模型的結(jié)果無(wú)比接近于隨機(jī)猜測(cè)，從而證明了觸發(fā)器和目標(biāo)模式的分布和真實(shí)數(shù)據(jù)的分布極為相似，證實(shí)了 BackTime 的隱蔽性。 

持續(xù)研究和可行方向

時(shí)間序列預(yù)測(cè)的后門攻擊是新興的領(lǐng)域，存在很多探索的方向。我們?cè)谶@里提供一些思路。除了在追求更高效和隱蔽的觸發(fā)器之外，還有以下攻擊問(wèn)題沒(méi)有解決。

首先，能否后門攻擊時(shí)間序列缺失值推理任務(wù)（time series imputation）。當(dāng)前的 BackTime 利用觸發(fā)器和目標(biāo)模式的順序時(shí)間鏈接來(lái)實(shí)現(xiàn)攻擊。但是推理任務(wù)需要同時(shí)考慮缺失值之前和之后的數(shù)據(jù)，這提出更難的攻擊挑戰(zhàn)。

其次，能否攻擊包含缺失值的時(shí)間序列。BackTime 的觸發(fā)需要包含全部觸發(fā)器，因此很難處理帶有缺失值的時(shí)間序列。