雖然無(wú)法徹底解決維度詛咒帶來(lái)的問(wèn)題，根據(jù)理論證明，曼哈頓距離在高維空間中的識(shí)別能力要遠(yuǎn)遠(yuǎn)好于常用的歐式距離，可以緩解維度詛咒效應(yīng)。

方法框架

即便曼哈頓距離有著更好的識(shí)別效力，但是研究人員也不認(rèn)為在識(shí)別后門攻擊的時(shí)候曼哈頓就能完全替代歐氏距離。

除此以外，先前的工作已經(jīng)表明[3]，有的后門攻擊會(huì)在歐氏距離上表現(xiàn)區(qū)分度，有的則會(huì)在余弦相似度（Cos 距離）上表現(xiàn)差異。

于是研究人員決定采用曼哈頓、歐氏和 Cos 距離共同去識(shí)別后門，如上圖所示。

在定義好了識(shí)別梯度時(shí)的指標(biāo)之后，在研究人員面前也有兩個(gè)障礙：

1. 三種距離有著不同的尺度，由于每個(gè)度量都是相關(guān)的，因此需要一種新的正則化方法，而不是通常的按最大值進(jìn)行歸一化；

2. 不同的數(shù)據(jù)分布（如不同程度的非 IID）會(huì)使惡意客戶端和良性客戶端的梯度不同。

因此，需要?jiǎng)討B(tài)加權(quán)來(lái)應(yīng)對(duì)各種環(huán)境和攻擊，以實(shí)現(xiàn)通用防御。

為了解決上述問(wèn)題，研究人員提出了一種通過(guò)濃度矩陣（協(xié)方差矩陣的逆）進(jìn)行白化的方法如上圖所示，其中x為客戶端距離特征向量，Σ為協(xié)方差矩陣，其能夠根據(jù)每個(gè)客戶端上三個(gè)指標(biāo)特征的分布動(dòng)態(tài)地決定每個(gè)指標(biāo)的權(quán)重，以適應(yīng)不同的數(shù)據(jù)分布情況和攻擊策略。

在得到了客戶端的距離得分δ后，便可以根據(jù)該分?jǐn)?shù)聚合更優(yōu)梯度。通過(guò)這種機(jī)制，方法不僅能夠容納三種指標(biāo)，同時(shí)也能根據(jù)需要容納更多的指標(biāo)去分析各個(gè)梯度。

論文2：TIFS 2025

論文題目：Scope: On Detecting Constrained Backdoor Attacks in Federated Learning（第一作者：黃思銓；通訊作者：高英）

論文鏈接：https://ieeexplore.ieee.org/document/10852410

代碼鏈接：https://github.com/siquanhuang/Scope

摘要

聯(lián)邦學(xué)習(xí)（Federated Learning，F(xiàn)L）使多個(gè)客戶端能夠協(xié)同訓(xùn)練高效的深度學(xué)習(xí)模型，但其也易受到后門攻擊的威脅。

傳統(tǒng)的基于檢測(cè)的防御方法依賴特定度量標(biāo)準(zhǔn)來(lái)區(qū)分客戶端的梯度。然而，具備防御認(rèn)知的攻擊者可以利用這一點(diǎn)，通過(guò)在這些度量上對(duì)攻擊梯度施加約束，從而逃避檢測(cè)，形成度量約束攻擊。

研究人員具體實(shí)現(xiàn)了這類威脅，并提出了余弦約束攻擊，這種攻擊能夠成功突破基于余弦距離的先進(jìn)防御方法。

為應(yīng)對(duì)上述挑戰(zhàn)，研究人員提出了一種新穎的防御機(jī)制 Scope。該方法通過(guò)揭示攻擊梯度中被約束的后門維度，在使用余弦距離的同時(shí)，能夠檢測(cè)出余弦約束攻擊。

Scope采用逐維歸一化和差異化縮放策略，以放大后門維度與正常或未被使用維度之間的差異，有效對(duì)抗高級(jí)攻擊者掩蓋后門特征的行為。

此外，研究人員還設(shè)計(jì)了一種全新的聚類方法主導(dǎo)梯度聚類，用于隔離并剔除后門梯度。

在多個(gè)數(shù)據(jù)集、模型、聯(lián)邦學(xué)習(xí)設(shè)置以及不同攻擊者場(chǎng)景中進(jìn)行的廣泛實(shí)驗(yàn)表明，Scope在檢測(cè)和防御后門攻擊方面顯著優(yōu)于現(xiàn)有方法，特別是在應(yīng)對(duì)余弦約束攻擊方面效果尤為突出。

研究人員還提出了一種專門針對(duì)Scope的定制攻擊，試圖最大限度地增強(qiáng)其隱蔽性以規(guī)避Scope的檢測(cè)，但實(shí)驗(yàn)結(jié)果顯示該攻擊依然失敗，這進(jìn)一步凸顯了Scope防御機(jī)制的魯棒性和先進(jìn)性。

背景

由于大多數(shù)后門檢測(cè)方法依賴特定的度量標(biāo)準(zhǔn)（如歐幾里得距離或余弦距離）來(lái)區(qū)分正常梯度與惡意梯度，因此它們?nèi)菀资艿?/span>度量約束攻擊（metric-constrained attacks）的影響。

當(dāng)攻擊者完全了解服務(wù)器端部署的防御算法時(shí)，他們可以有針對(duì)性地對(duì)其惡意梯度在防御所使用的度量上進(jìn)行約束，從而繞過(guò)檢測(cè)。

這種針對(duì)防御機(jī)制精心設(shè)計(jì)的攻擊給聯(lián)邦學(xué)習(xí)系統(tǒng)的安全性帶來(lái)了巨大挑戰(zhàn)。

已有研究表明，基于歐幾里得距離的防御方法無(wú)法有效抵御在該度量下受到約束的攻擊。盡管使用余弦距離的方法能夠識(shí)別受歐幾里得距離約束的攻擊，但卻難以抵擋余弦約束攻擊（cosine-constrained attack）。

值得注意的是，盡管已有研究提出了使用多重度量的方法以應(yīng)對(duì)這一挑戰(zhàn)，這些方法依然未能有效防御此類攻擊。

在該研究中，研究人員采用了一個(gè)全新的視角，聚焦于檢測(cè)惡意梯度向量中潛藏的后門特征。已有研究表明，神經(jīng)網(wǎng)絡(luò)（Neural Networks, NNs）的不同維度承載著不同的任務(wù)，例如正常任務(wù)與后門任務(wù)。

基于這一觀點(diǎn)，可以將神經(jīng)網(wǎng)絡(luò)的權(quán)重劃分為三類維度：正常維度（benign dimensions），后門維度（backdoor dimensions），其余未被利用的維度（unused dimensions）。

后門梯度主要作用于后門維度，而正常梯度則主要更新正常維度。研究人員認(rèn)為，度量約束攻擊中后門維度難以被區(qū)分的原因有兩個(gè)：

1. 被正常維度掩蓋，

2. 被未被使用的維度稀釋。

于是，該論文聚焦于以下問(wèn)題：如何在后門維度被掩蓋和稀釋的情況下找到后門梯度的差異性？

方法

逐維歸一化

由于變化絕對(duì)值較大的維度在梯度中占主導(dǎo)地位，導(dǎo)致現(xiàn)有防御方法難以有效檢測(cè)出惡意梯度。

因此，研究人員將重點(diǎn)轉(zhuǎn)向關(guān)注各維度的變化率而非其具體數(shù)值，以消除高絕對(duì)值維度對(duì)檢測(cè)結(jié)果的顯著干擾。為了計(jì)算每個(gè)維度上的變化率，研究人員將客戶端的梯度（即）在全局模型和客戶端模型之間逐維分解，并將每個(gè)維度的梯度變化縮放到區(qū)間 [0,1]，從而統(tǒng)一量綱并實(shí)現(xiàn)對(duì)不同維度變化的相對(duì)比較。

差異化縮放

由于所有維度在歸一化后被映射到區(qū)間[0,1][0,1]，研究人員將每個(gè)維度的歸一化值g_i自身冪乘?次，以進(jìn)一步壓低更新幅度較小的維度值，使其趨近于0，從而消除這些微弱更新維度的影響。

相反，對(duì)于接近1的維度，保持其影響不變，甚至增強(qiáng)，從而放大各維度之間的差異，形成「強(qiáng)者愈強(qiáng)」的效應(yīng)。

通過(guò)這種方式，有效削弱了大量未被使用維度對(duì)少數(shù)關(guān)鍵后門維度的干擾，使后門相關(guān)的關(guān)鍵維度在梯度向量中占據(jù)主導(dǎo)地位。

最終，梯度向量的方向?qū)?/span>完全由這些后門維度主導(dǎo)，忽略了微弱維度的干擾，從而提升后門特征的可檢測(cè)性。