隨著聯(lián)邦學(xué)習(xí)在物聯(lián)網(wǎng)（IoT）系統(tǒng)中的廣泛應(yīng)用，如何在保障數(shù)據(jù)隱私的同時有效抵御惡意攻擊，已成為學(xué)界與產(chǎn)業(yè)界的共同難題。

針對這一問題，華南理工大學(xué)計算機學(xué)院與深圳北理莫斯科大學(xué)合作，提出了FedMSBA和FedMAR兩種防御方法。

其中，F(xiàn)edMSBA利用混合差分隱私機制，結(jié)合逐層感知方法，為參與方提供了更佳的理論隱私預(yù)算。

FedMAR利用多階段隱私聚合及更新回滾機制，為服務(wù)器提供了針對多種類型惡意用戶的防御方法。

論文1：FedMSBA

論文1：IEEE TMC (2025)

論文題目：Privacy-Preserving Rényi Layer-wise Budget Allocation against Gradient Leakage for Federated Learning

第一作者：時樂宇；通訊作者：高英

論文鏈接：https://ieeexplore.ieee.org/document/11193723

梯度泄露敏感信息，怎么辦？

盡管聯(lián)邦學(xué)習(xí)不直接傳輸數(shù)據(jù)，以「數(shù)據(jù)可用不可見」的方式對參與方實現(xiàn)了一定程度的隱私保護，但參與方上傳的模型梯度仍可能泄露敏感信息。

攻擊者可通過梯度反演攻擊，從梯度中重構(gòu)出原始圖像甚至文本數(shù)據(jù)。

傳統(tǒng)的單一機制差分隱私防御方法雖然有效，但往往因噪聲過大導(dǎo)致模型性能顯著下降。

此外，若僅在參與方模型梯度輸出中添加噪聲，或僅以局部敏感度為依據(jù)來添加噪聲，則攻擊者可以通過去噪等方式逐步了解模型結(jié)構(gòu)，并近似還原原始梯度更新。

由此，大家自然會想到一些問題：在保障同樣隱私預(yù)算的前提下，如何盡可能減少向原始數(shù)據(jù)中添加噪聲的總量？如何針對模型不同模塊的敏感度，來進行分模塊的隱私保護？

為了解決這些問題，研究者提出了一種基于Rényi差分隱私（RDP）的逐層隱私預(yù)算自適應(yīng)分配方法——FedMSBA（Federated Modified Sensitivity Budget Allocation）。

FedMSBA方法介紹

FedMSBA的核心理念包括：

1.分層隱私預(yù)算分配：根據(jù)不同網(wǎng)絡(luò)層對輸入變化的敏感度，動態(tài)分配隱私預(yù)算

在參與方的本地模型中，每一層具有不同的局部敏感度，導(dǎo)致了其對攻擊者擾動測試的反應(yīng)大小不同。況且，在每輪本地訓(xùn)練過程中，由于輸入不同，這些敏感度有可能發(fā)生變化。

因此，依據(jù)每層的局部敏感度，分配每層隱私預(yù)算，實現(xiàn)「高風(fēng)險層強保護、低風(fēng)險層弱擾動」。

2.Rényi差分隱私：基于RDP的隱私計算框架，提供更緊的數(shù)學(xué)邊界，實現(xiàn)更優(yōu)的隱私-效用平衡

常見的差分隱私機制包括高斯機制和拉普拉斯機制，而RDP能夠和一般差分隱私建立關(guān)系，因此研究者考慮運用在RDP來限制最終的隱私預(yù)算。

經(jīng)計算，在一般（Simple）情況和由RDP轉(zhuǎn)化為DP（RDP to DP）情況下，高斯機制和拉普拉斯機制噪聲標準差與隱私預(yù)算的關(guān)系如下：

由于拉普拉斯機制在RDP to DP情況不會優(yōu)于普通拉普拉斯機制，因此研究者直接禁用這一選擇。此外，研究者推導(dǎo)出了高斯機制在RDP to DP情況下的隱私預(yù)算及優(yōu)于其他機制的條件：

3.多機制自適應(yīng)選擇：結(jié)合高斯與拉普拉斯噪聲機制，并根據(jù)場景自動選擇最優(yōu)擾動方式

4.修正敏感度估計：通過蒙特卡洛采樣估計局部敏感度，并使用Softmax歸一化，防止攻擊者推測模型結(jié)構(gòu)

計算敏感度需要遍歷整個數(shù)據(jù)集，這樣將帶來極大開銷。為避免遍歷整個訓(xùn)練數(shù)據(jù)集，研究者采用蒙特卡洛采樣的方式來近似估算敏感度。

這樣的估算會與真實值存在一定誤差，然而研究者可以證明這樣的誤差是可控的。

此外，研究者利用Softmax來修正敏感度：

四大突破

FedMSBA框架在以下幾個方面實現(xiàn)了突破：

1.逐層自適應(yīng)分配機制：根據(jù)不同神經(jīng)網(wǎng)絡(luò)層的敏感性，動態(tài)分配隱私預(yù)算，實現(xiàn)「高風(fēng)險層強保護、低風(fēng)險層弱擾動」。

2.Rényi DP緊致界理論：通過RDP的數(shù)學(xué)性質(zhì)，在相同隱私預(yù)算下可顯著減少噪聲強度，提高模型可用性。

3.多機制融合與敏感度修正：結(jié)合高斯與拉普拉斯機制，并提出改進的「修正敏感度」計算方法，有效抵御梯度泄露攻擊。

4.理論完備與收斂保證：論文從隱私界、收斂性、估計誤差等方面給出嚴格證明，確保在有限通信輪次內(nèi)實現(xiàn)全局DP約束。

實驗效果：隱私與性能兼得

研究團隊在多個數(shù)據(jù)集（MNIST、Fashion-MNIST、CIFAR-10/100、ImageNet）上驗證了FedMSBA的有效性：

• 防御效果顯著：重構(gòu)圖像的PSNR顯著降低，MSE升高，視覺效果模糊難辨；
• 模型性能保持優(yōu)異：在大多數(shù)任務(wù)中，測試精度僅輕微下降；
• 適應(yīng)性強：無論是在IID還是Non-IID數(shù)據(jù)分布下，F(xiàn)edMSBA均表現(xiàn)穩(wěn)定；
• 資源友好：在邊緣設(shè)備上運行時間與內(nèi)存開銷均控制在可接受范圍內(nèi)。

FedMSBA是在聯(lián)邦學(xué)習(xí)中參與方隱私保護方向上的一個進一步探索。它在一定程度上彌補了現(xiàn)有方法在理論隱私保障上的不足。

研究團隊致力于構(gòu)建一個聯(lián)邦學(xué)習(xí)系統(tǒng)的通用隱私保護框架。

FedMSBA為參與方提供了更高級別、更自適應(yīng)的隱私保護，卻沒有考慮服務(wù)器的隱私保護問題。與參與方不同，服務(wù)器承擔大量通信和計算任務(wù)，又無權(quán)直接訪問訓(xùn)練數(shù)據(jù)。針對這些特性，研究團隊為服務(wù)器端設(shè)計了另一個隱私保護措施FedMAR，旨在進一步降低隱私計算開銷及從惡意本地更新中及時恢復(fù)。

論文2：FedMAR

論文2：IEEE IoT (2025)

論文題目：FedMAR: A Privacy-Preserving and Robust Server-Side Multi-Stage Federated Learning

第一作者：時樂宇；通訊作者：高英

論文鏈接：https://ieeexplore.ieee.org/document/11129099

服務(wù)器端如何保護隱私？

聯(lián)邦學(xué)習(xí)在實際部署中常面臨多種安全與隱私威脅，如數(shù)據(jù)投毒、模型中毒、梯度泄露和搭便車攻擊等。

這些攻擊不僅影響模型性能，也可能引發(fā)錯誤決策。值得注意的是，真實物聯(lián)網(wǎng)環(huán)境中這些威脅往往交織出現(xiàn)，而非孤立發(fā)生。現(xiàn)有防御方法大多針對單一攻擊類型設(shè)計，在復(fù)合攻擊場景下容易失效。

針對上述問題，研究團隊考慮了下列攻擊同時存在的一類IoT環(huán)境：

1.惡意參與方可能通過數(shù)據(jù)投毒攻擊（Data Poisoning Attack）或標簽翻轉(zhuǎn)攻擊（Label Flipping Attack）干擾訓(xùn)練過程，使得全局模型精度下降甚至失效。在這里，研究者將數(shù)據(jù)投毒攻擊和標簽反轉(zhuǎn)攻擊視作同一類型；

2.部分參與方可能實施搭便車攻擊（Free-rider Attack），即不上傳有價值的更新，卻依賴服務(wù)器下發(fā)的全局模型牟利；

3.梯度泄漏攻擊（Gradient Leakage Attack） 等隱私威脅也可能導(dǎo)致訓(xùn)練數(shù)據(jù)被逆向重建。

針對上述問題，研究者提出了一種適用于物聯(lián)網(wǎng)環(huán)境的多階段自適應(yīng)魯棒聚合聯(lián)邦學(xué)習(xí)防御框架——FedMAR（Federated Multi-stage Asynchronous Roll-back），相關(guān)成果已被IEEE Internet of Things Journal錄用。

FedMAR方法介紹

FedMAR的核心理念是：

1.多階段聚合與回滾機制：在服務(wù)器端動態(tài)檢測異常更新，并通過「回滾」操作削弱其影響，從而保證全局模型的魯棒性。

研究者通過各個參與方之間的「距離」來區(qū)分正常參與方與被投毒的參與方，這個「距離」可以用參與方所上傳的更新來進行計算。

在完成中心點計算后，研究者可以利用3σ準則來完成被投毒參與的甄別。

經(jīng)過推導(dǎo)，可以利用如下策略將一個參與方的更新從全局更新中完全剔除，即本文中的「回滾」策略：

2.基于Rényi差分隱私（RDP）的隱私保護：與傳統(tǒng)差分隱私相比，RDP能夠在相同預(yù)算下添加更小幅度的噪聲，既提升了隱私保障，也避免了過度犧牲模型性能。

3.搭便車攻擊檢測機制：通過引入聚合中心點與噪聲偏差標準，F(xiàn)edMAR可以有效識上傳幾乎無效參數(shù)卻想獲取全局模型的攻擊者。

3σ準則能夠甄別被投毒的參與方，但卻對實施「搭便車攻擊」的參與方無能為力。

然而，搭便車攻擊的參與方為了掩藏自己不提供任何有效更新的事實，通常會令自身提供的更新盡可能與聚合后的「中心點」接近。因此，距離中心點太近的參與方極有可能是在進行搭便車攻擊的。

4.魯棒與隱私的動態(tài)平衡：FedMAR 框架嘗試在提升魯棒性的同時兼顧隱私保護，以應(yīng)對物聯(lián)網(wǎng)中的復(fù)雜環(huán)境。

突破與創(chuàng)新

FedMAR 框架 在以下幾個方面實現(xiàn)了突破：

1.魯棒聚合策略：通過多方自適應(yīng)加權(quán)機制，能夠自動識別并削弱惡意客戶端的影響，從而提升全局模型的魯棒性。

2.隱私保護：結(jié)合RDP，在降低注入噪聲強度的同時，提供了更緊的隱私保障。

3.理論與實驗并重：提供了嚴謹?shù)陌踩苑治?，并在多個真實數(shù)據(jù)集（如CIFAR-10、MNIST等）上進行了實驗驗證。

理論亮點

1.RDP機制的優(yōu)化與界定：給出了噪聲標準差與隱私預(yù)算的解析關(guān)系，并通過近似推導(dǎo)解決了Laplace機制在機器計算中易出現(xiàn)溢出的難題。

這一部分工作使得在相同隱私預(yù)算下，可以自適應(yīng)地選擇更優(yōu)的噪聲機制，從而實現(xiàn)理論與實際的雙重優(yōu)化。

2.魯棒性與隱私保護的統(tǒng)一框架：研究者并沒有將「安全魯棒性」和「隱私保護」分開處理，而是建立了一個可平衡兩者的統(tǒng)一理論框架。

在這個框架中，魯棒性部分通過「3σ準則+回滾機制」給出了形式化定義，隱私部分通過 RDP 給出了數(shù)學(xué)化約束，最終實現(xiàn)了魯棒性與隱私性的動態(tài)平衡。

實驗亮點

• 在面對多種投毒攻擊場景時，F(xiàn)edMAR能夠有效保持模型精度，相比傳統(tǒng)方法取得了一定的提升。
• 在隱私預(yù)算有限的情況下，F(xiàn)edMAR也能夠減少精度損失。
• 在非良性參與方識別任務(wù)中，F(xiàn)edMAR的檢測準確率、召回率和F1-score上表現(xiàn)穩(wěn)定。

FedMAR 是在聯(lián)邦學(xué)習(xí)安全與隱私保護方向上的一個階段性嘗試。它在一定程度上彌補了現(xiàn)有方法在復(fù)合攻擊環(huán)境中的不足。

未來，研究者還將繼續(xù)探索如何進一步降低算法開銷、提升跨設(shè)備兼容性，以推動聯(lián)邦學(xué)習(xí)在真實物聯(lián)網(wǎng)場景中的穩(wěn)健落地。