?1、緒論

聯(lián)邦機(jī)器學(xué)習(xí)（Federated machine learning）又叫做聯(lián)邦學(xué)習(xí)（Federated Learning/FL），本質(zhì)上也就是機(jī)器學(xué)習(xí)，但是他是將多方數(shù)據(jù)放在一起進(jìn)行學(xué)習(xí)，考慮到數(shù)據(jù)的安全性和隱私性，多個(gè)合作方的數(shù)據(jù)通常不能互通，這也就造成了數(shù)據(jù)孤島，聯(lián)邦學(xué)習(xí)能夠在保證數(shù)據(jù)安全與隱私的前提下實(shí)現(xiàn)多方共同建模，學(xué)習(xí)流程如下：各個(gè)合作方將自己的本地?cái)?shù)據(jù)進(jìn)行訓(xùn)練得到子模型，將訓(xùn)練得到的參數(shù)再上傳到服務(wù)器，經(jīng)過聚合后得到整體參數(shù)：

圖1聯(lián)邦學(xué)習(xí)流程圖

由于聯(lián)邦學(xué)習(xí)不需要共享各個(gè)合作方的原始數(shù)據(jù)就可以更新參數(shù)而備受關(guān)注，除此之外，聯(lián)邦學(xué)習(xí)需要在第三方的幫助下完成，因此隱私與安全問題是聯(lián)邦學(xué)習(xí)面臨的最大挑戰(zhàn)。

2、聯(lián)邦學(xué)習(xí)存在的威脅

2.1隱私推理攻擊和中毒攻擊

隱私推理攻擊一般不會(huì)改變目標(biāo)模型，而是使他產(chǎn)生錯(cuò)誤的預(yù)測，收集有關(guān)模型的特征來導(dǎo)致隱私和魯棒性問題，推理攻擊一般分為四種，第一種是會(huì)員推理攻擊，第二種是屬性推理攻擊，攻擊者試圖誘導(dǎo)其他客戶的私有數(shù)據(jù)的屬性，第三種是訓(xùn)練輸入和標(biāo)簽推斷攻擊，這種攻擊方式因其可以確定FL模型類的標(biāo)簽和客戶機(jī)的訓(xùn)練輸入往往更具有破壞性，第四種是基于GANs的推理攻擊，這種情況下，可以生成對(duì)抗網(wǎng)絡(luò)來執(zhí)行強(qiáng)大的攻擊[1]。中毒攻擊發(fā)生在對(duì)抗聯(lián)邦學(xué)習(xí)的訓(xùn)練階段，可分為數(shù)據(jù)中毒和模型中毒兩種方式，數(shù)據(jù)中毒主要通過添加噪聲或者是翻轉(zhuǎn)標(biāo)簽來改變訓(xùn)練數(shù)據(jù)集，模型中毒通過操作模型更新導(dǎo)致全局模型偏離正常模型。

2.2后門攻擊和拜占庭攻擊

后門攻擊是指攻擊者在模型訓(xùn)練過程中通過某種方式對(duì)模型植入后門，當(dāng)后門沒有被激發(fā)的時(shí)候，被攻擊的模型與正常模型無異，但是當(dāng)后門被激活時(shí)，模型的輸出變成攻擊者事先指定好的標(biāo)簽來達(dá)到惡意攻擊的目的。而拜占庭攻擊旨在阻止全局模型收斂。

3、聯(lián)邦學(xué)習(xí)安全的研究進(jìn)展

3.1基于差分隱私的方法

這種技術(shù)是在聯(lián)邦學(xué)習(xí)服務(wù)器共享單個(gè)更新之前向客戶機(jī)的敏感屬性引入噪聲，因此，每個(gè)用戶的隱私都得到了保護(hù)，Kang Wei等人提出了一種基于差分隱私的新型框架，在聚合前就將人工噪聲添加到客戶端的參數(shù)中，也就是模型聚合前的噪聲聚合[2]。他們所提出的方案通過適當(dāng)調(diào)整方差滿足高斯噪聲在一定噪聲擾動(dòng)水平下全局?jǐn)?shù)據(jù)對(duì)差分隱私的要求，并且給出了訓(xùn)練后的模型損失函數(shù)收斂界，實(shí)驗(yàn)發(fā)現(xiàn)，更好的收斂性能會(huì)導(dǎo)致較低的保護(hù)能力，但是在隱私保護(hù)水平固定的情況下，增加參與學(xué)習(xí)的客戶端數(shù)量可以適當(dāng)提高其收斂性，但是也存在一個(gè)最優(yōu)的最大聚合次數(shù)。在此基礎(chǔ)上，他們還提出了一種K-client隨機(jī)調(diào)整策略，從客戶端中隨機(jī)選擇K個(gè)客戶端參與每次聚合，這樣存在一個(gè)K的最優(yōu)值，在固定隱私保護(hù)水平下達(dá)到最佳的收斂性能。

3.2基于健壯的聚合和同態(tài)加密的方法

由于聯(lián)邦學(xué)習(xí)框架的中心性和客戶端的不可靠，聯(lián)邦學(xué)習(xí)容易受到惡意客戶端和服務(wù)器的攻擊，Yinbin Miao等人設(shè)計(jì)了一種基于區(qū)塊鏈的隱私保護(hù)拜占庭魯棒聯(lián)邦學(xué)習(xí)（PBFL）方案[3]，他們使用余弦相似度來判斷惡意客戶端上傳的惡意梯度，提供一個(gè)安全的全局模型來抵御中毒攻擊，再采用全同態(tài)加密技術(shù)提供了一種隱私保護(hù)訓(xùn)練機(jī)制來實(shí)現(xiàn)安全聚合，這種方式可以有效阻止攻擊者窺探客戶端的本地?cái)?shù)據(jù)，最后使用區(qū)塊鏈技術(shù)，服務(wù)器執(zhí)行鏈下計(jì)算并將結(jié)果上傳到區(qū)塊鏈。Xiaoyuan Liu等人也采用同態(tài)加密作為底層技術(shù)，提出一個(gè)隱私增強(qiáng)的FL(PEEL)框架，通過對(duì)數(shù)函數(shù)去除惡意梯度[4]，PEEL既可以防止服務(wù)器侵犯用戶的隱私，也可以保證惡意用戶無法通過上傳惡意梯度推斷出會(huì)員身份。

除此之外也可能存在某些用戶（這里稱作不規(guī)則用戶）提供的數(shù)據(jù)質(zhì)量低下導(dǎo)致模型不準(zhǔn)確的問題，基于這個(gè)問題Guowen Xun等人提出了PPFDL這樣的具有非規(guī)則用戶的隱私保護(hù)聯(lián)邦學(xué)習(xí)框架[5]，在訓(xùn)練過程中，高度集成了加性同態(tài)和Yao’s亂碼電路技術(shù)來保證所有用戶信息的保密性。

3.3基于安全多方運(yùn)算和驗(yàn)證網(wǎng)絡(luò)的方法

針對(duì)訓(xùn)練過程中的局部梯度及從服務(wù)器返回的聚合結(jié)果完整性，Guowen Xu等人提出了第一個(gè)保護(hù)隱私和可驗(yàn)證的聯(lián)邦學(xué)習(xí)框架——VerifyNet[6]，他們首先提出了一種雙屏蔽協(xié)議來保證聯(lián)邦學(xué)習(xí)中用戶本地梯度的機(jī)密性，在訓(xùn)練過程中，允許一定數(shù)量的用戶退出，但是這些退出用戶的隱私仍然受其保護(hù)，再要求云服務(wù)器向每個(gè)用戶提供關(guān)于其聚合結(jié)果正確性的證明，他們利用與偽隨機(jī)技術(shù)相結(jié)合的同態(tài)哈希函數(shù)作為VerifyNet的底層結(jié)構(gòu)，允許用戶在可接受的開銷下驗(yàn)證從服務(wù)器返回的結(jié)果的正確性。

3.4基于去中心化的方法

在隱私保護(hù)和可驗(yàn)證上，Jiaoqi Zhao等人提出了一種名為PVD-FL的去中心化聯(lián)邦學(xué)習(xí)框架[7]，首先設(shè)計(jì)一種高效并且可驗(yàn)證的基于密碼的矩陣乘法算法來執(zhí)行深度學(xué)習(xí)中最基本的計(jì)算，通過上述算法設(shè)計(jì)了一套去中心化算法來構(gòu)建PVD-FL框架保證全局模型和局部更新的保密性，同時(shí)，PVD-FL每一個(gè)訓(xùn)練步驟都是可以驗(yàn)證的以此來保證訓(xùn)練的完整性。在PVD-FL中，可以在多個(gè)連接的參與者上構(gòu)建全局模型而不需要中心的幫助。

圖2去中心化的聯(lián)邦學(xué)習(xí)

3.5后門攻擊和拜占庭攻擊防御

現(xiàn)有的安全聚合解決方案無法解決分布式計(jì)算系統(tǒng)中常見的拜占庭問題，于是Lingcheng Zhao等人提出了一個(gè)安全高效的聚合框架SEAR[8]，利用可信硬件Intel SGX在提供隱私保護(hù)的同時(shí)提供聚合效率，他們還提出了一種遠(yuǎn)程認(rèn)證協(xié)議，可以讓聚合服務(wù)器同時(shí)對(duì)多個(gè)客戶端進(jìn)行認(rèn)證，同時(shí)SEAR在基于采樣的檢測方式上能夠更有效聚合模型。

基于檢測和過濾惡意模型更新的針對(duì)后門攻擊的防御只考慮到非常具體和有限的攻擊者模型，而基于差分隱私啟發(fā)的噪聲注入的方式會(huì)降低聚合模型的性能，為了解決這些問題，Thien Duc Nguyen等人提出了一個(gè)防御框架FLAME[9]，為了最小化所需要的噪聲量，F(xiàn)LAME使用模型聚類和權(quán)值剪裁來保證模型聚合的良好性能，同時(shí)也能夠有效消除對(duì)抗后門。

3.6針對(duì)垂直聯(lián)邦學(xué)習(xí)的安全問題

聯(lián)邦學(xué)習(xí)分為水平聯(lián)邦學(xué)習(xí)（HFL）、垂直聯(lián)邦學(xué)習(xí)（VFL）和聯(lián)邦遷移學(xué)習(xí)，研究發(fā)現(xiàn)VFL的底層模型結(jié)構(gòu)和梯度更新機(jī)制可以被惡意參與者利用，從而獲得推斷私有標(biāo)簽的權(quán)力，更嚴(yán)重的情況是通過濫用底層模型甚至可以推斷出訓(xùn)練數(shù)據(jù)之外的標(biāo)簽，基于這個(gè)問題，Chong Fu等人提出了針對(duì)VFL的三種類型的標(biāo)簽推斷攻擊，并對(duì)這些攻擊討論了可能的防御方法[10]，他們的研究提出了VFL的隱藏風(fēng)險(xiǎn)，使得VFL的發(fā)展更加安全。

4、未來挑戰(zhàn)與機(jī)遇

4.1信任問題

參與聯(lián)邦學(xué)習(xí)的客戶端很多，其中如果存在惡意客戶端，攻擊者可以利用模型參數(shù)和訓(xùn)練數(shù)據(jù)實(shí)施攻擊，聯(lián)邦服務(wù)器如何信任來自客戶機(jī)的報(bào)告是一個(gè)值得思考的問題。

4.2安全通信

聯(lián)邦學(xué)習(xí)需要多輪通信，不安全的通信信道會(huì)是一個(gè)安全隱患。

4.3可信的可溯源性

在聯(lián)邦學(xué)習(xí)的過程中確保全局模型的可跟蹤性是FL設(shè)置中的另一個(gè)主要挑戰(zhàn)，例如，當(dāng)一個(gè)模型參數(shù)在訓(xùn)練的時(shí)候被修改或者更新，那么模型就要有跟蹤能力來確定哪個(gè)客戶機(jī)的更新導(dǎo)致了參數(shù)的更改[1]。

5、結(jié)束語

聯(lián)邦學(xué)習(xí)能夠讓多個(gè)合作方不共享各自的本地?cái)?shù)據(jù)就能更新參數(shù)而廣受歡迎，但是聯(lián)邦學(xué)習(xí)的安全問題也隨之而來。本文介紹了聯(lián)邦學(xué)習(xí)訓(xùn)練過程中常見的攻擊方式：隱私推理攻擊、中毒攻擊、后門攻擊和拜占庭攻擊。并總結(jié)了防御這些攻擊的方法最新研究進(jìn)展，雖然這些方法能夠有效保證聯(lián)邦學(xué)習(xí)的安全，但是聯(lián)邦學(xué)習(xí)仍然存在一些無法完全解決的問題例如安全與效率的平衡、通信信道安全等問題。未來的聯(lián)邦學(xué)習(xí)安全研究依然有許多等待解決的問題和新型的多技術(shù)路徑融合發(fā)展方向。

參考文獻(xiàn)

[1] Mourad Benmalek,Mohamed Ali Benrekia & Yacine Challal.(2022).Security of Federated Learning: Attacks, Defensive Mechanisms, and Challenges. RIA(1). doi:10.18280/RIA.360106.

[2] K. Wei et al., "Federated Learning With Differential Privacy: Algorithms and Performance Analysis," in IEEE Transactions on Information Forensics and Security, vol. 15, pp. 3454-3469, 2020, doi: 10.1109/TIFS.2020.2988575.

[3] Y. Miao, Z. Liu, H. Li, K. -K. R. Choo and R. H. Deng, "Privacy-Preserving Byzantine-Robust Federated Learning via Blockchain Systems," in IEEE Transactions on Information Forensics and Security, vol. 17, pp. 2848-2861, 2022, doi: 10.1109/TIFS.2022.3196274.

[4] X. Liu, H. Li, G. Xu, Z. Chen, X. Huang and R. Lu, "Privacy-Enhanced Federated Learning Against Poisoning Adversaries," in IEEE Transactions on Information Forensics and Security, vol. 16, pp. 4574-4588, 2021, doi: 10.1109/TIFS.2021.3108434.

[5] G. Xu, H. Li, Y. Zhang, S. Xu, J. Ning and R. H. Deng, "Privacy-Preserving Federated Deep Learning With Irregular Users," in IEEE Transactions on Dependable and Secure Computing, vol. 19, no. 2, pp. 1364-1381, 1 March-April 2022, doi: 10.1109/TDSC.2020.3005909.

[6] G. Xu, H. Li, S. Liu, K. Yang and X. Lin, "VerifyNet: Secure and Verifiable Federated Learning," in IEEE Transactions on Information Forensics and Security, vol. 15, pp. 911-926, 2020, doi: 10.1109/TIFS.2019.2929409.

[7] J. Zhao, H. Zhu, F. Wang, R. Lu, Z. Liu and H. Li, "PVD-FL: A Privacy-Preserving and Verifiable Decentralized Federated Learning Framework," in IEEE Transactions on Information Forensics and Security, vol. 17, pp. 2059-2073, 2022, doi: 10.1109/TIFS.2022.3176191.

[8] L. Zhao, J. Jiang, B. Feng, Q. Wang, C. Shen and Q. Li, "SEAR: Secure and Efficient Aggregation for Byzantine-Robust Federated Learning," in IEEE Transactions on Dependable and Secure Computing, vol. 19, no. 5, pp. 3329-3342, 1 Sept.-Oct. 2022, doi: 10.1109/TDSC.2021.3093711.

[9] Nguyen, T.D., Rieger, P., Chen, H., Yalame, H., Mollering, H., Fereidooni, H., Marchal, S., Miettinen, M., Mirhoseini, A., Zeitouni, S., Koushanfar, F., Sadeghi, A., & Schneider, T. (2022). FLAME: Taming Backdoors in Federated Learning. USENIX Security Symposium.

[10] Xuhong Zhang,Shouling Ji,Jinyin Chen,Jingzheng Wu,Shanqing Guo,Jun Zhou,Alex X. Liu,Ting Wang.T. (2021).Label Inference Attacks Against Vertical Federated Learning.USENIX Security Symposium.?