偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

聊聊聯(lián)邦學(xué)習(xí)安全綜述

安全 應(yīng)用安全
聯(lián)邦學(xué)習(xí)能夠讓多個(gè)合作方不共享各自的本地?cái)?shù)據(jù)就能更新參數(shù)而廣受歡迎,但是聯(lián)邦學(xué)習(xí)的安全問題也隨之而來。

?1、緒論

聯(lián)邦機(jī)器學(xué)習(xí)(Federated machine learning)又叫做聯(lián)邦學(xué)習(xí)(Federated Learning/FL),本質(zhì)上也就是機(jī)器學(xué)習(xí),但是他是將多方數(shù)據(jù)放在一起進(jìn)行學(xué)習(xí),考慮到數(shù)據(jù)的安全性和隱私性,多個(gè)合作方的數(shù)據(jù)通常不能互通,這也就造成了數(shù)據(jù)孤島,聯(lián)邦學(xué)習(xí)能夠在保證數(shù)據(jù)安全與隱私的前提下實(shí)現(xiàn)多方共同建模,學(xué)習(xí)流程如下:各個(gè)合作方將自己的本地?cái)?shù)據(jù)進(jìn)行訓(xùn)練得到子模型,將訓(xùn)練得到的參數(shù)再上傳到服務(wù)器,經(jīng)過聚合后得到整體參數(shù):

圖片

圖1聯(lián)邦學(xué)習(xí)流程圖

由于聯(lián)邦學(xué)習(xí)不需要共享各個(gè)合作方的原始數(shù)據(jù)就可以更新參數(shù)而備受關(guān)注,除此之外,聯(lián)邦學(xué)習(xí)需要在第三方的幫助下完成,因此隱私與安全問題是聯(lián)邦學(xué)習(xí)面臨的最大挑戰(zhàn)。

2、聯(lián)邦學(xué)習(xí)存在的威脅

2.1隱私推理攻擊和中毒攻擊

隱私推理攻擊一般不會(huì)改變目標(biāo)模型,而是使他產(chǎn)生錯(cuò)誤的預(yù)測,收集有關(guān)模型的特征來導(dǎo)致隱私和魯棒性問題,推理攻擊一般分為四種,第一種是會(huì)員推理攻擊,第二種是屬性推理攻擊,攻擊者試圖誘導(dǎo)其他客戶的私有數(shù)據(jù)的屬性,第三種是訓(xùn)練輸入和標(biāo)簽推斷攻擊,這種攻擊方式因其可以確定FL模型類的標(biāo)簽和客戶機(jī)的訓(xùn)練輸入往往更具有破壞性,第四種是基于GANs的推理攻擊,這種情況下,可以生成對(duì)抗網(wǎng)絡(luò)來執(zhí)行強(qiáng)大的攻擊[1]。中毒攻擊發(fā)生在對(duì)抗聯(lián)邦學(xué)習(xí)的訓(xùn)練階段,可分為數(shù)據(jù)中毒和模型中毒兩種方式,數(shù)據(jù)中毒主要通過添加噪聲或者是翻轉(zhuǎn)標(biāo)簽來改變訓(xùn)練數(shù)據(jù)集,模型中毒通過操作模型更新導(dǎo)致全局模型偏離正常模型。

2.2后門攻擊和拜占庭攻擊

后門攻擊是指攻擊者在模型訓(xùn)練過程中通過某種方式對(duì)模型植入后門,當(dāng)后門沒有被激發(fā)的時(shí)候,被攻擊的模型與正常模型無異,但是當(dāng)后門被激活時(shí),模型的輸出變成攻擊者事先指定好的標(biāo)簽來達(dá)到惡意攻擊的目的。而拜占庭攻擊旨在阻止全局模型收斂。

3、聯(lián)邦學(xué)習(xí)安全的研究進(jìn)展

3.1基于差分隱私的方法

這種技術(shù)是在聯(lián)邦學(xué)習(xí)服務(wù)器共享單個(gè)更新之前向客戶機(jī)的敏感屬性引入噪聲,因此,每個(gè)用戶的隱私都得到了保護(hù),Kang Wei等人提出了一種基于差分隱私的新型框架,在聚合前就將人工噪聲添加到客戶端的參數(shù)中,也就是模型聚合前的噪聲聚合[2]。他們所提出的方案通過適當(dāng)調(diào)整方差滿足高斯噪聲在一定噪聲擾動(dòng)水平下全局?jǐn)?shù)據(jù)對(duì)差分隱私的要求,并且給出了訓(xùn)練后的模型損失函數(shù)收斂界,實(shí)驗(yàn)發(fā)現(xiàn),更好的收斂性能會(huì)導(dǎo)致較低的保護(hù)能力,但是在隱私保護(hù)水平固定的情況下,增加參與學(xué)習(xí)的客戶端數(shù)量可以適當(dāng)提高其收斂性,但是也存在一個(gè)最優(yōu)的最大聚合次數(shù)。在此基礎(chǔ)上,他們還提出了一種K-client隨機(jī)調(diào)整策略,從客戶端中隨機(jī)選擇K個(gè)客戶端參與每次聚合,這樣存在一個(gè)K的最優(yōu)值,在固定隱私保護(hù)水平下達(dá)到最佳的收斂性能。

3.2基于健壯的聚合和同態(tài)加密的方法

由于聯(lián)邦學(xué)習(xí)框架的中心性和客戶端的不可靠,聯(lián)邦學(xué)習(xí)容易受到惡意客戶端和服務(wù)器的攻擊,Yinbin Miao等人設(shè)計(jì)了一種基于區(qū)塊鏈的隱私保護(hù)拜占庭魯棒聯(lián)邦學(xué)習(xí)(PBFL)方案[3],他們使用余弦相似度來判斷惡意客戶端上傳的惡意梯度,提供一個(gè)安全的全局模型來抵御中毒攻擊,再采用全同態(tài)加密技術(shù)提供了一種隱私保護(hù)訓(xùn)練機(jī)制來實(shí)現(xiàn)安全聚合,這種方式可以有效阻止攻擊者窺探客戶端的本地?cái)?shù)據(jù),最后使用區(qū)塊鏈技術(shù),服務(wù)器執(zhí)行鏈下計(jì)算并將結(jié)果上傳到區(qū)塊鏈。Xiaoyuan Liu等人也采用同態(tài)加密作為底層技術(shù),提出一個(gè)隱私增強(qiáng)的FL(PEEL)框架,通過對(duì)數(shù)函數(shù)去除惡意梯度[4],PEEL既可以防止服務(wù)器侵犯用戶的隱私,也可以保證惡意用戶無法通過上傳惡意梯度推斷出會(huì)員身份。

除此之外也可能存在某些用戶(這里稱作不規(guī)則用戶)提供的數(shù)據(jù)質(zhì)量低下導(dǎo)致模型不準(zhǔn)確的問題,基于這個(gè)問題Guowen Xun等人提出了PPFDL這樣的具有非規(guī)則用戶的隱私保護(hù)聯(lián)邦學(xué)習(xí)框架[5],在訓(xùn)練過程中,高度集成了加性同態(tài)和Yao’s亂碼電路技術(shù)來保證所有用戶信息的保密性。

3.3基于安全多方運(yùn)算和驗(yàn)證網(wǎng)絡(luò)的方法

針對(duì)訓(xùn)練過程中的局部梯度及從服務(wù)器返回的聚合結(jié)果完整性,Guowen Xu等人提出了第一個(gè)保護(hù)隱私和可驗(yàn)證的聯(lián)邦學(xué)習(xí)框架——VerifyNet[6],他們首先提出了一種雙屏蔽協(xié)議來保證聯(lián)邦學(xué)習(xí)中用戶本地梯度的機(jī)密性,在訓(xùn)練過程中,允許一定數(shù)量的用戶退出,但是這些退出用戶的隱私仍然受其保護(hù),再要求云服務(wù)器向每個(gè)用戶提供關(guān)于其聚合結(jié)果正確性的證明,他們利用與偽隨機(jī)技術(shù)相結(jié)合的同態(tài)哈希函數(shù)作為VerifyNet的底層結(jié)構(gòu),允許用戶在可接受的開銷下驗(yàn)證從服務(wù)器返回的結(jié)果的正確性。

3.4基于去中心化的方法

在隱私保護(hù)和可驗(yàn)證上,Jiaoqi Zhao等人提出了一種名為PVD-FL的去中心化聯(lián)邦學(xué)習(xí)框架[7],首先設(shè)計(jì)一種高效并且可驗(yàn)證的基于密碼的矩陣乘法算法來執(zhí)行深度學(xué)習(xí)中最基本的計(jì)算,通過上述算法設(shè)計(jì)了一套去中心化算法來構(gòu)建PVD-FL框架保證全局模型和局部更新的保密性,同時(shí),PVD-FL每一個(gè)訓(xùn)練步驟都是可以驗(yàn)證的以此來保證訓(xùn)練的完整性。在PVD-FL中,可以在多個(gè)連接的參與者上構(gòu)建全局模型而不需要中心的幫助。

圖片

圖2去中心化的聯(lián)邦學(xué)習(xí)

3.5后門攻擊和拜占庭攻擊防御

現(xiàn)有的安全聚合解決方案無法解決分布式計(jì)算系統(tǒng)中常見的拜占庭問題,于是Lingcheng Zhao等人提出了一個(gè)安全高效的聚合框架SEAR[8],利用可信硬件Intel SGX在提供隱私保護(hù)的同時(shí)提供聚合效率,他們還提出了一種遠(yuǎn)程認(rèn)證協(xié)議,可以讓聚合服務(wù)器同時(shí)對(duì)多個(gè)客戶端進(jìn)行認(rèn)證,同時(shí)SEAR在基于采樣的檢測方式上能夠更有效聚合模型。

基于檢測和過濾惡意模型更新的針對(duì)后門攻擊的防御只考慮到非常具體和有限的攻擊者模型,而基于差分隱私啟發(fā)的噪聲注入的方式會(huì)降低聚合模型的性能,為了解決這些問題,Thien Duc Nguyen等人提出了一個(gè)防御框架FLAME[9],為了最小化所需要的噪聲量,F(xiàn)LAME使用模型聚類和權(quán)值剪裁來保證模型聚合的良好性能,同時(shí)也能夠有效消除對(duì)抗后門。

3.6針對(duì)垂直聯(lián)邦學(xué)習(xí)的安全問題

聯(lián)邦學(xué)習(xí)分為水平聯(lián)邦學(xué)習(xí)(HFL)、垂直聯(lián)邦學(xué)習(xí)(VFL)和聯(lián)邦遷移學(xué)習(xí),研究發(fā)現(xiàn)VFL的底層模型結(jié)構(gòu)和梯度更新機(jī)制可以被惡意參與者利用,從而獲得推斷私有標(biāo)簽的權(quán)力,更嚴(yán)重的情況是通過濫用底層模型甚至可以推斷出訓(xùn)練數(shù)據(jù)之外的標(biāo)簽,基于這個(gè)問題,Chong Fu等人提出了針對(duì)VFL的三種類型的標(biāo)簽推斷攻擊,并對(duì)這些攻擊討論了可能的防御方法[10],他們的研究提出了VFL的隱藏風(fēng)險(xiǎn),使得VFL的發(fā)展更加安全。

4、未來挑戰(zhàn)與機(jī)遇

4.1信任問題

參與聯(lián)邦學(xué)習(xí)的客戶端很多,其中如果存在惡意客戶端,攻擊者可以利用模型參數(shù)和訓(xùn)練數(shù)據(jù)實(shí)施攻擊,聯(lián)邦服務(wù)器如何信任來自客戶機(jī)的報(bào)告是一個(gè)值得思考的問題。

4.2安全通信

聯(lián)邦學(xué)習(xí)需要多輪通信,不安全的通信信道會(huì)是一個(gè)安全隱患。

4.3可信的可溯源性

在聯(lián)邦學(xué)習(xí)的過程中確保全局模型的可跟蹤性是FL設(shè)置中的另一個(gè)主要挑戰(zhàn),例如,當(dāng)一個(gè)模型參數(shù)在訓(xùn)練的時(shí)候被修改或者更新,那么模型就要有跟蹤能力來確定哪個(gè)客戶機(jī)的更新導(dǎo)致了參數(shù)的更改[1]。

5、結(jié)束語

聯(lián)邦學(xué)習(xí)能夠讓多個(gè)合作方不共享各自的本地?cái)?shù)據(jù)就能更新參數(shù)而廣受歡迎,但是聯(lián)邦學(xué)習(xí)的安全問題也隨之而來。本文介紹了聯(lián)邦學(xué)習(xí)訓(xùn)練過程中常見的攻擊方式:隱私推理攻擊、中毒攻擊、后門攻擊和拜占庭攻擊。并總結(jié)了防御這些攻擊的方法最新研究進(jìn)展,雖然這些方法能夠有效保證聯(lián)邦學(xué)習(xí)的安全,但是聯(lián)邦學(xué)習(xí)仍然存在一些無法完全解決的問題例如安全與效率的平衡、通信信道安全等問題。未來的聯(lián)邦學(xué)習(xí)安全研究依然有許多等待解決的問題和新型的多技術(shù)路徑融合發(fā)展方向。

參考文獻(xiàn)

[1] Mourad Benmalek,Mohamed Ali Benrekia & Yacine Challal.(2022).Security of Federated Learning: Attacks, Defensive Mechanisms, and Challenges. RIA(1). doi:10.18280/RIA.360106.

[2] K. Wei et al., "Federated Learning With Differential Privacy: Algorithms and Performance Analysis," in IEEE Transactions on Information Forensics and Security, vol. 15, pp. 3454-3469, 2020, doi: 10.1109/TIFS.2020.2988575.

[3] Y. Miao, Z. Liu, H. Li, K. -K. R. Choo and R. H. Deng, "Privacy-Preserving Byzantine-Robust Federated Learning via Blockchain Systems," in IEEE Transactions on Information Forensics and Security, vol. 17, pp. 2848-2861, 2022, doi: 10.1109/TIFS.2022.3196274.

[4] X. Liu, H. Li, G. Xu, Z. Chen, X. Huang and R. Lu, "Privacy-Enhanced Federated Learning Against Poisoning Adversaries," in IEEE Transactions on Information Forensics and Security, vol. 16, pp. 4574-4588, 2021, doi: 10.1109/TIFS.2021.3108434.

[5] G. Xu, H. Li, Y. Zhang, S. Xu, J. Ning and R. H. Deng, "Privacy-Preserving Federated Deep Learning With Irregular Users," in IEEE Transactions on Dependable and Secure Computing, vol. 19, no. 2, pp. 1364-1381, 1 March-April 2022, doi: 10.1109/TDSC.2020.3005909.

[6] G. Xu, H. Li, S. Liu, K. Yang and X. Lin, "VerifyNet: Secure and Verifiable Federated Learning," in IEEE Transactions on Information Forensics and Security, vol. 15, pp. 911-926, 2020, doi: 10.1109/TIFS.2019.2929409.

[7] J. Zhao, H. Zhu, F. Wang, R. Lu, Z. Liu and H. Li, "PVD-FL: A Privacy-Preserving and Verifiable Decentralized Federated Learning Framework," in IEEE Transactions on Information Forensics and Security, vol. 17, pp. 2059-2073, 2022, doi: 10.1109/TIFS.2022.3176191.

[8] L. Zhao, J. Jiang, B. Feng, Q. Wang, C. Shen and Q. Li, "SEAR: Secure and Efficient Aggregation for Byzantine-Robust Federated Learning," in IEEE Transactions on Dependable and Secure Computing, vol. 19, no. 5, pp. 3329-3342, 1 Sept.-Oct. 2022, doi: 10.1109/TDSC.2021.3093711.

[9] Nguyen, T.D., Rieger, P., Chen, H., Yalame, H., Mollering, H., Fereidooni, H., Marchal, S., Miettinen, M., Mirhoseini, A., Zeitouni, S., Koushanfar, F., Sadeghi, A., & Schneider, T. (2022). FLAME: Taming Backdoors in Federated Learning. USENIX Security Symposium.

[10] Xuhong Zhang,Shouling Ji,Jinyin Chen,Jingzheng Wu,Shanqing Guo,Jun Zhou,Alex X. Liu,Ting Wang.T. (2021).Label Inference Attacks Against Vertical Federated Learning.USENIX Security Symposium.?

責(zé)任編輯:武曉燕 來源: 中國保密協(xié)會(huì)科學(xué)技術(shù)分會(huì)
相關(guān)推薦

2024-04-18 10:39:57

2022-08-11 13:49:37

機(jī)器學(xué)習(xí)技術(shù)

2023-03-02 12:35:31

2021-06-04 15:38:18

聯(lián)邦學(xué)習(xí)人工智能數(shù)據(jù)

2022-09-12 20:31:54

隱私計(jì)算AI數(shù)據(jù)

2022-05-19 12:04:07

隱私保護(hù)攻擊威脅

2013-02-21 10:41:46

2023-10-10 00:04:43

網(wǎng)絡(luò)安全服務(wù)

2020-09-23 18:10:27

算法可視化大數(shù)據(jù)

2020-06-18 16:05:20

機(jī)器學(xué)習(xí)人工智能算法

2021-05-20 11:20:52

數(shù)據(jù)隱私安全

2023-10-16 11:30:59

2009-10-21 09:35:10

Windows 7安全性能

2024-10-12 15:29:56

2019-09-11 15:01:48

人工智能安全現(xiàn)狀

2023-08-30 07:45:28

Python管理安全性

2017-07-06 13:18:37

深度學(xué)習(xí)應(yīng)用問題及趨勢(shì)

2021-04-29 14:40:11

數(shù)據(jù)安全隱私

2020-02-27 16:23:19

網(wǎng)絡(luò)安全態(tài)勢(shì)
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)