譯者 | 朱先忠

審校 | 重樓

傳統(tǒng)云計算依賴集中式數(shù)據(jù)訓(xùn)練模型，但邊緣計算的普及催生了新范式——去中心化機器學(xué)習(xí)。其核心代表——聯(lián)邦學(xué)習(xí)正在顛覆傳統(tǒng)流程。本文將對聯(lián)邦學(xué)習(xí)概念及其三個關(guān)鍵技術(shù)展開討論。

簡介——打破云障礙

多年來，云計算一直是機器學(xué)習(xí)的主導(dǎo)范式。海量數(shù)據(jù)圖表被上傳到中心化服務(wù)器，經(jīng)過超強GPU的處理，最終轉(zhuǎn)化為能夠提供建議、預(yù)測和推理的模型。

但是，如果不是“只有一條路”呢？

我們生活在一個數(shù)十億設(shè)備（智能手機、智能傳感器等）可以在本地生成和處理數(shù)據(jù)的世界。這被稱為邊緣計算或普適計算，它為引入一個強大的新范式——去中心化機器學(xué)習(xí)（ML）——提供了絕佳的機會。在這種范式中，多個模型可以在分布式網(wǎng)絡(luò)和計算模式上協(xié)同訓(xùn)練，而無需將數(shù)據(jù)聚合到一個站點。

聯(lián)邦學(xué)習(xí)是本地協(xié)作學(xué)習(xí)這一新領(lǐng)域的前沿。這種學(xué)習(xí)過程允許多個客戶端（手機、醫(yī)院、汽車等）使用同一模型進行訓(xùn)練，同時保持?jǐn)?shù)據(jù)本地化。由于隱私法規(guī)、帶寬限制和安全問題導(dǎo)致無法訪問集中式訓(xùn)練，這種方法非常有必要。

本文將探討不斷發(fā)展的去中心化人工智能領(lǐng)域：聯(lián)邦學(xué)習(xí)的工作原理、其前景和問題所在，以及為什么它可能預(yù)示著人工智能中道德和可擴展隱私流程的新興未來。

什么是聯(lián)邦學(xué)習(xí)？為什么它很重要？

聯(lián)邦學(xué)習(xí)顛覆了傳統(tǒng)的機器學(xué)習(xí)工作流程。我們不再將數(shù)據(jù)發(fā)送到服務(wù)器，而是將模型發(fā)送到數(shù)據(jù)。

每個客戶端設(shè)備都會獲得一份模型副本，使用該模型對客戶端數(shù)據(jù)進行訓(xùn)練，并將模型更新提交回服務(wù)器（通常是全局更新的梯度或模型權(quán)重變化）。服務(wù)器收集并匯總這些更新，最常見的方式是使用聯(lián)邦平均或類似的流程，然后將改進后的模型版本分發(fā)給所有參與者。

聯(lián)邦學(xué)習(xí)架構(gòu)有很多優(yōu)點：

• 隱私：原始數(shù)據(jù)永遠不會離開設(shè)備，最大限度地減少泄露或泄露的風(fēng)險。
• 延遲：設(shè)備上的訓(xùn)練和推理自然能夠?qū)崿F(xiàn)更快的離線決策。
• 帶寬：僅傳輸模型的微小更新，而不是數(shù)GB的原始數(shù)據(jù)！
• 監(jiān)管：在醫(yī)療保健或金融等存在數(shù)據(jù)駐留法律的州，集中存儲是不切實際的，但點對點學(xué)習(xí)仍然可以安全地進行。聯(lián)邦學(xué)習(xí)最初在Google的Gboard（適用于Android設(shè)備的預(yù)測鍵盤）上進行試點，后來開始應(yīng)用于從預(yù)測鍵盤到醫(yī)學(xué)研究再到自動駕駛汽車車隊等各個領(lǐng)域。

不僅僅是服務(wù)器：去中心化聯(lián)邦學(xué)習(xí)

雖然聯(lián)邦學(xué)習(xí)在消除數(shù)據(jù)中央流風(fēng)險方面做得很好，但聯(lián)邦學(xué)習(xí)仍然幾乎總是依賴中央服務(wù)器來協(xié)調(diào)訓(xùn)練，從而引入單點故障和控制，掩蓋了分散框架的好處。

現(xiàn)在，通過點對點（P2P）網(wǎng)絡(luò)、區(qū)塊鏈共識機制和去中心化聚合協(xié)議設(shè)計，研究人員開始設(shè)計無需中央?yún)f(xié)調(diào)器的系統(tǒng)！每個節(jié)點都可以平等地參與模型更新，共識算法有助于確保完整性和公平性。

OpenMined和Flower是嘗試去中心化聯(lián)邦學(xué)習(xí)的開源平臺。

“群體學(xué)習(xí)”結(jié)合區(qū)塊鏈和邊緣設(shè)備，在無需集中治理的情況下，跨醫(yī)院同步醫(yī)療模型。

差異隱私、安全多方計算(SMPC)和同態(tài)加密位于頂層，增加了安全性。

這一切會帶來什么結(jié)果？未來，模型的構(gòu)建將更加民主，不再有任何一個組織能夠控制數(shù)據(jù)流或擁有模型。

挑戰(zhàn)：并非全部同步

盡管前景光明，但去中心化機器學(xué)習(xí)也面臨著技術(shù)和后勤挑戰(zhàn)，因此我們必須意識到其中涉及的復(fù)雜性。

• 模型漂移：如果沒有集中控制，在不同地方訓(xùn)練的模型可能會分離，從而降低泛化能力。
• 計算限制：邊緣設(shè)備面臨有限的內(nèi)存、功率和處理限制。
• 通信開銷：雖然簡單，但即使是小的模型更新也會在規(guī)模上變得昂貴，尤其是在不可靠的網(wǎng)絡(luò)上。
• 安全風(fēng)險：如果沒有實施強加密和驗證，惡意節(jié)點可能會被用來毒害更新。還有一個生成信任問題。在一個完全開放的系統(tǒng)中，如何知道哪些更新是誠實的？基于區(qū)塊鏈的審計和聲譽系統(tǒng)的實驗正在探索中，但尚未得到廣泛部署。

用例：當(dāng)去中心化有意義時

即使面臨上述挑戰(zhàn)，分散式機器學(xué)習(xí)也特別適合特定領(lǐng)域，例如：

• 醫(yī)療保健：醫(yī)院可以共享和協(xié)作構(gòu)建診斷模型，而無需共享敏感的患者信息。
• 金融服務(wù)：銀行和金融科技公司可以在不違反隱私法的情況下分享見解。
• 自動駕駛汽車：每輛汽車都從其周圍環(huán)境中學(xué)習(xí)，同時為主集體駕駛模型做出貢獻，而無需提交原始影片片段。
• 智慧城市：物聯(lián)網(wǎng)智能設(shè)備可以根據(jù)當(dāng)?shù)厍闆r進行學(xué)習(xí)，同時將匯總的情報發(fā)送回城市規(guī)劃者。

這些例子有一個共同的主題：敏感的、分布式的數(shù)據(jù)不能（或不應(yīng)該）集中化。

人工智能的未來：更加本地化、更加私密、更具彈性

隨著隱私法規(guī)日益嚴(yán)格，云服務(wù)價格不斷上漲，去中心化機器學(xué)習(xí)正成為正確的應(yīng)對之策。去中心化機器學(xué)習(xí)讓原創(chuàng)機構(gòu)能夠保留對其數(shù)據(jù)的控制權(quán)，同時增強其AI流程的彈性，并為符合倫理道德的AI提供共生解決方案。

愿景很明確：世界上數(shù)十億臺設(shè)備都在不斷地集體學(xué)習(xí)，不是通過放棄數(shù)據(jù)，而是通過跨越無形的界限共同努力。

這一未來并非缺乏細節(jié)，需要在邊緣計算、隱私保護算法和全球合作方面持續(xù)創(chuàng)新。此外，還必須實現(xiàn)文化上的轉(zhuǎn)變，倡導(dǎo)去中心化機器學(xué)習(xí)不僅僅是對人工智能的技術(shù)反思，更是思維方式上的必要轉(zhuǎn)變。

結(jié)論：從集中智能走向集體智能

去中心化機器學(xué)習(xí)的意義遠不止提升帶寬或維護隱私，它還在于改變?nèi)斯ぶ悄芟到y(tǒng)的權(quán)力結(jié)構(gòu)。這些模型是誰的？誰能從這些洞察中受益？又由誰來決定什么是智能，以及智能的未來發(fā)展方向？

在擁有數(shù)十億聯(lián)網(wǎng)設(shè)備的世界中，分散式人工智能可以幫助我們從集中式智能轉(zhuǎn)變?yōu)榧w智能，同時又不會犧牲信任、隱私或自主權(quán)。

云計算并沒有消亡，但它正在迅速失去其作為下一代機器學(xué)習(xí)中心的地位。

譯者介紹

朱先忠，51CTO社區(qū)編輯，51CTO專家博客、講師，濰坊一所高校計算機教師，自由編程界老兵一枚。

原文標(biāo)題：Decentralized ML: Developing federated AI without a central cloud，作者：Tosin Clement