傳統(tǒng)云計(jì)算依賴集中式數(shù)據(jù)訓(xùn)練模型，但邊緣計(jì)算的普及催生了新范式——去中心化機(jī)器學(xué)習(xí)。其核心代表——聯(lián)邦學(xué)習(xí)正在顛覆傳統(tǒng)流程。本文將對聯(lián)邦學(xué)習(xí)概念及其三個(gè)關(guān)鍵技術(shù)展開討論。

簡介——打破云障礙

多年來，云計(jì)算一直是機(jī)器學(xué)習(xí)的主導(dǎo)范式。海量數(shù)據(jù)圖表被上傳到中心化服務(wù)器，經(jīng)過超強(qiáng)GPU的處理，最終轉(zhuǎn)化為能夠提供建議、預(yù)測和推理的模型。

但是，如果不是“只有一條路”呢？

我們生活在一個(gè)數(shù)十億設(shè)備（智能手機(jī)、智能傳感器等）可以在本地生成和處理數(shù)據(jù)的世界。這被稱為邊緣計(jì)算或普適計(jì)算，它為引入一個(gè)強(qiáng)大的新范式——去中心化機(jī)器學(xué)習(xí)（ML）——提供了絕佳的機(jī)會(huì)。在這種范式中，多個(gè)模型可以在分布式網(wǎng)絡(luò)和計(jì)算模式上協(xié)同訓(xùn)練，而無需將數(shù)據(jù)聚合到一個(gè)站點(diǎn)。

聯(lián)邦學(xué)習(xí)是本地協(xié)作學(xué)習(xí)這一新領(lǐng)域的前沿。這種學(xué)習(xí)過程允許多個(gè)客戶端（手機(jī)、醫(yī)院、汽車等）使用同一模型進(jìn)行訓(xùn)練，同時(shí)保持?jǐn)?shù)據(jù)本地化。由于隱私法規(guī)、帶寬限制和安全問題導(dǎo)致無法訪問集中式訓(xùn)練，這種方法非常有必要。

本文將探討不斷發(fā)展的去中心化人工智能領(lǐng)域：聯(lián)邦學(xué)習(xí)的工作原理、其前景和問題所在，以及為什么它可能預(yù)示著人工智能中道德和可擴(kuò)展隱私流程的新興未來。

什么是聯(lián)邦學(xué)習(xí)？為什么它很重要？

聯(lián)邦學(xué)習(xí)顛覆了傳統(tǒng)的機(jī)器學(xué)習(xí)工作流程。我們不再將數(shù)據(jù)發(fā)送到服務(wù)器，而是將模型發(fā)送到數(shù)據(jù)。

每個(gè)客戶端設(shè)備都會(huì)獲得一份模型副本，使用該模型對客戶端數(shù)據(jù)進(jìn)行訓(xùn)練，并將模型更新提交回服務(wù)器（通常是全局更新的梯度或模型權(quán)重變化）。服務(wù)器收集并匯總這些更新，最常見的方式是使用聯(lián)邦平均或類似的流程，然后將改進(jìn)后的模型版本分發(fā)給所有參與者。

聯(lián)邦學(xué)習(xí)架構(gòu)有很多優(yōu)點(diǎn)：

• 隱私：原始數(shù)據(jù)永遠(yuǎn)不會(huì)離開設(shè)備，最大限度地減少泄露或泄露的風(fēng)險(xiǎn)。?
• 延遲：設(shè)備上的訓(xùn)練和推理自然能夠?qū)崿F(xiàn)更快的離線決策。?
• 帶寬：僅傳輸模型的微小更新，而不是數(shù)GB的原始數(shù)據(jù)！?
• 監(jiān)管：在醫(yī)療保健或金融等存在數(shù)據(jù)駐留法律的州，集中存儲(chǔ)是不切實(shí)際的，但點(diǎn)對點(diǎn)學(xué)習(xí)仍然可以安全地進(jìn)行。聯(lián)邦學(xué)習(xí)最初在Google的Gboard（適用于Android設(shè)備的預(yù)測鍵盤）上進(jìn)行試點(diǎn)，后來開始應(yīng)用于從預(yù)測鍵盤到醫(yī)學(xué)研究再到自動(dòng)駕駛汽車車隊(duì)等各個(gè)領(lǐng)域。

不僅僅是服務(wù)器：去中心化聯(lián)邦學(xué)習(xí)

雖然聯(lián)邦學(xué)習(xí)在消除數(shù)據(jù)中央流風(fēng)險(xiǎn)方面做得很好，但聯(lián)邦學(xué)習(xí)仍然幾乎總是依賴中央服務(wù)器來協(xié)調(diào)訓(xùn)練，從而引入單點(diǎn)故障和控制，掩蓋了分散框架的好處。

現(xiàn)在，通過點(diǎn)對點(diǎn)（P2P）網(wǎng)絡(luò)、區(qū)塊鏈共識(shí)機(jī)制和去中心化聚合協(xié)議設(shè)計(jì)，研究人員開始設(shè)計(jì)無需中央?yún)f(xié)調(diào)器的系統(tǒng)！每個(gè)節(jié)點(diǎn)都可以平等地參與模型更新，共識(shí)算法有助于確保完整性和公平性。

OpenMined和Flower是嘗試去中心化聯(lián)邦學(xué)習(xí)的開源平臺(tái)。

“群體學(xué)習(xí)”結(jié)合區(qū)塊鏈和邊緣設(shè)備，在無需集中治理的情況下，跨醫(yī)院同步醫(yī)療模型。

差異隱私、安全多方計(jì)算(SMPC)和同態(tài)加密位于頂層，增加了安全性。

這一切會(huì)帶來什么結(jié)果？未來，模型的構(gòu)建將更加民主，不再有任何一個(gè)組織能夠控制數(shù)據(jù)流或擁有模型。

挑戰(zhàn)：并非全部同步

盡管前景光明，但去中心化機(jī)器學(xué)習(xí)也面臨著技術(shù)和后勤挑戰(zhàn)，因此我們必須意識(shí)到其中涉及的復(fù)雜性。

• 模型漂移：如果沒有集中控制，在不同地方訓(xùn)練的模型可能會(huì)分離，從而降低泛化能力。?
• 計(jì)算限制：邊緣設(shè)備面臨有限的內(nèi)存、功率和處理限制。?
• 通信開銷：雖然簡單，但即使是小的模型更新也會(huì)在規(guī)模上變得昂貴，尤其是在不可靠的網(wǎng)絡(luò)上。?
• 安全風(fēng)險(xiǎn)：如果沒有實(shí)施強(qiáng)加密和驗(yàn)證，惡意節(jié)點(diǎn)可能會(huì)被用來毒害更新。還有一個(gè)生成信任問題。在一個(gè)完全開放的系統(tǒng)中，如何知道哪些更新是誠實(shí)的？基于區(qū)塊鏈的審計(jì)和聲譽(yù)系統(tǒng)的實(shí)驗(yàn)正在探索中，但尚未得到廣泛部署。

用例：當(dāng)去中心化有意義時(shí)

即使面臨上述挑戰(zhàn)，分散式機(jī)器學(xué)習(xí)也特別適合特定領(lǐng)域，例如：

• 醫(yī)療保健：醫(yī)院可以共享和協(xié)作構(gòu)建診斷模型，而無需共享敏感的患者信息。?
• 金融服務(wù)：銀行和金融科技公司可以在不違反隱私法的情況下分享見解。?
• 自動(dòng)駕駛汽車：每輛汽車都從其周圍環(huán)境中學(xué)習(xí)，同時(shí)為主集體駕駛模型做出貢獻(xiàn)，而無需提交原始影片片段。?
• 智慧城市：物聯(lián)網(wǎng)智能設(shè)備可以根據(jù)當(dāng)?shù)厍闆r進(jìn)行學(xué)習(xí)，同時(shí)將匯總的情報(bào)發(fā)送回城市規(guī)劃者。?

這些例子有一個(gè)共同的主題：敏感的、分布式的數(shù)據(jù)不能（或不應(yīng)該）集中化。

人工智能的未來：更加本地化、更加私密、更具彈性

隨著隱私法規(guī)日益嚴(yán)格，云服務(wù)價(jià)格不斷上漲，去中心化機(jī)器學(xué)習(xí)正成為正確的應(yīng)對之策。去中心化機(jī)器學(xué)習(xí)讓原創(chuàng)機(jī)構(gòu)能夠保留對其數(shù)據(jù)的控制權(quán)，同時(shí)增強(qiáng)其AI流程的彈性，并為符合倫理道德的AI提供共生解決方案。

愿景很明確：世界上數(shù)十億臺(tái)設(shè)備都在不斷地集體學(xué)習(xí)，不是通過放棄數(shù)據(jù)，而是通過跨越無形的界限共同努力。

這一未來并非缺乏細(xì)節(jié)，需要在邊緣計(jì)算、隱私保護(hù)算法和全球合作方面持續(xù)創(chuàng)新。此外，還必須實(shí)現(xiàn)文化上的轉(zhuǎn)變，倡導(dǎo)去中心化機(jī)器學(xué)習(xí)不僅僅是對人工智能的技術(shù)反思，更是思維方式上的必要轉(zhuǎn)變。

結(jié)論：從集中智能走向集體智能

去中心化機(jī)器學(xué)習(xí)的意義遠(yuǎn)不止提升帶寬或維護(hù)隱私，它還在于改變?nèi)斯ぶ悄芟到y(tǒng)的權(quán)力結(jié)構(gòu)。這些模型是誰的？誰能從這些洞察中受益？又由誰來決定什么是智能，以及智能的未來發(fā)展方向？

在擁有數(shù)十億聯(lián)網(wǎng)設(shè)備的世界中，分散式人工智能可以幫助我們從集中式智能轉(zhuǎn)變?yōu)榧w智能，同時(shí)又不會(huì)犧牲信任、隱私或自主權(quán)。

云計(jì)算并沒有消亡，但它正在迅速失去其作為下一代機(jī)器學(xué)習(xí)中心的地位。

原文標(biāo)題：??Decentralized ML: Developing federated AI without a central cloud??，作者：Tosin Clement?