Labs 導(dǎo)讀

邊緣智能（Edge Intelligence）是一種將人工智能（AI）和邊緣計算相結(jié)合的新興技術(shù)。傳統(tǒng)的人工智能應(yīng)用通常依賴于云計算中心進行數(shù)據(jù)處理和決策，但這種方式存在延遲和網(wǎng)絡(luò)帶寬的問題。

Part 01、  什么是邊緣智能   

邊緣智能（Edge Intelligence）是一種新興的技術(shù)概念，它指的是將人工智能（AI）算法和模型部署在接近數(shù)據(jù)源的物聯(lián)網(wǎng)設(shè)備及其附近的網(wǎng)絡(luò)節(jié)點上進行實時數(shù)據(jù)處理和分析的能力。在過去幾年中，AI的快速發(fā)展引發(fā)了許多創(chuàng)新應(yīng)用和解決方案。然而，隨著AI模型的規(guī)模和復(fù)雜性不斷增加，傳統(tǒng)的云計算架構(gòu)面臨著一系列挑戰(zhàn)，如高延遲、網(wǎng)絡(luò)擁塞和數(shù)據(jù)隱私等問題。為了克服這些挑戰(zhàn)，邊緣計算和人工智能的結(jié)合應(yīng)運而生，形成了邊緣智能的概念。邊緣智能不僅將AI模型的訓(xùn)練和推理移動到離用戶更近的邊緣設(shè)備上，如智能手機、傳感器、路由器、監(jiān)控攝像頭等。通過在這些邊緣設(shè)備上進行實時數(shù)據(jù)處理，快速響應(yīng)和分析數(shù)據(jù)，并在本地做出決策，從而避免了將所有數(shù)據(jù)發(fā)送到云端進行處理的延遲和安全隱患，為AI應(yīng)用帶來了許多新的機會。

對于邊緣智能的范圍及評級，已有研究認(rèn)為邊緣智能應(yīng)該是充分利用終端設(shè)備、邊緣節(jié)點和云數(shù)據(jù)中心層次結(jié)構(gòu)中可用數(shù)據(jù)和資源的范例，從而優(yōu)化深度神經(jīng)網(wǎng)絡(luò)模型（Deep Neural Networks, DNN）的整體訓(xùn)練和推理性能。這表明邊緣智能并不意味著DNN模型必須在邊緣訓(xùn)練或推理，而是可以通過數(shù)據(jù)卸載以云-邊-端協(xié)同的方式來工作。同時，根據(jù)數(shù)據(jù)卸載的數(shù)量和路徑長度，將邊緣智能分為6個等級。

在計算延遲和能耗增加的代價下，隨著邊緣智能等級的提高，數(shù)據(jù)卸載的數(shù)量和路徑長度會減少，從而降低數(shù)據(jù)卸載的傳輸時延，增加數(shù)據(jù)隱私性，減少網(wǎng)絡(luò)帶寬成本。

Part 02、邊緣智能模型訓(xùn)練 

邊緣分布式深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練架構(gòu)可分為集中式、分布式、混合式（云邊端協(xié)同）三種模式。

? 集中式：DNN模型在云數(shù)據(jù)中心進行訓(xùn)練，用于訓(xùn)練的數(shù)據(jù)是從分布式終端設(shè)備（如手機、汽車和監(jiān)控攝像頭）生成和收集的，一旦數(shù)據(jù)到達，云數(shù)據(jù)中心將使用這些數(shù)據(jù)進行DNN訓(xùn)練?；诩惺郊軜?gòu)的系統(tǒng)，可以根據(jù)系統(tǒng)采用的具體推理方式，在邊緣智能中識別為第1級、第2級或第3級。

? 分布式：每個計算節(jié)點使用本地數(shù)據(jù)在本地訓(xùn)練各自的DNN模型，并將私有信息保存在本地。通過共享本地訓(xùn)練更新來獲得全局DNN模型。該模式下，無需云數(shù)據(jù)中心干預(yù)即可訓(xùn)練全局DNN模型，對應(yīng)邊緣智能的第5級。

? 混合式（云邊端協(xié)同）：結(jié)合集中式和分布式，邊緣服務(wù)器可以通過分布式更新來訓(xùn)練DNN模型，或者使用云數(shù)據(jù)中心來集中式訓(xùn)練。對應(yīng)邊緣智能中的第4級和第5級。

目前，邊緣智能模型訓(xùn)練方法，主要通過訓(xùn)練損失、收斂性、隱私性、通信成本、延遲和能源效率這6個關(guān)鍵性能指標(biāo)來評價。

邊緣智能模型訓(xùn)練可支持的技術(shù)如下表：

Part 03、 邊緣智能模型推理 

高質(zhì)量的邊緣智能服務(wù)部署，除了實現(xiàn)深度學(xué)習(xí)模型的分布式訓(xùn)練，還需要在邊緣高效地實現(xiàn)模型推理。邊緣智能的推理模型，分為基于邊緣、基于設(shè)備、邊緣-設(shè)備和邊緣-云四種模式。

? 基于邊緣的推理模型：設(shè)備處于邊緣模式，接收輸入數(shù)據(jù)，然后將他們發(fā)送到邊緣服務(wù)器。邊緣服務(wù)器完成DNN模型推理，并將預(yù)測結(jié)果返回給設(shè)備。推理性能依賴于設(shè)備與邊緣服務(wù)器之間的網(wǎng)絡(luò)帶寬。

? 基于設(shè)備的推理模型：設(shè)備處于設(shè)備模式，移動設(shè)備從邊緣服務(wù)器獲取DNN模型，并在本地完成模型推理，在推理過程中，移動設(shè)備不斷與邊緣服務(wù)器通信，因此需要移動設(shè)備具有CPU、GPU和RAM等資源。

? 基于邊緣-設(shè)備的推理模型：設(shè)備處于邊緣-設(shè)備模式，設(shè)備首先根據(jù)網(wǎng)絡(luò)帶寬、設(shè)備資源和邊緣服務(wù)器負載等因素將DNN模型劃分為多個部分；然后將DNN模型執(zhí)行到特定層，并將中間數(shù)據(jù)發(fā)送給邊緣服務(wù)器。邊緣服務(wù)器將執(zhí)行剩余層，并將預(yù)測結(jié)果發(fā)送到設(shè)備上。

? 基于邊緣-云的推理模型：設(shè)備處于邊緣-云模式，設(shè)備負責(zé)收集輸入數(shù)據(jù)，并通過云邊協(xié)同執(zhí)行DNN模型。

邊緣智能模型推理的性能主要通過延遲、精度、能量效率、隱私性、通信成本和內(nèi)存占用這六個指標(biāo)來進行評價。

邊緣智能模型訓(xùn)練可支持的技術(shù)如下表：

Part 04、  邊緣智能的研究方向  

邊緣智能作為一種新興的技術(shù)領(lǐng)域，有著廣闊的研究方向和發(fā)展?jié)摿?，根?jù)邊緣智能的技術(shù)特點和應(yīng)用場景，未來可從以下幾個方面進行研究：

• 編程和軟件平臺。隨著越來越多人工智能驅(qū)動的計算密集型移動和物聯(lián)網(wǎng)應(yīng)用的出現(xiàn)，邊緣智能即服務(wù)（Edge Intelligence As a Service, EIaaS）將成為一種普適范式，具有強大邊緣人工智能功能的EI平臺將被開發(fā)和部署。
• 邊緣智能算法與模型設(shè)計。在邊緣設(shè)備上開發(fā)高效的智能算法和模型，以實現(xiàn)更加智能的數(shù)據(jù)處理和決策能力。包括機器學(xué)習(xí)、深度學(xué)習(xí)、強化學(xué)習(xí)等算法在邊緣設(shè)備上的優(yōu)化和部署。
• 安全和隱私問題。在邊緣智能環(huán)境中保障數(shù)據(jù)的安全和隱私，包括數(shù)據(jù)傳輸?shù)募用芘c認(rèn)證、邊緣設(shè)備的安全防護、用戶隱私的保護等方面。
• 計算感知網(wǎng)絡(luò)技術(shù)。基于人工智能的計算密集型應(yīng)用通常運行在分布式邊緣計算環(huán)境中。因此，先進網(wǎng)絡(luò)解決方案應(yīng)該具有計算感知，在不同的邊緣節(jié)點之間有效共享計算結(jié)果和數(shù)據(jù)。構(gòu)建高效可靠的邊緣智能網(wǎng)絡(luò)架構(gòu)，包括網(wǎng)絡(luò)拓撲結(jié)構(gòu)、數(shù)據(jù)傳輸協(xié)議、通信安全等。同時，利用邊緣計算資源提供高速且低延遲的通信服務(wù)。
• 應(yīng)用場景與系統(tǒng)設(shè)計。將邊緣智能技術(shù)應(yīng)用于各個領(lǐng)域，如智能交通、智能制造、智能城市、健康醫(yī)療等，探索適應(yīng)性強、高效可靠的邊緣智能系統(tǒng)設(shè)計，以解決實際問題并推動行業(yè)發(fā)展。
• 邊緣計算與數(shù)據(jù)處理。將邊緣設(shè)備中的計算能力和存儲能力充分利用起來，實現(xiàn)數(shù)據(jù)的實時處理和分析。同時，在資源有限的邊緣設(shè)備上優(yōu)化計算和存儲資源的管理和調(diào)度，提高計算效率和資源利用率，以提高系統(tǒng)的效率和性能。
• 邊緣智能的自適應(yīng)學(xué)習(xí)與優(yōu)化。使邊緣智能系統(tǒng)能夠根據(jù)環(huán)境和需求的變化自主學(xué)習(xí)和優(yōu)化，提供更加智能化的服務(wù)和決策。
• 邊緣智能與其他相關(guān)領(lǐng)域的結(jié)合。邊緣智能與物聯(lián)網(wǎng)、5G通信、云計算等技術(shù)的結(jié)合，以實現(xiàn)更加綜合、高效的智能化方案。