數(shù)據(jù)載體、算力分布正在根本性變化

視頻和圖片因其強(qiáng)大的信息承載力，已經(jīng)成為數(shù)據(jù)內(nèi)容的主要載體和信息傳播的主要方式。5G的大帶寬、低時延、廣連接的特性激活了云視頻監(jiān)控、云游戲、物聯(lián)網(wǎng)等場景應(yīng)用，從消費互聯(lián)網(wǎng)到產(chǎn)業(yè)互聯(lián)網(wǎng)的延伸，更加促進(jìn)了終端應(yīng)用和視圖數(shù)據(jù)的爆發(fā)。

這些終端和數(shù)據(jù)具有分散、海量和價值密度相對低的特點，以攝像頭為例，IHS的研究指出，目前全球有10億個監(jiān)控攝像頭在看世界，也就是持續(xù)產(chǎn)生視頻圖片數(shù)據(jù)，這個數(shù)據(jù)量是ZB級，但其中絕大部分?jǐn)?shù)據(jù)價值較低，我們更需要留存產(chǎn)生關(guān)注事件的片段以及其結(jié)構(gòu)化信息，這樣的場景和需求對計算和存儲的方式帶來了嚴(yán)峻挑戰(zhàn)和根本性變化。

新的基于邊緣的數(shù)據(jù)接入、計算和緩存的分布式系統(tǒng)架構(gòu)有效地解決了這樣的問題，它能確保流量和計算收斂到本地，顯著降低網(wǎng)絡(luò)傳輸成本、提升計算效率，滿足5G低延時處理的場景化需求。

基于邊緣構(gòu)建業(yè)務(wù)系統(tǒng)的技術(shù)挑戰(zhàn)

海量、分布式、異構(gòu)的邊緣節(jié)點資源特性，會給業(yè)務(wù)帶來巨大的挑戰(zhàn)，在服務(wù)適配、彈性和高可用等方面都要進(jìn)行相應(yīng)處理，對業(yè)務(wù)系統(tǒng)而言有感，處理不好甚至?xí)袚p。

基于邊緣構(gòu)建業(yè)務(wù)系統(tǒng)，技術(shù)挑戰(zhàn)主要來自以下幾個方面：

1.邊緣的節(jié)點分散且多級，節(jié)點多而體量小，需要進(jìn)行復(fù)雜的管理，交互訪問時關(guān)注具體位置并會有多個入口，如計算和存儲的位置

2.資源的異構(gòu)導(dǎo)致業(yè)務(wù)需要對資源進(jìn)行選型，每個節(jié)點的資源類型分布也可能不均衡，如CPU、GPU、ARM陣列等不同的計算資源。

3.單一節(jié)點的彈性弱，全局的彈性強(qiáng)，伸縮又必須考慮部署位置和業(yè)務(wù)適配

4.單節(jié)點的割接，以及邊與邊、云與邊之間復(fù)雜的網(wǎng)絡(luò)環(huán)境，都可能導(dǎo)致服務(wù)抖動，甚至單點不可用，都需要業(yè)務(wù)系統(tǒng)考慮好服務(wù)漂移等問題，當(dāng)任務(wù)有狀態(tài)時，考慮的情況會更加復(fù)雜。

如何應(yīng)對這些挑戰(zhàn)，在使用海量分布式節(jié)點和中心云時體驗簡單和一致？最好只有一個交互面

視圖計算-位置無感的計算、緩存和連接平臺

視圖計算很好地解決了這個問題，它基于廣覆蓋的ENS基礎(chǔ)設(shè)施，提供位置無感的計算、緩存平臺，同時為了讓視圖數(shù)據(jù)能更好地上云，提供了視圖（終端）上云的連接平臺。

如上圖所示，在基礎(chǔ)設(shè)施層，通過資源納管、虛擬化和資源切片，形成統(tǒng)一的池化資源，并提供安全和隔離的能力；視圖計算PaaS平臺通過統(tǒng)一的網(wǎng)絡(luò)、計算、存儲調(diào)度，屏蔽了資源異構(gòu)，以及資源的物理位置，根據(jù)業(yè)務(wù)特性、終端位置和資源狀態(tài)，進(jìn)行邊緣資源與終端的匹配和協(xié)同調(diào)度，在保障業(yè)務(wù)低延時、高可用響應(yīng)的同時，實現(xiàn)業(yè)務(wù)對計算、存儲和連接的位置無感；

比如在安防、教培、交通物流等攝像頭上云場景，設(shè)備接入、流媒體接入和處理會綜合考慮可用算力、網(wǎng)絡(luò)帶寬和存儲容量等節(jié)點狀態(tài)，就近選取最匹配的節(jié)點，節(jié)點位置更靠近內(nèi)容的生產(chǎn)端（攝像頭）。而云游戲等場景，需要特定的渲染計算資源（如ARM板卡），同時要更靠近內(nèi)容的消費端（手機(jī)端）側(cè)，當(dāng)需要多人觀戰(zhàn)直播時，又可以推流到CDN網(wǎng)絡(luò)進(jìn)行分發(fā)和異地觀看。

視圖計算云-邊-端協(xié)同架構(gòu)

構(gòu)建視圖計算平臺核心是云邊端的協(xié)同架構(gòu)：

1.終端設(shè)備負(fù)責(zé)進(jìn)行視圖等數(shù)據(jù)的采集和匯聚，以及視圖的解碼和展示（即瘦終端），同時能進(jìn)行指令的輸入操控，或者是根據(jù)云上下發(fā)的配置和規(guī)則進(jìn)行簡單計算。

2.視圖計算基于分散的邊緣節(jié)點構(gòu)建了低延時的設(shè)備接入網(wǎng)關(guān)，實現(xiàn)了多種終端上云連接協(xié)議（如GB28181/RTMP等），同時能接收實時流和視頻圖片文件的快速上傳。在節(jié)點內(nèi)或臨近節(jié)點進(jìn)行計算處理和周期性存儲，計算結(jié)果（如結(jié)構(gòu)化的AI分析數(shù)據(jù)）以及需要持久化長期存儲的數(shù)據(jù)，通過邊與云之間的安全加速通道實現(xiàn)快速回云。

3.視圖在中心云進(jìn)行節(jié)點和設(shè)備管理，以及統(tǒng)一調(diào)度、Meta匯聚等。終端設(shè)備在云上會映射到一個虛擬設(shè)備，類似于物理世界的投影（也就是影子設(shè)備），對影子設(shè)備的管理、配置和操作，都會通過信令通道快速下發(fā)、執(zhí)行和反饋，當(dāng)設(shè)物理設(shè)備斷電或異常下線后，上下文能很好地保存，上線后會及時同步。

通過視圖計算看到的是一朵云、一個交互面，而不再是N個分散入口的分布式小云，云邊端的協(xié)同架構(gòu)能在成本、延時和可靠性上找到最佳平衡點，比如成本上，網(wǎng)絡(luò)帶寬、計算和存儲成本需要綜合考量。

位置無感的多點協(xié)同計算

視圖計算服務(wù)針對視圖數(shù)據(jù)提供了三種位置無感的計算：

1.視圖基礎(chǔ)計算：包括轉(zhuǎn)碼、錄制、截圖等，通過編碼優(yōu)化，實現(xiàn)高壓縮比，同等畫質(zhì)可節(jié)省20~40%的存儲空間和傳輸帶寬

2.視圖AI計算：依托達(dá)摩院在計算機(jī)視覺上的算法積累，視圖計算提供各種場景化的視圖結(jié)構(gòu)化分析、目標(biāo)檢測和跟蹤等AI能力

3.自定義計算：自助上傳和托管算子，降低算法接入成本，方便用戶和算法供應(yīng)商將算法集成到視圖計算服務(wù)中使用。除了算子和參數(shù)能自定義，計算模式也能按照自身業(yè)務(wù)需求進(jìn)行自助定制。

這些計算的最大特征是“算隨網(wǎng)動”：計算隨著數(shù)據(jù)在網(wǎng)絡(luò)上的流動而展開，避免全量數(shù)據(jù)回傳中心云處理，實現(xiàn)算力的下沉和終端計算的上浮。

這張網(wǎng)就是阿里云的邊緣協(xié)同網(wǎng)絡(luò)，它實現(xiàn)了終端-邊緣、邊緣-邊緣、邊緣-中心的一體化協(xié)同，為上層應(yīng)用屏蔽復(fù)雜的網(wǎng)絡(luò)環(huán)境，在提供優(yōu)質(zhì)的端到端接入和數(shù)據(jù)傳輸能力的同時，這張網(wǎng)注入了可計算和緩存的能力。

除了攝像頭上云等常見的本地計算場景，互聯(lián)網(wǎng)直播等場景也能基于視圖計算進(jìn)行邊緣轉(zhuǎn)碼和實時AI分析，提升整體用戶體驗。比如直播流無需上行回傳中心再分發(fā)到邊緣，直接在就近節(jié)點進(jìn)行轉(zhuǎn)碼壓縮。對于80%的冷流（無人觀看或極少人觀看）可以直接收斂到本地，而對于熱流轉(zhuǎn)碼后就近分發(fā)，也能降低延時和卡頓，讓客戶端播放更流暢。整個過程終端只需要通過統(tǒng)一域名進(jìn)行接入，計算的具體位置不需要感知，位置無感的多點協(xié)同計算，可以像使用CDN加速一樣去完成數(shù)據(jù)計算。

可自定義的場景計算

在大量場景下，你可能已經(jīng)擁有了自行開發(fā)的算子或應(yīng)用，或是第三方算法供應(yīng)商的算子，視圖計算提供開放可自定義的場景計算框架，可以將算子或應(yīng)用托管在視圖計算上，真正實現(xiàn)幫用戶做自己的計算。

整個計算平臺分三層架構(gòu)，從下往上，對應(yīng)計算環(huán)境、計算調(diào)度和計算服務(wù)。

1.計算環(huán)境，即計算資源的生產(chǎn)和管控層，負(fù)責(zé)容器、VM等資源的生產(chǎn)，文件存儲，運(yùn)行的系統(tǒng)軟件和算子應(yīng)用的發(fā)布，安裝部署和配置，以及日志監(jiān)控等，這一層也提供了基礎(chǔ)的應(yīng)用隔離能力。

2.計算調(diào)度，實現(xiàn)資源的彈性伸縮管理和多維度的全局負(fù)載均衡，這一層在容器等底層資源的安全隔離上進(jìn)行全局規(guī)劃和統(tǒng)籌，解決資源爭搶問題，同時不同顆粒度的計算任務(wù)實現(xiàn)混跑，提升資源的復(fù)用率。

3.計算服務(wù)，實現(xiàn)算子的托管、評估和實際的分流計算，同時對計算任務(wù)進(jìn)行畫像分析，迭代和提升計算資源的消耗評估精準(zhǔn)度，比如直播轉(zhuǎn)碼，除了編碼格式、分辨率、幀率等輸出參數(shù)，輸入的內(nèi)容源也會一定程度影響實際的資源消耗，每路轉(zhuǎn)碼在算力消耗上是動態(tài)上下浮動的，會導(dǎo)致調(diào)度資源分配的精準(zhǔn)度，需要動態(tài)分析和校準(zhǔn)，最終實現(xiàn)調(diào)度分配水位和實際資源水位的一致。

整個接入過程非常簡單：

1.上傳和管理算子，配置計算模板和參數(shù)；云端會進(jìn)行兼容性適配和資源消耗評估。

2.在線申請算力等資源，如不同計算規(guī)格的最高并發(fā)量，云端會進(jìn)行容量評估和確認(rèn)，并將算子下發(fā)、部署到各計算節(jié)點。

3.內(nèi)容接入或用戶觸發(fā)，云端對數(shù)據(jù)進(jìn)行分流和計算，并將計算結(jié)果實時反饋給用戶。

以云游戲為例，可加載游戲包并渲染視頻流的串流鏡像就是一種算子或應(yīng)用，游戲廠商上傳游戲包、配置好渲染規(guī)格后，云端進(jìn)行相應(yīng)適配、資源評估和動態(tài)分配。

位置無感分布式存儲

在完成計算平臺后，數(shù)據(jù)的上云存儲是我們接下來要解決的問題，由于數(shù)據(jù)源的分散性，以及各種不同的價值密度和使用場景，比如體育賽事等直播內(nèi)容的高價值，需要錄制回放持久化存儲，而視頻監(jiān)控場景的攝像頭流相對價值偏低，只需要留存關(guān)鍵事件的視頻片段，絕大部分?jǐn)?shù)據(jù)只要緩存數(shù)天或數(shù)月即可。

如何解決數(shù)據(jù)分散存儲、分級存儲的訪問延時、可用性和成本問題？

視圖計算基于邊緣分布式文件緩存和中心持久化的OSS存儲提供了位置無感的分布式存儲解決方案，全球各地的數(shù)據(jù)源都可以通過視圖計算就近存取訪問邊緣節(jié)點，緩存位置會參考數(shù)據(jù)接入和計算的位置，確保整體親和度。周期性數(shù)據(jù)會緩存到邊緣，長期存儲的高價值數(shù)據(jù)以及結(jié)構(gòu)化分析數(shù)據(jù)會回到中心存儲。

同時，視圖計算通過邊緣加速網(wǎng)絡(luò)解決了跨地域跨運(yùn)營商上傳大文件延遲大、速度慢、易中斷等問題，實現(xiàn)中轉(zhuǎn)加速回云。

用戶看到和使用的仍然是一朵云，而不用關(guān)注具體的存儲位置。

分布式緩存平臺

位置無感的存儲接入通過分布式緩存平臺實現(xiàn)，它提供了就近訪問、大容量、高性價比的周期性文件緩存，在緩存周期內(nèi)通過多點協(xié)同的存儲調(diào)度、多節(jié)點多副本冗余，實現(xiàn)了服務(wù)的高可用和數(shù)據(jù)的高可靠性。視圖計算提供了靈活的緩存接入和調(diào)度策略（全國、區(qū)域、運(yùn)營商、自定義節(jié)點范圍）。同時兼容中心OSS使用方式（SDK/API），下載OSS SDK后只需更改endpoint接入域名就可以幾乎零開發(fā)成本切換到分布式緩存，相比之前不同的是去除了Region概念，直接采用了統(tǒng)一的中心化域名接入和管理方式，真正實現(xiàn)了只上一朵云、只存一朵云。

如何實現(xiàn)這種位置無感呢？關(guān)鍵點在于：

1.物理文件緩存在邊緣節(jié)點，管控數(shù)據(jù)、文件元信息等統(tǒng)一匯聚到中心，集中管理和檢索。

2.文件寫入和讀取采用302調(diào)度方式，寫入統(tǒng)一域名，經(jīng)過存儲調(diào)度，跳轉(zhuǎn)到真實的物理位置進(jìn)行讀寫。

3.實時的節(jié)點狀態(tài)和容量監(jiān)測，單點不可寫，自動遷移到其他節(jié)點，完成服務(wù)無感漂移和切換，單點恢復(fù)后快速復(fù)制同步。

4.提供多節(jié)點多副本冗余存儲，實現(xiàn)單點不可用時的流量快速轉(zhuǎn)移，也可以在訪問量大時進(jìn)行負(fù)載均衡。

視圖連接平臺和全周期PaaS服務(wù)

為了幫助視圖數(shù)據(jù)更好地上云，視圖計算提供了終端上云的連接平臺和覆蓋視圖全生命周期的PaaS服務(wù)，包括采集、計算處理和內(nèi)容消費。連接的能力主要在于：

1.設(shè)備的接入和管控

2.視圖內(nèi)容的接入和管理

3.視圖處理和視圖存儲分別基于前面介紹的位置無感計算平臺和緩存平臺，提供了針對視圖進(jìn)行轉(zhuǎn)碼、AI分析、加密和串流渲染等基礎(chǔ)能力和復(fù)雜的處理能力。視圖存儲上提供了視圖存取和檢索能力，以及生命周期的清理策略，和回云存儲及歸檔策略。

安全易用的視圖（終端）一鍵上云

目前主流的視圖終端上云方案有三種：

1.安防領(lǐng)域的國標(biāo)GB/T-28181上云，存在接入復(fù)雜，安全性低和功能缺失等問題，如信令明文傳輸，數(shù)據(jù)流基本無認(rèn)證，只能基于SSRC簡單鑒別，無法有效規(guī)避沖撞或偽造；國標(biāo)存在2011、2016多個版本的適配和過渡問題，整體上云體驗較差。

2.ONVIF自2008年提出以來，在世界范圍內(nèi)獲得了大量設(shè)備廠商支持，但其組播發(fā)現(xiàn)機(jī)制在公共云無法實現(xiàn)，上云不友好，同時其交互基于HTTP標(biāo)準(zhǔn)，采用SOAP協(xié)議格式來定義信令內(nèi)容，通信延遲較大。

3.大量設(shè)備廠商推出私有的協(xié)議標(biāo)準(zhǔn)上云，種類多，各自封閉、黑盒化，上云接入無法復(fù)用，較多重復(fù)建設(shè)。

視圖計算推出的一鍵上云方案，提供了開放、易用、安全、靈活的終端一鍵上云能力，主要特性在于：

兼容國標(biāo)/ONVIF等，適配各類終端，同時解決了國標(biāo)接入復(fù)雜和安全性問題，以及ONVIF的公共云接入問題?；诎⒗镌茝V覆蓋的邊緣節(jié)點構(gòu)建的設(shè)備接入網(wǎng)關(guān)，能確保就近接入，復(fù)用CDN低延時的傳輸和加速網(wǎng)絡(luò)，以及多協(xié)議接入的特性，確保低延時的設(shè)備通信、信令控制和數(shù)據(jù)流接入。核心的信令通道實現(xiàn)了透明的雙向通信，廠商和開發(fā)者也可以自定義控制信令。

阿里云開放設(shè)備上云協(xié)議ODCAP

視圖計算連接平臺的一鍵上云方案核心構(gòu)建在ODCAP（Open Device Cloud Access Protocol）開放設(shè)備上云協(xié)議上，我們會完全開放協(xié)議內(nèi)容，支持任何廠商的多樣化設(shè)備自主接入。

終端上云主體通過網(wǎng)絡(luò)互聯(lián)互通，ODCAP協(xié)議支持多種多樣的網(wǎng)絡(luò)互連結(jié)構(gòu)：

1.設(shè)備處在內(nèi)部網(wǎng)絡(luò)，通過防火墻NAT訪問公網(wǎng)，也可以通過設(shè)備網(wǎng)關(guān)轉(zhuǎn)接；2.設(shè)備直接在公網(wǎng)環(huán)境下，如具備4G/5G聯(lián)網(wǎng)能力的設(shè)備，可以采取直連；3.ODCAP同時支持級聯(lián)模式，子設(shè)備可以通過其他協(xié)議連接到上一級設(shè)備，直連設(shè)備屏蔽了下級子設(shè)備的不同接入訪問，統(tǒng)一以O(shè)DCAP協(xié)議接入云平臺。

ODCAP協(xié)議支持多種類型設(shè)備，實現(xiàn)多樣化終端上云。不同設(shè)備具備的功能各異，為了統(tǒng)一描述，我們用設(shè)備模型來定義設(shè)備，包括4個層面：

資源，設(shè)備產(chǎn)生的各種數(shù)據(jù)，如實時視頻流，視頻圖片文件，終端AI分析后的結(jié)構(gòu)化數(shù)據(jù)等配置，設(shè)備的各種配置信息事件，設(shè)備觸發(fā)的各種事件服務(wù)，設(shè)備提供的功能服務(wù)