在進入正題之前，我們先回顧下《AIoTel下視頻編碼技術(shù)（上）》。在《上》中我們給出了AIoTel定義，即：AIoTel是一個組合詞，它由AI+IoT+Telephony拼接而成，表達由智能設(shè)備、物聯(lián)網(wǎng)、多媒體通信等技術(shù)構(gòu)建的新型多媒體交互體系，也稱作物聯(lián)多媒體。接著討論了AIoTel及媒體特征，以及這些特征決定的AIoTel編碼技術(shù)必須滿足自適應(yīng)、場景化等要求。

圖1 AIoTel通信

1、視頻編碼在AIoTel中的挑戰(zhàn)

在AIoTel中，視頻編碼面臨著諸多挑戰(zhàn)。首先，帶寬限制和硬件資源限制要求我們提升視頻編碼的壓縮效率。其次，為了保證良好的用戶體驗，我們需要改進視頻質(zhì)量和復(fù)雜度的平衡。此外，如何在保證視頻編碼性能的同時，保護用戶的數(shù)據(jù)隱私和安全，也成為了重要的挑戰(zhàn)，總結(jié)起來有以下四個突出特點：

1??低延時和高效率

在很多AIoTel應(yīng)用場景中，如和家智話、智慧車載等，需要實現(xiàn)實時的視頻傳輸和處理。H.266/VVC（Versatile Video Coding），雖然在編碼效率上比H.265提高了超50%，但其編碼復(fù)雜度增加10倍以上，無法滿足AIoTel設(shè)備低算力高實時的要求。

圖2 H26X 碼率比較

2??高質(zhì)量和高分辨率

高清、超高清等高分辨率的視頻成為了趨勢。2022年，全球有超過82%的互聯(lián)網(wǎng)流量由視頻內(nèi)容產(chǎn)生，其中4K和8K視頻的占比大幅增加。這對視頻編碼技術(shù)提出了更高的要求：一方面，AIoTel設(shè)備的計算和存儲資源有限，需要高效的視頻編碼算法以減少計算和存儲壓力；另一方面，物聯(lián)網(wǎng)設(shè)備通常通過無線網(wǎng)絡(luò)進行通信，帶寬資源有限，也需要高效的視頻編碼算法以減少傳輸壓力。

3??安全和隱私保護

在AIoTel設(shè)備中，視頻數(shù)據(jù)往往涉及到個人隱私或者商業(yè)機密。如何在視頻編碼過程中保護視頻數(shù)據(jù)的安全和隱私，是一個具有戰(zhàn)略意義的研究方向。根據(jù)Check Point Research(CPR)的報告，2022年，物聯(lián)網(wǎng)上的網(wǎng)絡(luò)攻擊事件增長了38%，其中涉及到視頻數(shù)據(jù)的攻擊事件占比顯著增加。這說明了安全和隱私保護在視頻編碼中的重要性。（https://zhuanlan.zhihu.com/p/597994525 2023.1.10）

4??跨平臺和跨設(shè)備的兼容性

在AIoTel系統(tǒng)中，視頻數(shù)據(jù)需要在不同的平臺和設(shè)備之間進行傳輸和處理。如何實現(xiàn)跨平臺和跨設(shè)備的視頻編碼兼容性，仍然是一個挑戰(zhàn)。據(jù)Sandvine最新發(fā)布的《2023全球互聯(lián)網(wǎng)現(xiàn)象報告》顯示，2022年的全球物聯(lián)網(wǎng)視頻流量同比增長23%，其中，跨平臺和跨設(shè)備的視頻流量增長最為顯著，約占總量65.93%。（https://www.ennews.com/news-41889.html 2023.4.24）

圖3 AIoTel設(shè)備接入多樣性

接下來，我們就以上挑戰(zhàn)，提出我們的應(yīng)對思路，包括引入語義通信和大模型。

2、應(yīng)對挑戰(zhàn)的策略和技術(shù)

針對上述挑戰(zhàn)，我們提出了包括云端和邊緣的協(xié)同處理、高效網(wǎng)絡(luò)傳輸以及兼容性等多方面應(yīng)對策略。

2.1 云端和邊緣的協(xié)同處理

隨著AIoTel網(wǎng)絡(luò)中設(shè)備數(shù)量的增加，如何有效處理和編碼視頻數(shù)據(jù)，以實現(xiàn)高效的數(shù)據(jù)傳輸，是當(dāng)前面臨的重要挑戰(zhàn)。云端有強大的計算能力，可以進行高質(zhì)量的視頻編碼，但其需要較大的帶寬和延時，這對實時應(yīng)用帶來了阻礙。而邊緣設(shè)備由于臨近用戶，具有低延時的優(yōu)勢，但其計算能力有限，可能無法進行高質(zhì)量的視頻編碼。因此，云端和邊緣的協(xié)同處理成為一種可能的解決方案。通過在邊緣設(shè)備上進行預(yù)編碼，然后在云端進行終極編碼，可以在保持編碼質(zhì)量的同時，減少了約30%的帶寬需求。

圖4 云邊端協(xié)同編碼

2.2 提升編碼效率

根據(jù)IDC預(yù)測，到2025年，物聯(lián)網(wǎng)設(shè)備生成的數(shù)據(jù)量預(yù)計將達到73.1 ZB，（http://www.jiyikeji.cn/trends/news-id/43/   2022.5.20）這將給視頻存儲帶來巨大挑戰(zhàn)，在傳統(tǒng)的視頻編碼技術(shù)中，H.266/VVC相較H.265，可提升超50%壓縮效率，但復(fù)雜度提升10倍以上，傳統(tǒng)的編碼技術(shù)演進方越來越接近極限。與此同時AI技術(shù)為視頻編碼帶來了新的機遇和挑戰(zhàn)。AI可以幫助我們更好地理解和優(yōu)化視頻編碼過程，如通過深度學(xué)習(xí)的方法優(yōu)化編碼參數(shù)選擇，或者通過強化學(xué)習(xí)的方法動態(tài)調(diào)整編碼策略。研究表明，使用深度神經(jīng)網(wǎng)絡(luò)優(yōu)化的H.265編碼，可以在保持同等圖像質(zhì)量的情況下，比原始編碼節(jié)省約80%的碼率。但這也對計算資源和數(shù)據(jù)安全提出了更高的要求。如何在保證編碼效率和質(zhì)量的同時，合理使用和管理這些資源，是我們需要解決的關(guān)鍵問題。

2.3 保障數(shù)據(jù)安全與隱私

在AIoTel環(huán)境下，數(shù)據(jù)安全與隱私保護已成為一項至關(guān)重要的議題。面對眾多挑戰(zhàn)，如設(shè)備多樣性、數(shù)據(jù)類型復(fù)雜性，以及終端設(shè)備安全漏洞等問題，我們需要在視頻編碼過程中考慮如何更好地保障數(shù)據(jù)的安全與隱私。

• 視頻數(shù)據(jù)加密

首先，對于視頻數(shù)據(jù)，我們需要應(yīng)用加密技術(shù)來確保其在傳輸和存儲過程中的安全性。這里涉及到各種加密算法和協(xié)議，例如對稱加密算法（如AES）、非對稱加密算法（如RSA）、以及用于保障數(shù)據(jù)完整性和認證的哈希函數(shù)和數(shù)字簽名等。

• 數(shù)字水印技術(shù)

除了加密技術(shù)，數(shù)字水印也是一種重要的視頻數(shù)據(jù)保護技術(shù)。通過在視頻數(shù)據(jù)中嵌入不可見或難以察覺的水印，我們可以對視頻數(shù)據(jù)進行身份標(biāo)識和版權(quán)保護，同時也能檢測和追蹤數(shù)據(jù)泄露和非法分發(fā)。常見的數(shù)字水印技術(shù)有空域水印、頻域水印，其中頻域水印如離散余弦變換（DCT）水印、離散傅里葉變換（DFT）水印以及離散小波變換（DWT）水印等。

圖5 視頻水印生成原理

總的來說，數(shù)據(jù)安全與隱私保護在視頻編碼中的應(yīng)用需要我們在技術(shù)、架構(gòu)和政策等多個層面進行考慮和設(shè)計。這是一項既有挑戰(zhàn)又有機遇的工作，我們需要不斷探索新的技術(shù)和策略，平衡安全和效率，進一步提升編碼技術(shù)的數(shù)據(jù)安全性。

2.4 兼容性和平臺無關(guān)性

市場研究機構(gòu)IoT Analytics發(fā)布了報告顯示，2022年全球物聯(lián)網(wǎng)連接數(shù)增長了18%，達到143億。2023年全球聯(lián)網(wǎng)物聯(lián)網(wǎng)設(shè)備的數(shù)量將再增長16%，達到160億個（https://www.sohu.com/a/679524270_121119003    2023.5），海量設(shè)備令我們必須面對兼容性問題。首先，選擇成熟且廣泛被支持的編碼標(biāo)準(zhǔn)，如H.264/AVC，可在多種設(shè)備和平臺上進行播放和解碼，如PC、智能手機、電視機、游戲機等。其次，自適應(yīng)流媒體技術(shù)（Adaptive Bitrate Streaming, ABS）可以在網(wǎng)絡(luò)條件不同的情況下，提供最佳的用戶體驗。

2.5 語義編碼的應(yīng)用

語義編碼是一種新興的視頻編碼技術(shù)，這種方法可以減少一個數(shù)量級的傳輸數(shù)據(jù)量。研究思路如下：在發(fā)送端發(fā)送一個初始參考幀 I_ref，此后只傳輸人臉關(guān)鍵點信息 Kps_t=F_B（I_t）（ I_t ：原始圖像），自定義編碼規(guī)則壓縮數(shù)據(jù)；在接收端主要通過生成對抗網(wǎng)絡(luò)（GAN）進行圖像重建及顯示實現(xiàn) (I_t) ?=G（I_ref，Kps_t）（ (I_t) ? ：生成圖像）

圖6 語義編碼原理

基于這個思路，我們在AIoTel設(shè)備上做了人臉通信實驗，節(jié)省碼率83%：

圖7 人臉語義通信實踐

3、AIoTel中的大模型與視頻編碼

大模型是一種革命性的AI技術(shù)，我們希望它也能給視頻編碼帶來機會，因此單列一章。

大模型尤其是深度學(xué)習(xí)模型在諸多領(lǐng)域如計算機視覺，自然語言處理等均取得了顯著的成果。模型規(guī)模逐年增大，從最初的幾百萬參數(shù)到現(xiàn)今的數(shù)十億，甚至上百億參數(shù)，展示出了深度學(xué)習(xí)模型處理復(fù)雜問題的強大能力。但隨著模型規(guī)模的增大，訓(xùn)練所需的計算資源，存儲需求以及能耗等問題也日益凸顯，這對于AIoTel領(lǐng)域來說是個嚴峻的挑戰(zhàn)，因為在AIoTel設(shè)備上，通常需要在資源有限的情況下執(zhí)行模型推理。

3.1 大模型在視頻編碼中的應(yīng)用和挑戰(zhàn)

大模型在視頻編碼中的應(yīng)用提供了新的研究和發(fā)展方向。例如，視覺自注意力模型（VIT）、深度生成模型如變分自編碼器（VAE）和生成對抗網(wǎng)絡(luò)（GAN）已經(jīng)在視頻壓縮、超分辨率、去噪等任務(wù)中取得了一些成果。某些研究工作已經(jīng)采用深度學(xué)習(xí)模型替代傳統(tǒng)的預(yù)測和變換模塊，使得視頻編碼效率得到了一定提升。例如，用于視頻編碼的深度可分離卷積網(wǎng)絡(luò)模型DVC，其編碼效率相比傳統(tǒng)H.265編碼提升約30%。

然而大模型在視頻編碼中的應(yīng)用也面臨一些挑戰(zhàn)。首先，訓(xùn)練大模型需要大量的計算資源和數(shù)據(jù)，這對許多機構(gòu)和個人來說是不可達到的。其次，大模型通常需要較大的推理時間，這可能會限制其在實時視頻編碼中的應(yīng)用。此外，大模型可能會過度擬合訓(xùn)練數(shù)據(jù)，導(dǎo)致在實際使用中的效果不理想。

圖8 Vision Transformer（VIT）

3.2 應(yīng)對挑戰(zhàn)的策略和技術(shù)

大模型由于其龐大的計算需求和內(nèi)存占用，通常需要在有大量計算資源和儲存空間的服務(wù)器上運行。然而，視頻編碼則需要在端側(cè)實時完成，這樣才能滿足低延遲的實時視頻傳輸需求。解決這個問題的一種可能的方向是模型壓縮、硬件加速和聯(lián)邦學(xué)習(xí)等策略。

• 模型壓縮

模型壓縮技術(shù)旨在減小深度學(xué)習(xí)模型的大小和計算復(fù)雜性，而不顯著降低模型的性能。主要的模型壓縮技術(shù)包括知識蒸餾、權(quán)值量化、結(jié)構(gòu)剪枝等。通過這些技術(shù)，大模型可以被壓縮為一個小模型，這個小模型可以在資源受限的端側(cè)設(shè)備上運行，同時保持相當(dāng)?shù)男阅?，使其更適用于實時視頻編碼。

• 聯(lián)邦學(xué)習(xí)

聯(lián)邦學(xué)習(xí)等分布式學(xué)習(xí)方法可以解決訓(xùn)練大模型所需大量數(shù)據(jù)和計算資源的問題，通過在設(shè)備上本地處理數(shù)據(jù)，然后僅共享模型更新，大大減少了數(shù)據(jù)傳輸?shù)男枨蟆?/span>

• 混合編碼

一些研究工作提出了混合編碼框架，其中深度學(xué)習(xí)模型與傳統(tǒng)編碼模塊共同工作，這種方法在提高編碼效率的同時，也降低了對計算資源的需求。

• 硬件加速

硬件加速是另一種解決方案，通過使用專門設(shè)計的硬件加速器，如GPU、TPU和專用的AI芯片，可以大大加速大模型的計算。一些設(shè)備制造商已經(jīng)開始在其端側(cè)設(shè)備上集成這些硬件加速器，這使得大模型能夠在這些設(shè)備上運行。

將模型壓縮、聯(lián)邦學(xué)習(xí)、混合編碼以及和硬件加速相結(jié)合，可以在端側(cè)設(shè)備上運行大模型，同時滿足視頻編碼的實時需求。這是一個非?；钴S的研究領(lǐng)域，未來還需要進一步的研究和發(fā)展才能實現(xiàn)大模型在端側(cè)設(shè)備上的廣泛部署。

圖9 混合編碼器

4、總結(jié)和展望

隨著AIoT技術(shù)的飛速發(fā)展，視頻編碼在AIoT領(lǐng)域中的作用也日益凸顯。目前，雖然基于傳統(tǒng)方法的視頻編碼仍然是主流，但深度學(xué)習(xí)模型在提升視頻編碼性能，尤其是在壓縮效率、視頻質(zhì)量和復(fù)雜度平衡等方面已經(jīng)展示出了強大的潛力，比如語義編碼。大模型如GPT-3和BERT等，雖然主要用于自然語言處理，但其在視頻編碼的應(yīng)用也逐步被關(guān)注。

同時，面向未來，我們可以看到AIoTel中視頻編碼的一些新趨勢：一方面，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，包括深度生成模型、自監(jiān)督學(xué)習(xí)、聯(lián)邦學(xué)習(xí)等新技術(shù)和方法將在視頻編碼中發(fā)揮更大的作用。另一方面，隨著硬件技術(shù)，特別是AI硬件的進步，更強大、更高效的編碼算法將得以實現(xiàn)。此外，隨著數(shù)據(jù)隱私和安全問題的日益突出，如何在保證視頻編碼性能的同時，保護用戶的數(shù)據(jù)隱私和安全，將成為AIoTel中視頻編碼面臨的重要挑戰(zhàn)。