如圖所示，云電腦對網(wǎng)絡強依賴，沒有網(wǎng)絡，云電腦無法使用，所以網(wǎng)絡環(huán)境的穩(wěn)定至關重要，網(wǎng)絡之上傳輸?shù)闹饕且曨l媒體流數(shù)據(jù)，云電腦其實就是將云端操作系統(tǒng)的桌面圖像復制一份傳輸?shù)浇K端本地再顯示出來，讓用戶感覺像是在操作本地電腦一樣，那么整個圖像數(shù)據(jù)的傳輸過程（傳多少幀、幀率怎么調(diào)節(jié)、端側(cè)解碼性能）是影響用戶體驗的核心關鍵點。

Part 01

假如沒有幀率協(xié)商機制  

如果說端云之間沒有傳輸幀率的協(xié)商機制，就會出現(xiàn)音畫不同步，最終無法使用；整個過程大致如下：

用戶點擊連接，發(fā)起云電腦的遠程連接，此時云端已經(jīng)響應連接后開始進行桌面的圖像采集傳輸，云端根據(jù)桌面系統(tǒng)的使用場景按需采集和傳輸，如播放了一部60FPS的視頻，那么此時云端傳輸?shù)拿襟w流幀率就是60，此時若終端解碼性能只能滿足30FPS，那就會出現(xiàn)終端幀數(shù)據(jù)積壓，隨著積壓的數(shù)據(jù)越來越多，音畫不同步就會越來越明顯，體驗越來越差。

Part 02

幀率協(xié)商怎么做？ 

幀率協(xié)商其中最關鍵的一點是如何識別終端的性能，需要在終端本身硬件性能和體驗之間找到一個平衡點，因為云端資源較為豐富，資源擴展的空間較大，本身是不太會嚴格限制編碼及媒體流數(shù)據(jù)幀率的，所以應該讓端側(cè)盡可能的貼近云端實際的幀率數(shù)據(jù)，降低在端側(cè)的損耗。

首先，參考一些芯片廠家的經(jīng)驗，終端硬件芯片的解碼耗時可以直觀的反映出終端本身的性能；

其次，幀率協(xié)商的觸發(fā)點應該在端側(cè)而不是云側(cè)，所以端側(cè)得有降幀和升幀的觸發(fā)機制；

最后，即使在性能很差的終端設備商，要求依然能夠滿足云電腦的基本使用，優(yōu)先音畫同步，而不是頻繁的丟幀跳幀帶給用戶持續(xù)卡頓的使用體驗，所以終端得有丟幀策略。

Part 03

幀率協(xié)商機制  

- 幀率計算

圖片

如圖所示，當端側(cè)收到云端云桌面視頻流連接成功的信號后就啟動端側(cè)本地的幀率計算流程，終端采用時間滑動窗口的方式進行計算，窗口大小為n秒，從收到首幀數(shù)據(jù)開始計時，在窗口時間內(nèi)得到所有幀數(shù)據(jù)的解碼耗時T，平均解碼耗時t=T/n，最終計算得出能反饋端側(cè)性能的解碼幀率數(shù)據(jù)FPS(T)=1/t，后續(xù)按照窗口滑動計算，該數(shù)據(jù)持續(xù)更新。

- 降幀策略

圖片

如圖所示，端側(cè)會維護本地解碼隊列的積壓幀數(shù)量（通過本地維護的解碼隊列，獲取隊列元素數(shù)量即可），端側(cè)滑動窗口計算的解碼幀率數(shù)據(jù)（第一階段幀率計算得出），云端實時推流的幀率數(shù)據(jù)（云端信令控制協(xié)議）三個參數(shù)；有且僅當解碼隊列積壓>F1、端側(cè)解碼幀率>F2、端側(cè)解碼幀率<云端幀率時，才啟動降幀策略，通過信令控制協(xié)議請求云端降低幀率，幀率數(shù)據(jù)為端側(cè)當前實時計算得出的幀率，云端接收到該數(shù)據(jù)后，按照新的幀率要求進行編碼傳輸，從而達到整體降幀的效果。

- 升幀策略

圖片

如圖所示，升幀策略是和降幀策略并行的兩個策略，為什么要有升幀策略？因為終端硬件本身的性能是一個動態(tài)變化的過程，硬件CPU的資源消耗也是隨著端側(cè)應用運行的過程中在變化的，故當資源消耗較低時，仍然按照之前的降低策略持續(xù)運行，就會導致端側(cè)性能的過度浪費，而且用戶的體驗也沒有得到提升，所以幀率的動態(tài)計算過程中必須配合升幀策略來應對資源使用率的降低，以此來提升用戶體驗。

- 丟幀策略

正如前文所述，面對硬件性能較差的終端設備，音畫不同步的問題相比卡頓、跳幀現(xiàn)象給用戶帶來的體驗問題更加嚴重，所以在面對長時間解碼隊列積壓幀數(shù)據(jù)無法釋放的場景，必須啟動丟幀策略，否則當終端資源提升時，短時間觸發(fā)大量積壓的視頻幀數(shù)據(jù)解碼，會導致音頻視頻數(shù)據(jù)不同步，那最終上屏后的呈現(xiàn)效果就是聲音和畫面不同步，影響使用體驗；

丟幀策略主要關注兩個參數(shù)，解碼隊列的積壓長度L，隊列中隊頭、隊尾視頻幀的時間差T，當L>30且T>5秒則啟動丟幀策略，將當前積壓隊列中的幀數(shù)據(jù)清空，下一幀上屏畫面即為云端新推送的圖像數(shù)據(jù)，會出現(xiàn)跳幀現(xiàn)象，但基本保證了音畫同步的效果。

Part 04

總結 

云電腦場景下，幀率的調(diào)節(jié)機制是影響用戶畫面體驗的關鍵因素，當然除了幀率調(diào)節(jié)，還有像碼率控制、顏色編碼、分辨率控制等多因素都對云桌面的整體傳輸體驗有較大影響，所以云電腦體驗優(yōu)化是一個長期不斷迭代的過程，需要在各種影響因子的條件下不斷調(diào)節(jié)控制，尋找經(jīng)驗值，持續(xù)提升。