面臨挑戰(zhàn)

隨著抖音內(nèi)容生態(tài)的不斷豐富，越來(lái)越多的大型賽事在抖音平臺(tái)進(jìn)行直播，世界杯/春晚/亞運(yùn)會(huì)等各項(xiàng)賽事節(jié)目引來(lái)大量用戶觀看。卡塔爾世界杯期間，抖音提供的穩(wěn)定高質(zhì)直播畫(huà)面為觀眾帶來(lái)了完美的觀賽體驗(yàn)，決賽的 PCU 高達(dá) 3700W+。

如何應(yīng)對(duì)挑戰(zhàn)？

畫(huà)質(zhì)優(yōu)化鏈路

大型賽事直播涉及鏈路較長(zhǎng)，不同賽事鏈路存在一些差異，整體可簡(jiǎn)化為下圖流程，現(xiàn)場(chǎng)信號(hào)經(jīng)過(guò)演播室的制作傳輸給 CDN 再進(jìn)一步分發(fā)到用戶側(cè)。從畫(huà)質(zhì)角度來(lái)看整個(gè)鏈路可分為畫(huà)質(zhì)檢測(cè)與畫(huà)質(zhì)優(yōu)化兩個(gè)部分，對(duì)于 CDN 之前的鏈路以畫(huà)質(zhì)監(jiān)測(cè)為主，以發(fā)現(xiàn)問(wèn)題/定位問(wèn)題/推動(dòng)對(duì)應(yīng)鏈路人員解決問(wèn)題為目的。畫(huà)質(zhì)優(yōu)化在 CDN 和客戶端兩側(cè)進(jìn)行，下面的內(nèi)容主要介紹畫(huà)質(zhì)優(yōu)化部分。

圖片

隨著賽事錄制技術(shù)的提升，越來(lái)越多的大型賽事都用上了4K HDR錄制標(biāo)準(zhǔn)，畫(huà)質(zhì)清晰度也不斷提升，隨之而來(lái)的是更大的帶寬壓力。同時(shí)為了兼容消費(fèi)端不同的看播設(shè)備和不同的帶寬條件，服務(wù)端需要轉(zhuǎn)出多種不同分辨率不同碼率的版本供看播端選擇，為了保障用戶在不同帶寬與設(shè)備下都能取得最佳的畫(huà)質(zhì)體驗(yàn)，我們做了大量的優(yōu)化工作。團(tuán)隊(duì)通過(guò)自研的自適應(yīng) ToneMapping，視頻降噪，ROI編碼，視頻插幀，BAS采樣，端上超分等算法有效地提升了賽事畫(huà)質(zhì)。

自適應(yīng)ToneMapping： 目前大型賽事大都使用HDR（高動(dòng)態(tài)范圍）設(shè)備錄制，團(tuán)隊(duì)對(duì)支持 HDR 看播的設(shè)備增加了 HDR 檔位，同時(shí)提供了多種不同分辨率/幀率的檔位。HDR 拍攝的片源擁有更廣的色域，更大的動(dòng)態(tài)范圍。但對(duì)很多終端顯示設(shè)備而言，并不支持 HDR 信號(hào)播放，所以通過(guò) ToneMapping 算法將 HDR 信號(hào)轉(zhuǎn)換為 SDR（標(biāo)準(zhǔn)動(dòng)態(tài)范圍）信號(hào)是十分必要的。

圖片

相比 SDR 信號(hào)，HDR 信號(hào)擁有更廣的色域和更大的動(dòng)態(tài)范圍，在轉(zhuǎn)換到 SDR 信號(hào)的過(guò)程中不可避免會(huì)產(chǎn)生一些信息損失。常用的一些 ToneMapping 方法，不論是 Reinhard，F(xiàn)ilmic 或者 Hable，其本質(zhì)都是設(shè)計(jì)固定的映射曲線實(shí)現(xiàn)從 HDR信號(hào) 到 SDR信號(hào)的轉(zhuǎn)換，同時(shí)盡量保持對(duì) HDR 效果的還原。但直播賽事場(chǎng)景多變，且現(xiàn)場(chǎng)動(dòng)態(tài)范圍跨度極大，如世界杯比賽中場(chǎng)館的燈光/草地/球員亮度差異明顯，不同鏡頭跨度極大，而在亞運(yùn)會(huì)游戲類(lèi)比賽中的CG畫(huà)面較為穩(wěn)定，現(xiàn)有的ToneMaping算法無(wú)法在多變的場(chǎng)景中取得優(yōu)秀穩(wěn)定的效果，而手動(dòng)調(diào)節(jié)每場(chǎng)比賽的轉(zhuǎn)換參數(shù)也不現(xiàn)實(shí)。為了解決這一問(wèn)題，團(tuán)隊(duì)提出了內(nèi)容自適應(yīng) ToneMapping 算法，通過(guò)統(tǒng)計(jì)視頻內(nèi)容的實(shí)際光照情況動(dòng)態(tài)地進(jìn)行 ToneMapping，從而得到更優(yōu)效果。

左: 內(nèi)容自適應(yīng) ToneMapping，右: Hable 算法

圖片

圖片

在主觀眾測(cè)中優(yōu)化之后的內(nèi)容自適應(yīng) ToneMapping 算法遙遙領(lǐng)先于現(xiàn)有的TonaMpaping算法結(jié)果（對(duì)照任務(wù)為團(tuán)隊(duì)自研結(jié)果）

圖片

BAS 采樣： BAS（Byte AI Scaling）算法是字節(jié)自研的一種基于深度學(xué)習(xí)的圖片/視頻下采樣算法，近些年來(lái)，深度學(xué)習(xí)驅(qū)動(dòng)的視頻處理算法已經(jīng)廣泛應(yīng)用于各類(lèi)點(diǎn)播、直播服務(wù)中，涵蓋抖音、西瓜視頻等諸多業(yè)務(wù)線。在實(shí)際的流媒體傳輸鏈路中，依據(jù)用戶實(shí)際網(wǎng)絡(luò)延遲、終端性能等因素，源流將通過(guò)自適應(yīng)碼率（Adaptive Bit-Rate）策略傳輸?shù)浇K端設(shè)備，優(yōu)化用戶實(shí)際體驗(yàn)。其中，視頻流往往會(huì)被采樣到多個(gè)標(biāo)準(zhǔn)分辨率，例如藍(lán)光（1080p）、高清（720p）、標(biāo)清（480p）等。隨著音視頻行業(yè)和攝影設(shè)備的發(fā)展，高分辨率的視頻源占比日益增多，大部分視頻需要在服務(wù)端進(jìn)行降采樣來(lái)配合自適應(yīng)碼率策略，因此降采樣算法的優(yōu)化也是提升QoE的關(guān)鍵。在過(guò)去的業(yè)界實(shí)踐中，視頻處理算法往往專(zhuān)注于提高分辨率（如超分算法）或者保持分辨率（如降噪算法）的處理范式，而幾乎忽視了對(duì)降低分辨率方法的研究。不同于固定算子的bicubic等降采樣算法，BAS算法基于深度學(xué)習(xí)使用高精度數(shù)據(jù)訓(xùn)練模型，緩解傳統(tǒng)方法帶來(lái)的頻域混疊與頻域截?cái)鄦?wèn)題，降低鋸齒感、減少細(xì)節(jié)丟失。如下圖所示，對(duì)于4K的超高清圖源降采樣到480p分辨率的任務(wù)，左圖為BAS算法處理結(jié)果，右圖為傳統(tǒng)bicubic算法處理結(jié)果。可以明顯看到，BAS算法處理結(jié)果中緩解了邊緣鋸齒（左下），消除了摩爾紋（右下），并且燈牌、觀眾席等方面的細(xì)節(jié)紋理更加清晰，視覺(jué)觀感更好。

左圖為BAS采樣結(jié)果，右圖為Bicubic采樣結(jié)果

圖片

在與bicubic算法的定量對(duì)比中，BAS基于PSNR指標(biāo)取得了-20.32%的BD-Rate收益，意味著相同重建誤差水平下可以節(jié)省20%以上碼率，而同等碼率下則可以提升畫(huà)質(zhì)水平。而對(duì)于更符合人眼感知特性的VMAF指標(biāo)，BAS同樣取得了-20.89%的BD-Rate收益。

圖片

在常用的編碼條件下，BAS算法在UGC視頻上能做到在降低6.12%平均碼率的同時(shí)，提升多項(xiàng)關(guān)鍵主客觀畫(huà)質(zhì)指標(biāo)，既可以降低一部分傳輸帶寬，也可以帶來(lái)畫(huà)質(zhì)上的提升，取得成本和體驗(yàn)上的雙贏。

視頻插幀： 抖音大型賽事實(shí)踐中會(huì)遇到各種不同的錄制標(biāo)準(zhǔn)，其中也存在1080P 25fps的錄制標(biāo)準(zhǔn)，現(xiàn)在消費(fèi)者已經(jīng)習(xí)慣高幀率的流暢視頻體驗(yàn)，對(duì)于低幀率的視頻會(huì)明顯感受到畫(huà)面的流暢度降低，影響用戶觀看體驗(yàn)。針對(duì)低幀率場(chǎng)景，我們使用了智能插幀技術(shù)，通過(guò)對(duì)前后幀的內(nèi)容進(jìn)行光流估計(jì)，根據(jù)光流信息將前后幀像素都轉(zhuǎn)換到中間幀，然后進(jìn)行整合，生成中間幀，提升視頻幀率，減少觀看時(shí)的卡頓感。而針對(duì)電競(jìng)類(lèi)對(duì)幀率要求較高的場(chǎng)景，我們做了以下的額外優(yōu)化。

圖片

faster光流模塊和faster修正模塊使用partial conv代替普通卷積，能在保持效果的同時(shí)減少卷積運(yùn)算；在計(jì)算光流時(shí)，采用內(nèi)容自適應(yīng)下采樣去對(duì)輸入進(jìn)行下采樣，用于計(jì)算光流、殘差和遮擋掩碼， 再將其上采回原分辨率，用于原始輸入的warp和整合 ，由于光流模塊和修正模塊這兩個(gè)運(yùn)算較多的模塊接收的是較小的分辨率，從而達(dá)到進(jìn)一步減少計(jì)算量的效果；工程上，團(tuán)隊(duì)通過(guò)算子融合、半精度的方式，減少I(mǎi)O和浮點(diǎn)運(yùn)算，相比工程化前加速1倍多。同時(shí)，通過(guò)多GPU部署的方式拓展了智能插幀的能力，使得在更高分辨率（4k）的場(chǎng)景下能實(shí)施部署。另一方面，電競(jìng)場(chǎng)景中，比如王者榮耀，每個(gè)英雄上面都會(huì)有選手的名字，而這些文字較小，文字會(huì)隨著英雄的復(fù)雜運(yùn)動(dòng)而運(yùn)動(dòng)，也就是會(huì)導(dǎo)致出現(xiàn)小文字的復(fù)雜運(yùn)動(dòng)，智能插幀通常會(huì)在這些復(fù)雜運(yùn)動(dòng)的小文字上因?yàn)楣饬鞴烙?jì)不夠準(zhǔn)確而導(dǎo)致插出來(lái)的幀文字的位置不夠準(zhǔn)確，導(dǎo)致偽像出現(xiàn)，我們?cè)谟?xùn)練過(guò)程中加入更多的隨意移動(dòng)或者靜止的較小文字，使得模型能夠在訓(xùn)練過(guò)程中更多地注意處理小文字的復(fù)雜運(yùn)動(dòng)，從而達(dá)到更好的插幀效果，如下圖所示，左邊為優(yōu)化后的插幀結(jié)果。

左邊為優(yōu)化后結(jié)果，右邊為優(yōu)化前結(jié)果

圖片

ROI 編碼： 為了兼顧視頻碼率和主觀畫(huà)質(zhì)，團(tuán)隊(duì)使用了基于 LSTM（長(zhǎng)短期記憶網(wǎng)絡(luò)）的時(shí)域 ROI 技術(shù)，通過(guò)人眼顯著性區(qū)域檢測(cè)和編碼相結(jié)合的方式，讓碼率在畫(huà)面上的分配更加合理。除了模型設(shè)計(jì)之外，ROI算法中另一大難點(diǎn)是saliency(顯著性物體檢測(cè))數(shù)據(jù)的獲取，通用的saliency數(shù)據(jù)集在大型賽事中的表現(xiàn)并不理想。針對(duì)這一問(wèn)題，團(tuán)隊(duì)收集制作了自己的專(zhuān)用數(shù)據(jù)集，并且對(duì)一些大型賽事做了專(zhuān)用數(shù)據(jù)集，例如針對(duì)世界杯賽事，團(tuán)隊(duì)專(zhuān)門(mén)制作了足球場(chǎng)景的 saliency 數(shù)據(jù)集，通過(guò)眼動(dòng)儀追蹤球迷觀看球賽時(shí)的關(guān)注區(qū)域得到足球比賽的專(zhuān)用 saliency 數(shù)據(jù)集，從而極大增加了模型的準(zhǔn)確性。針對(duì)足球場(chǎng)景中顯著性物體較多，顯著性區(qū)域分散的特點(diǎn)，團(tuán)隊(duì)對(duì)檢測(cè)模型進(jìn)行了專(zhuān)門(mén)的優(yōu)化，在保證檢測(cè)速度的前提下，提高了模型的召回率和不同場(chǎng)景的魯棒性，從而實(shí)現(xiàn)更優(yōu)的主觀質(zhì)量。

注：紅色框內(nèi)表示 ROI 區(qū)域，左邊為通用方案結(jié)果，右邊為優(yōu)化結(jié)果

圖片

圖片

同時(shí)團(tuán)隊(duì)使用視頻降噪算法，根據(jù)視頻信息對(duì)其進(jìn)行空域、時(shí)域噪聲的去除，將帶有噪聲的視頻處理成干凈、沒(méi)有噪聲的視頻。由于去除了視頻的噪聲，在提升視頻質(zhì)量的基礎(chǔ)上同時(shí)降低了傳輸?shù)拇a率。由于用戶側(cè)網(wǎng)速的限制，端上存在多個(gè)檔位，當(dāng)看播端網(wǎng)速較慢時(shí)，可能會(huì)切換到 480P/720P 等低分辨檔位，此時(shí)會(huì)觸發(fā)端上超分算法提升畫(huà)面清晰度。超分辨率技術(shù)指的是，基于機(jī)器學(xué)習(xí)/深度學(xué)習(xí)方法，根據(jù)視頻信息對(duì)其進(jìn)行空域、時(shí)域建模重構(gòu)出缺失的細(xì)節(jié)，將低分辨率的視頻重建出高分辨率視頻的技術(shù)。這樣即使是在低分辨檔位也能體驗(yàn)到更清晰的畫(huà)質(zhì)。

左：視頻降噪前，右：視頻降噪后

圖片

除此之外團(tuán)隊(duì)還提供大分辨率、高幀率、廣色域，并使用色彩增強(qiáng)、自適應(yīng)銳化等多種畫(huà)質(zhì)增強(qiáng)技術(shù)，呈現(xiàn)更加沉浸感的超高清畫(huà)面。

左：未過(guò)端上超分，右：經(jīng)過(guò)端上超分。

圖片