面臨挑戰(zhàn)

在直播行業(yè)發(fā)展如火如荼的今天，用戶對(duì)視頻體驗(yàn)的要求也水漲船高。視頻基礎(chǔ)體驗(yàn)的關(guān)鍵要素包括清晰度、流暢度、低延遲等，而這些要素的“第一性原理”，就是視頻本身的編碼效率，也就是壓縮率。

視頻編碼效率的重要性不言而喻，但進(jìn)一步地提升也并非易事，尤其在直播場(chǎng)景中，對(duì)編碼速度、延遲、碼率控制等方面都有很高的要求。如何在保證畫質(zhì)不變的情況下，顯著提高壓縮率，同時(shí)滿足實(shí)時(shí)性、低延遲的要求，是一個(gè)持續(xù)的技術(shù)挑戰(zhàn)。

如何完成挑戰(zhàn)

新一代編碼器的采用

抖音基于BVC編碼器，曾在世界杯中給數(shù)億觀眾帶來(lái)了極致的視頻體驗(yàn)。而本次亞運(yùn)會(huì)中，火山引擎多媒體實(shí)驗(yàn)室自研的新一代BVC編碼器首次得到抖音直播全鏈路支持并在直播中使用。BVC編碼器曾經(jīng)在業(yè)界編碼器大賽MSU中斬獲多項(xiàng)指標(biāo)的第一，具有行業(yè)領(lǐng)先的編碼和計(jì)算性能，并還在持續(xù)不斷地優(yōu)化迭代中。新一代BVC編碼器相比上一代，能在畫質(zhì)不變的情況下，顯著降低碼率，提升用戶體驗(yàn)，降低帶寬成本。

新一代BVC編碼器在直播場(chǎng)景的優(yōu)化

作為新一代編碼器，引入了大量新的編碼工具和算法，在顯著降低碼率的同時(shí)，也具有相當(dāng)高的計(jì)算復(fù)雜度。而在直播場(chǎng)景中使用最新BVC編碼，首先需要對(duì)計(jì)算復(fù)雜度進(jìn)行大幅度的優(yōu)化，才能達(dá)到實(shí)時(shí)性和低延遲的要求。

更極致、簡(jiǎn)潔的工程架構(gòu)

首先，新一代BVC編碼器在直播場(chǎng)景下，對(duì)所有編碼工具和算法進(jìn)行了測(cè)試，按照性價(jià)比篩選出了在直播的編碼速度要求下能夠投入使用的工具和算法集合。而基于這個(gè)集合重新設(shè)計(jì)輕量級(jí)的架構(gòu)，能最大化減少計(jì)算流程損耗。新的編碼器架構(gòu)對(duì)整個(gè)編碼流程進(jìn)行了重新梳理，去除原先復(fù)雜的情況耦合，為特殊工具單獨(dú)設(shè)計(jì)流程，實(shí)現(xiàn)了編碼流程的最簡(jiǎn)化。同時(shí)，對(duì)數(shù)據(jù)結(jié)構(gòu)也進(jìn)行了更極致的優(yōu)化，顯著減少了數(shù)據(jù)量，提升了訪存效率。此外，還通過(guò)大量的計(jì)算結(jié)果緩存及復(fù)用的機(jī)制，減少了重復(fù)計(jì)算，以及設(shè)計(jì)了高效的數(shù)據(jù)交換機(jī)制，減少了數(shù)據(jù)拷貝。在計(jì)算模塊的優(yōu)化上，挖掘了更多的計(jì)算流程整理為SIMD實(shí)現(xiàn)，同時(shí)對(duì)原有的SIMD實(shí)現(xiàn)進(jìn)行了進(jìn)一步優(yōu)化，從而減少指令數(shù)。基于直播場(chǎng)景的編碼器架構(gòu)優(yōu)化，在算法基本不變的前提下，為新一代BVC編碼器節(jié)省了超過(guò)30%的復(fù)雜度。

靈活、精細(xì)化的并行框架

為了在計(jì)算復(fù)雜度提高的情況下，仍然能實(shí)現(xiàn)實(shí)時(shí)編碼，充分利用多核處理器的能力至關(guān)重要。新一代BVC編碼器針對(duì)直播場(chǎng)景進(jìn)行并行框架的重新設(shè)計(jì)。首先將前處理、預(yù)分析、編碼等過(guò)程并行起來(lái)，并在任務(wù)調(diào)度上分配合適的優(yōu)先級(jí)，從而最大降低編碼前的等待。對(duì)于編碼過(guò)程的線程等待，精確計(jì)算等待的條件，并將條件限制降低到最小，從而降低等待時(shí)延。此外，基于幀內(nèi)和幀間并行編碼的模型，根據(jù)編碼時(shí)依賴關(guān)系準(zhǔn)確分配每個(gè)編碼任務(wù)的線程優(yōu)先級(jí)權(quán)重，對(duì)線程進(jìn)行靈活而精細(xì)化地調(diào)度。經(jīng)過(guò)優(yōu)化，新一代BVC編碼器的CPU利用率提升50%以上。

上百個(gè)快速算法

除了工程架構(gòu)之外，新一代BVC編碼器還增加了大量的快速算法，從而達(dá)到高分辨率、高碼率和高幀率下的實(shí)時(shí)編碼。新一代BVC編碼器重構(gòu)了編碼塊劃分的框架，根據(jù)周圍塊和歷史劃分信息，自適應(yīng)決策劃分深度的范圍，大幅減少了無(wú)效的劃分嘗試，從而降低編碼復(fù)雜度。在模式?jīng)Q策中，為每個(gè)模塊設(shè)計(jì)大量精細(xì)的初選快速算法，從而大幅減少最終嘗試的模式數(shù)量。此外，還對(duì)前處理和預(yù)分析模塊也進(jìn)行了大量的簡(jiǎn)化處理。新一代BVC編碼器為直播場(chǎng)景增加的上百個(gè)快速算法，在壓縮率的損失較小前提下將整體編碼速度提高了2倍以上。

亞運(yùn)會(huì)的針對(duì)性優(yōu)化

除了編碼器內(nèi)核本身的優(yōu)化之外，新一代BVC編碼器還對(duì)亞運(yùn)會(huì)進(jìn)行了專項(xiàng)優(yōu)化。亞運(yùn)會(huì)除了傳統(tǒng)的運(yùn)動(dòng)項(xiàng)目之外，還增加了關(guān)注度較高的電競(jìng)項(xiàng)目。而新一代BVC編碼器也對(duì)運(yùn)動(dòng)、游戲這兩種場(chǎng)景進(jìn)行針對(duì)性的優(yōu)化。研發(fā)團(tuán)隊(duì)進(jìn)行了大量的測(cè)試，對(duì)不同視頻分辨率和復(fù)雜度下進(jìn)行了編碼檔位的適配，調(diào)整了數(shù)十個(gè)編碼參數(shù)來(lái)控制不同編碼算法在運(yùn)動(dòng)、游戲場(chǎng)景中的性價(jià)比，在獲得壓縮率提高的同時(shí)實(shí)現(xiàn)了編碼加速。此外，還對(duì)碼率控制進(jìn)行了調(diào)優(yōu)，減少了高運(yùn)動(dòng)復(fù)雜場(chǎng)景中畫面模糊的情況。

優(yōu)化成果

新一代BVC編碼器在直播場(chǎng)景中實(shí)現(xiàn)了1080P 50FPS的實(shí)時(shí)編碼，在畫質(zhì)不變的情況下，相比上一代編碼器實(shí)現(xiàn)了20%左右的碼率節(jié)省。實(shí)際效果如下：（對(duì)比展示，上面是上一代BVC編碼視頻，下面是新一代BVC編碼視頻）

圖片

圖片

和廣泛應(yīng)用的開源編碼器x265(v3.5)對(duì)比，新一代BVC編碼器也具有顯著優(yōu)勢(shì)，下圖展現(xiàn)了性能對(duì)比數(shù)據(jù)。可以看出，在編碼設(shè)置對(duì)齊的情況下（幀結(jié)構(gòu)、碼控方式、lookahead長(zhǎng)度等），新一代BVC編碼器，對(duì)于亞運(yùn)會(huì)中的運(yùn)動(dòng)和游戲視頻內(nèi)容，平均能實(shí)現(xiàn)40%以上的碼率節(jié)省，同時(shí)編碼速度更快。

圖片