火山引擎超清修復(fù)Beyond經(jīng)典演唱會,技術(shù)能力已對外開放
7月3日晚,抖音攜手環(huán)球音樂旗下廠牌寶麗金,直播經(jīng)過火山引擎超清修復(fù)的Beyond Live1991生命接觸演唱會及紀(jì)念音樂會精選內(nèi)容,吸引了超1.4億人次觀看。
Beyond是一支成立于1983年的搖滾樂隊,隨著粵語音樂的興起,Beyond樂隊的名字成為一個時代的文化印記?!癇eyond Live1991生命接觸” 是Beyond第一次在紅磡體育館舉辦的演唱會,寶麗金隨后發(fā)行的影碟在90年代幾乎一盤難求。此后的31年中,這場演唱會成為幾代歌迷的音樂啟蒙和青春記憶。
受限于當(dāng)時的拍攝器材、存儲介質(zhì)及錄音設(shè)備技術(shù),演唱會母帶及網(wǎng)絡(luò)上流傳的各版本音視頻質(zhì)量欠佳。為了提升觀看和聽感體驗,再現(xiàn)Beyond這場經(jīng)典之作,火山引擎從畫質(zhì)和音質(zhì)兩個方面進行了修復(fù)。
火山引擎多媒體實驗室介紹,早期軟硬件設(shè)備落后,導(dǎo)致影片在制作、壓縮、傳輸?shù)冗^程中存在畫面模糊、紋理丟失和噪聲瑕疵等問題。提升畫質(zhì)的同時恢復(fù)盡可能多的細(xì)節(jié),優(yōu)化色彩并保留復(fù)古感,以及調(diào)節(jié)不同大小、姿態(tài)人像的修復(fù)效果,是本次修復(fù)的難點。
“我們的目標(biāo)是從畫面整體清晰度、人像五官復(fù)原度、色彩亮度、流暢度、美觀度等方面對畫質(zhì)進行提升?!碑嬞|(zhì)上,本次修復(fù)通過清晰度增強和瑕疵修復(fù)、分區(qū)域色彩亮度增強等算法,處理早期軟硬件設(shè)備落后導(dǎo)致的問題。視頻分辨率從不足540p提升到接近4K水平,幀率從25fps提升到60fps。
通過人像增強算法修復(fù),黃家駒面部的眼線、毛孔等細(xì)節(jié)清晰可見
此外,火山引擎多媒體實驗室還自研自適應(yīng)人像增強算法,針對人臉壓縮損傷、模糊、低分辨率等問題,進行修復(fù)增強。該技術(shù)基于深度學(xué)習(xí),在消除人臉整體的模糊和壓縮損傷的同時,進一步對人臉關(guān)鍵的五官進行細(xì)節(jié)重建。修復(fù)后,人物面部的胡須、毛孔清晰可見,給觀眾帶來更佳視覺感受。
在音質(zhì)修復(fù)方面,火山引擎音頻技術(shù)團隊通過音頻降噪、音頻超分和響度算法,消除噪聲提升音質(zhì),解決響度、噪聲干擾、帶寬不足等問題。
與傳統(tǒng)降噪方案不同,本次降噪算法針對音樂場景和人聲場景,實現(xiàn)了兼容AI降噪算法,在保留音樂和人聲的前提下,抑制周圍噪聲。音頻超分算法則對演唱會中的人聲部分進行頻帶拓展,豐富高頻信息,使人聲更加清晰。從頻譜圖中可以看到,通過超分模塊的處理,原始音頻的高頻部分得到了拓展和增強。
通過音頻超分算法的處理,原始音頻大于12kHz的高頻信息得到了一定程度的補全修復(fù)
由于演唱會的拾音情況不同,導(dǎo)致演唱會唱歌的聲音有時候相對樂器聲和環(huán)境音過小,火山引擎音頻技術(shù)團隊利用響度算法首先單獨提取唱歌的部分,然后調(diào)整唱歌部分的響度,最后再混合,使得整體的人聲更加舒適。
據(jù)了解,演唱會的這些修復(fù)能力均已通過火山引擎智能處理、音頻技術(shù)產(chǎn)品對外提供服務(wù)。另外,火山引擎還對外開放了畫質(zhì)全鏈路端到端解決方案,覆蓋上傳、轉(zhuǎn)碼、傳輸、消費等環(huán)節(jié),實現(xiàn)視頻內(nèi)容在畫質(zhì)、碼率、體驗等方面的全方位優(yōu)化。
數(shù)字化技術(shù)正成為驅(qū)動文化傳承的力量。相關(guān)報道顯示,2021年10月,西瓜視頻及火山引擎推出“經(jīng)典視頻4K修復(fù)計劃”,通過技術(shù)手段,已累計修復(fù)完成71部經(jīng)典動畫片,修復(fù)后的內(nèi)容可在西瓜視頻、鮮時光TV免費觀看。
火山引擎相關(guān)負(fù)責(zé)人介紹,未來還會利用更多先進技術(shù)修復(fù)經(jīng)典影像,讓經(jīng)典煥發(fā)新生。