撰稿 | 言征

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

Sora帶火了“視頻一致性”的研究，但單純?cè)跁r(shí)間一致性已經(jīng)不能滿足業(yè)內(nèi)對(duì)于高逼真視頻的渴望。這不，華人又出來(lái)炸場(chǎng)了！ 

近日，一個(gè)名為VideoGigaGAN的視頻模型在業(yè)界走紅。超分辨率電影鏡頭，不用等Sora了！

圖片

據(jù)介紹，目前VSR（視頻超分辨率）領(lǐng)域有兩大難題：一個(gè)挑戰(zhàn)是保持輸出幀之間的時(shí)間一致性。第二個(gè)挑戰(zhàn)是在上采樣幀中生成高頻細(xì)節(jié)。這篇論文主要的就是第二個(gè)問(wèn)題。針對(duì)這個(gè)問(wèn)題，GAN（生成式對(duì)抗網(wǎng)絡(luò)）似乎再一次被驗(yàn)證而來(lái)有效性。

1.讓模糊視頻還原逼真細(xì)節(jié)，8倍于SOTA

舉個(gè)汽車識(shí)別的例子，以前的VSR方法，比如BasicVSR++等都缺乏細(xì)節(jié)，而ImageGigaGAN可以通過(guò)更豐富的細(xì)節(jié)產(chǎn)生更清晰的效果，但它生成的視頻存在時(shí)間閃爍和混疊等偽影（注意視頻中的建筑畫面）。

而新提出的VideoGigaGAN方法則可以生成兼具高頻細(xì)節(jié)和時(shí)間一致性的視頻結(jié)果，同時(shí)顯著減輕了像混疊偽影的問(wèn)題。

圖片

VideoGigaGAN是一種生成式視頻超分辨率模型，該模型能夠在保持時(shí)間一致性的同時(shí)，對(duì)視頻進(jìn)行高頻細(xì)節(jié)的超采樣。與現(xiàn)有的VSR方法相比，VideoGigaGAN能夠生成具有更多細(xì)粒度外觀細(xì)節(jié)的時(shí)間一致性視頻。

研究顯示，VideoGigaGAN在公共數(shù)據(jù)集上非常有效，并展示了超過(guò)目前最先進(jìn)的VSR模型8倍超分辨率的視頻結(jié)果。 

圖片

先亮出幾個(gè)對(duì)比視頻，相信你都不敢相信自己的眼睛：視頻黑科技就是如此震撼！

見(jiàn)證奇跡的時(shí)刻到了——

研究團(tuán)隊(duì)放出了一張金針菇涮鍋的視頻對(duì)比，題外話：Xu本人也是一名Cooking愛(ài)好者。

大家應(yīng)該還記得之前類Sora工具放出的飛鳥視頻，從書上飛起后，總是會(huì)有一層虛影，這個(gè)問(wèn)題已經(jīng)被VideoGigaGAN解決掉了。

動(dòng)物世界非常精彩，但如果你看不清楚蜘蛛背后的網(wǎng)絲，“小花貓”跟繩子之間是如何互動(dòng)的，多少損失一些鏡頭的美感。

2.怎么做到的？答案藏在模型細(xì)節(jié)

接下來(lái)，我們看下這個(gè)模型的厲害之處。

圖片

首先，該視頻超分辨率（VSR）模型建立在圖像的不對(duì)稱U-Net架構(gòu)的GigaGAN上采樣器之上。

其次，為了增強(qiáng)時(shí)間一致性，團(tuán)隊(duì)通過(guò)將時(shí)間注意力層添加到解碼器塊，將圖像采樣放大為視頻采樣器。

然后，另外一個(gè)秘訣，就是通過(guò)整合流導(dǎo)向傳播模塊的特征來(lái)增強(qiáng)一致性。

接下來(lái)，為了抑制混疊偽影，團(tuán)隊(duì)使用編碼器下采樣層中的抗鋸齒塊（Anti-aliasing）。

最后，Xu等通過(guò)跳層連接直接將高頻特征傳遞到解碼器層，以補(bǔ)償BlurPool過(guò)程中損失的細(xì)節(jié)。

這里值得注意的一點(diǎn)：因?yàn)闀r(shí)間注意力的空間窗口大小有限。所以，Xu等團(tuán)隊(duì)將流導(dǎo)向特征傳播引入到放大的GigaGAN中，以便基于流信息更好地對(duì)齊不同幀的特征。

其次，還有抗混疊的技術(shù)處理，也進(jìn)一步減輕了GigaGAN編碼器中的下采樣塊引起的時(shí)間閃爍，同時(shí)通過(guò)將高頻特征直接傳輸?shù)浇獯a器塊來(lái)保持高頻細(xì)節(jié)。

當(dāng)然，這些想法也被最后的實(shí)驗(yàn)結(jié)果驗(yàn)證了。所以說(shuō)，這些模型設(shè)計(jì)選擇非常重要。

3.背后的一作：愛(ài)Cook的Xu yiyan

沒(méi)錯(cuò)，本篇研究成果的一作 Xuyiyan（許姓）又是一位中國(guó)學(xué)者，本科畢業(yè)于華南理工大學(xué)，現(xiàn)在是美國(guó)馬里蘭大學(xué)帕克學(xué)院的博士生。Xu目前在主要研究方向包括生成模型及其應(yīng)用，據(jù)悉他也做過(guò)自動(dòng)駕駛領(lǐng)域的場(chǎng)景理解的研究。

圖片

圖片

正如前文所說(shuō)，Xu的個(gè)人愛(ài)好蠻特別：攝影、徒步旅行、做飯。

圖片

4.網(wǎng)友熱議：質(zhì)量不錯(cuò)，時(shí)長(zhǎng)太短了我們需要200幀的（至少9秒）

鏡頭時(shí)長(zhǎng)問(wèn)題的研究成重點(diǎn)，HN上一位用戶評(píng)論道：“視頻質(zhì)量看起來(lái)不錯(cuò)，但局限性很大。我們的模型在處理極長(zhǎng)視頻（例如200幀或更多）時(shí)遇到了挑戰(zhàn)。”所以他認(rèn)為，要用于實(shí)際環(huán)境，還需要進(jìn)行更多的研究。

對(duì)此還有網(wǎng)友亮出了類似的觀點(diǎn)：“在某種程度上，我會(huì)強(qiáng)迫性地計(jì)算鏡頭的秒數(shù)，知道一個(gè)節(jié)目/電影有幾個(gè)鏡頭超過(guò)9秒，并且能夠贏得我們的信任，我才可以放手了?！?/p>

據(jù)另一位Hackernews用戶評(píng)論，現(xiàn)代電影的平均鏡頭長(zhǎng)度約為2.5秒，對(duì)于動(dòng)畫來(lái)說(shuō)大約是15秒。而此項(xiàng)研究中的30fps的幀率并不夠，意味著時(shí)間將少于7秒。

總之,大家非常期待如果該篇論文能夠擴(kuò)展到200幀后的結(jié)果。

5.One More Thing：別忘了打上AI標(biāo)簽

此外，此次研究成果的發(fā)布也再一次引起了AI被濫用的擔(dān)憂。“這對(duì)于娛樂(lè)來(lái)說(shuō)非常有用，但過(guò)于逼真清晰的畫面依然有可能被用作任何類型的‘證據(jù)’，而大家對(duì)于這些幻覺(jué)的細(xì)節(jié)的工作原理并不知曉，所以此類視頻還是需要進(jìn)行顯眼的標(biāo)記?！辈贿^(guò)清醒的是，目前智能手機(jī)上已經(jīng)有不少軟件或視頻/攝影功能已經(jīng)在使用專有算法來(lái)“推斷”是否存在虛假的細(xì)節(jié)，而且檢查規(guī)模會(huì)更大。不過(guò)，回到本篇研究，最有意思的，還是神奇的還原細(xì)節(jié)的能力。想想電視和電影中的許多畫面，尤其十年前的珍貴影響，有了這項(xiàng)技術(shù)，“增強(qiáng)”低分辨率圖像使其變得清晰，將不再是一件難事！

本文轉(zhuǎn)載自 ??51CTO技術(shù)棧??，作者：言征