在線(xiàn)教程丨北大施柏鑫團(tuán)隊(duì)聯(lián)合貝式計(jì)算提出視頻實(shí)例重繪方法 VIRES，多項(xiàng)性能指標(biāo)達(dá) SOTA 原創(chuàng)
視頻也能 P 了？
眾所周知，視頻編輯難度極高，若想要調(diào)整或替換主體，變換場(chǎng)景、色彩或是移除一個(gè)物體，往往意味著無(wú)數(shù)幀的手動(dòng)標(biāo)注、遮罩繪制和精細(xì)調(diào)色。即使是經(jīng)驗(yàn)豐富的后期團(tuán)隊(duì)，也很難在復(fù)雜場(chǎng)景中保持編輯內(nèi)容的時(shí)間一致性。近年來(lái)，隨著生成式 AI 的快速發(fā)展，諸如「一鍵消除」等功能逐漸出現(xiàn)在各類(lèi)剪輯軟件中，令人們看到了 AI 在視頻編輯方面的巨大潛力。
誠(chéng)然，在實(shí)際應(yīng)用中，除了「一刀切」的消除功能外，更高頻使用且難度更大的往往在于替換、增加主體等需求，在技術(shù)方面涉及更加精準(zhǔn)的目標(biāo)識(shí)別、分割，以及視頻生成。而當(dāng)前的 AI 方法在復(fù)雜場(chǎng)景中處理這一類(lèi)視頻重繪任務(wù)時(shí)仍存在挑戰(zhàn)，例如，當(dāng)前很多零樣本方法在處理連續(xù)視頻幀時(shí)容易造成畫(huà)面閃爍；對(duì)于背景復(fù)雜或多目標(biāo)場(chǎng)景，可能會(huì)出現(xiàn)錯(cuò)位、模糊或語(yǔ)義偏差。
針對(duì)于此，北京大學(xué)相機(jī)智能實(shí)驗(yàn)室（施柏鑫團(tuán)隊(duì)）聯(lián)合 OpenBayes貝式計(jì)算，以及北京郵電大學(xué)人工智能學(xué)院模式識(shí)別實(shí)驗(yàn)室李思副教授團(tuán)隊(duì)，共同提出了一種結(jié)合草圖與文本引導(dǎo)的視頻實(shí)例重繪方法 VIRES，支持對(duì)視頻主體的重繪、替換、生成與移除等多種編輯操作。
該方法利用文本生成視頻模型的先驗(yàn)知識(shí)，確保時(shí)間上的一致性，同時(shí)還提出了帶有標(biāo)準(zhǔn)化自適應(yīng)縮放機(jī)制的 Sequential ControlNet，能夠有效提取結(jié)構(gòu)布局并自適應(yīng)捕捉高對(duì)比度的草圖細(xì)節(jié)。更進(jìn)一步地，研究團(tuán)隊(duì)在 DiT（diffusion transformer） backbone 中引入草圖注意力機(jī)制，以解讀并注入細(xì)顆粒度的草圖語(yǔ)義。實(shí)驗(yàn)結(jié)果表明，VIRES 在視頻質(zhì)量、時(shí)間一致性、條件對(duì)齊和用戶(hù)評(píng)分等多方面均優(yōu)于現(xiàn)有 SOTA 模型。
VIRES 與 5 種現(xiàn)有方法在不同數(shù)據(jù)集上的多類(lèi)指標(biāo)得分
相關(guān)研究以「VIRES: Video Instance Repainting via Sketch and Text Guided Generation」為題，已入選 CVPR 2025。
目前，「VIRES：草圖與文本雙引導(dǎo)的視頻重繪」已上線(xiàn)至 HyperAI超神經(jīng)官網(wǎng)（hyper.ai）的教程板塊，一鍵部署即可在線(xiàn)體驗(yàn)高質(zhì)量視頻編輯功能。筆者以定制實(shí)例生成為例，在戶(hù)外雪地中增加了一只奔跑的柯基，栩栩如生毫無(wú)違和感 ??
教程鏈接：??https://go.hyper.ai/49koQ??
我們還為新注冊(cè)用戶(hù)準(zhǔn)備了驚喜福利，使用邀請(qǐng)碼「
VIRES」注冊(cè) OpenBayes 平臺(tái)，即可獲得 4 小時(shí) RTX A6000 免費(fèi)使用時(shí)長(zhǎng)（資源有效期為 1 個(gè)月），數(shù)量有限，先到先得！
Demo 運(yùn)行
1.進(jìn)入 hyper.ai 首頁(yè)后，選擇「教程」頁(yè)面，并選擇「VIRES：草圖與文本雙引導(dǎo)的視頻重繪」，點(diǎn)擊「在線(xiàn)運(yùn)行此教程」。
2.頁(yè)面跳轉(zhuǎn)后，點(diǎn)擊右上角「克隆」，將該教程克隆至自己的容器中。
3.選擇「NVIDIA RTX A6000」以及「PyTorch」鏡像，OpenBayes 平臺(tái)提供了 4 種計(jì)費(fèi)方式，大家可以按照需求選擇「按量付費(fèi)」或「包日/周/月」，點(diǎn)擊「繼續(xù)執(zhí)行」。新用戶(hù)使用下方邀請(qǐng)鏈接注冊(cè)，可獲得 4 小時(shí) RTX 4090 + 5 小時(shí) CPU 的免費(fèi)時(shí)長(zhǎng)！
HyperAI超神經(jīng)專(zhuān)屬邀請(qǐng)鏈接（直接復(fù)制到瀏覽器打開(kāi)）：
??https://openbayes.com/console/signup?r=Ada0322_NR0n??
4.等待分配資源，首次克隆需等待 2 分鐘左右的時(shí)間。當(dāng)狀態(tài)變?yōu)椤高\(yùn)行中」后，點(diǎn)擊「API 地址」旁邊的跳轉(zhuǎn)箭頭，即可跳轉(zhuǎn)至 Demo 頁(yè)面。由于模型較大，需等待約 3 分鐘顯示 WebUI 界面，否則將顯示「Bad Gateway」。請(qǐng)注意，用戶(hù)需在實(shí)名認(rèn)證后才能使用 API 地址訪(fǎng)問(wèn)功能。
效果演示
點(diǎn)擊 API 地址即可直接體驗(yàn)該模型，如下圖所示。我們已經(jīng)在教程中為大家準(zhǔn)備了多個(gè)示例，歡迎體驗(yàn)！
筆者以「定制實(shí)例生成」為例，在在戶(hù)外雪地中增加了一只奔跑的柯基，栩栩如生毫無(wú)違和感！
??原視頻可在「HyperAI超神經(jīng)」公眾號(hào)同名文章觀(guān)看～??
* prompt：
The video showcases a delightful scene of a corgi dog joyfully running back and forth in a snowy park. The park is adorned with trees and a playground in the background, setting a picturesque winter atmosphere. The corgi, with its orange and white fur and expressive eyes, repeatedly runs towards and away from the camera, kicking up snow with its paws and displaying a playful demeanor. The dog's fur appears glossy and silky, and its tail is energetically wagging throughout the video, highlighting its excitement and energy. The video captures the corgi's movements in detail, focusing on its bright eyes, muscular legs, and agile form as it frolics in the snow. The creator likely intended to share a heartwarming and visually appealing moment that showcases the joy and liveliness of a beloved pet in a beautiful snowy setting.
以上就是 HyperAI超神經(jīng)本期推薦的教程，歡迎大家前來(lái)體驗(yàn)！
教程鏈接：??https://go.hyper.ai/49koQ??
