偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

事件相機+AI視頻生成,港大CUBE框架入選ICIP,無需訓練實現(xiàn)可控視頻生成

人工智能 新聞
CUBE不僅是一項技術(shù),更是一次在事件相機與AI生成視頻領(lǐng)域的新探索。

在這個信息爆炸的時代,如何讓AI生成的視頻更具創(chuàng)意,又符合特定需求?

來自香港大學的最新研究《基于事件、無需訓練的可控視頻生成框架 CUBE》帶來一個全新的解決方案。

這一框架利用了事件相機捕捉動態(tài)邊緣的能力,將AI生成的視頻帶入了一個新的維度,精準又高效。論文原標題是“Controllable Unsupervised Event-based Video Generation”,

發(fā)表于圖像處理盛會ICIP并被選為Oral(口頭報告),并受邀在WACV workshop演講。

圖片

什么是事件相機?

在深入了解CUBE框架之前,先來認識一下事件相機。

不同于傳統(tǒng)相機的定時捕捉,事件相機模仿生物的視覺系統(tǒng),只捕捉像素點亮度變化的“事件”,就像是只記錄畫面的精華部分。

這樣不僅可以有效減少冗余數(shù)據(jù),還可以顯著降低耗能

尤其是在高速動態(tài)或光線變化大的場景下,事件相機比傳統(tǒng)相機更有優(yōu)勢。而這些獨特的“事件數(shù)據(jù)”正是CUBE框架的核心。

圖片左:普通相機拍的;右:事件相機拍的

簡單說,事件相機和普通相機不同,捕捉的是物體邊緣的動態(tài)細節(jié),就像你腦中一閃而過的靈感,節(jié)省了大量帶寬還能省電。

CUBE框架結(jié)合了這些“閃現(xiàn)”的邊緣數(shù)據(jù)和文字描述,無需訓練就能合成符合需求的視頻!這不僅能讓你生成的場景更“合胃口”,還能讓視頻質(zhì)量、時間一致性和文本匹配度都蹭蹭上漲。

為什么要用CUBE?

其他方法或是需要大量訓練數(shù)據(jù),或是生成效果欠佳。CUBE框架不僅解決了這些問題,還在多項指標上表現(xiàn)出色。

無論是視覺效果、文本匹配度還是幀間一致性,CUBE都表現(xiàn)優(yōu)異。

可以這樣想:CUBE就像給事件相機配上了智能“濾鏡”,讓生成的視頻不僅生動還符合描述,比如讓鐵人也能在馬路上跳起月球舞步!

CUBE框架是如何工作的?

CUBE的全稱是“Controllable, Unsupervised, Based on Events”,直譯過來就是“可控的、無需訓練的、基于事件的”視頻生成框架。

它通過提取事件中的邊緣信息,再結(jié)合用戶提供的文字描述生成視頻。在方法上,CUBE主要依賴擴散模型生成技術(shù)。

擴散模型通過向圖像添加隨機噪聲并逐步還原來生成圖片,但團隊進一步優(yōu)化了這個過程,能讓它根據(jù)“事件”提供的邊緣數(shù)據(jù)生成視頻。

CUBE的核心方法

1. 邊緣提?。?/strong>事件流記錄了物體運動的軌跡,而CUBE的首要任務就是將這些事件轉(zhuǎn)換成邊緣信息。團隊設計了一個邊緣提取模塊,把事件數(shù)據(jù)分成多個時間段,提取出關(guān)鍵的空間位置,從而形成精確的邊緣圖。這些邊緣圖不僅保留了運動物體的輪廓,還能讓視頻生成更流暢。

圖片

2. 視頻生成:有了邊緣數(shù)據(jù)之后,CUBE結(jié)合了文字描述生成視頻。通過擴散模型的逐步還原過程,可以生成多個與描述相匹配的圖像幀,并用插幀技術(shù)讓視頻更加平滑一致。這個過程不需要大量的訓練數(shù)據(jù),因為CUBE直接調(diào)用了預訓練的擴散模型來實現(xiàn)高質(zhì)量生成。
圖片

3. 控制性與一致性:采用了ControlVideo框架,這一框架具有優(yōu)秀的可控性,通過文字描述來控制生成的視頻內(nèi)容,使每幀的生成都符合特定的要求。ControlVideo和CUBE的組合解決了傳統(tǒng)方法中視頻生成一致性不足的問題,讓內(nèi)容更生動、更貼合描述。

圖片
圖片

CUBE的性能表現(xiàn)

在實驗中,CUBE的表現(xiàn)遠超現(xiàn)有方法。在視頻質(zhì)量、文本匹配度和時間一致性等多個指標上,CUBE都取得了優(yōu)異的成績。

定量實驗顯示,CUBE生成的幀間一致性和文本匹配度都比ControlNet、ControlVideo等方法更優(yōu)。此外,團隊還做了用戶偏好測試,結(jié)果顯示參與者普遍更喜歡CUBE生成的視頻。

圖片
圖片

未來展望

當然,CUBE還有提升的空間。未來團隊希望將邊緣信息和紋理信息結(jié)合,使視頻更具細節(jié)和真實感,同時探索更多領(lǐng)域適用性,甚至將其應用在實時場景中。這一技術(shù)不僅適合電影、動畫生成等領(lǐng)域,還可以用于自動駕駛、監(jiān)控等需要快速識別動態(tài)環(huán)境的場景。

CUBE不僅是一項技術(shù),更是一次在事件相機與AI生成視頻領(lǐng)域的新探索。

如果你也對AI生成視頻感興趣,可進一步參考完整論文和開源代碼。

論文地址:https://ieeexplore.ieee.org/abstract/document/10647468
代碼已開源:https://github.com/IndigoPurple/cube

責任編輯:張燕妮 來源: 量子位
相關(guān)推薦

2025-03-27 09:24:16

2024-12-26 00:51:38

2025-01-26 10:50:00

模型視頻生成

2023-04-03 10:04:44

開源模型

2023-06-13 09:33:37

視頻阿里巴巴

2024-12-20 09:30:00

模型訓練數(shù)據(jù)

2024-12-26 07:20:00

2025-05-12 08:25:00

2024-11-08 17:34:38

2021-08-13 15:07:02

模型人工智能深度學習

2024-10-15 14:08:06

2025-06-12 11:57:56

視頻生成模型AI

2025-07-02 08:30:00

視頻生成AI模型

2025-01-14 14:02:05

2025-01-15 09:21:57

2024-07-01 13:02:53

2024-11-18 10:50:39

2025-05-15 08:21:16

EasyDubSpringAI

2025-05-06 09:41:06

2024-12-12 08:35:58

點贊
收藏

51CTO技術(shù)棧公眾號