視頻生成模型評測權威榜單VBench，突遭“屠榜”。

這個突然殺出來的模型，就是中國電信人工智能研究院（TeleAI）剛剛發(fā)布的視頻大模型（VBench上的代號為TeleAI-VAST）。

而且16項子指標有9項都是第一，大幅領先第二名。

其中更是有5項得分超過99%，并在物體分類和人體動作兩項拿了滿分100%。

來看一段樣片：

這段短片中，四位女主角為尋找寶石，分別踏上了各自的冒險之旅。

具體細節(jié)不展開太多，但關鍵之處在于，每個人物在各自的分鏡中，形象都和開頭的合影保持了一致。

要知道對于視頻生成來說，保持單個人物的前后一致就已經不是一件容易的事，TeleAI視頻生成大模型卻一下處理了四個。

人物動作精準控制，還有音畫同步

除了開頭三分鐘的宣傳片，TeleAI展示了另外幾段作品。

第一段視頻中，女主角先后出現(xiàn)在公交車、馬路、酒吧吧臺和座位四個不同的場景。

在這四個場景中，人物的外貌、發(fā)型、衣著全都保持了一致，畫面整體的色調風格也很統(tǒng)一。

這說明，TeleAI視頻生成大模型已經實現(xiàn)了不同的場景變化下主體的時空一致性。

接下來的這段畫面里，兩只猴王展開了一場近距離對戰(zhàn)，期間的人物動作、鏡頭跟隨，都已經呈現(xiàn)出了電影級的水準。

如果細節(jié)再繼續(xù)打磨優(yōu)化，拿來拍電影指日可待。

人物特征、時空一致性和動作精準性都有了，還能再做些什么呢？

目前的視頻生成模型大多生成的都是默片，這次TeleAI把聲音也加進來了。

先看視頻：

從視頻中可以看到，TeleAI視頻生成大模型生成的聲音，不是單純地來上一段音樂那么簡單。

仔細聽會發(fā)現(xiàn)，艦船的鳴笛聲、飛機起飛的轟鳴聲、潛水艇的水聲，以及最后火箭沖出水面的聲音，都與畫面中看到的內容做到了同步。

也就是說，TeleAI視頻生成大模型作品中體現(xiàn)的一致性，已經跨越模態(tài)了。

獨創(chuàng)兩階段生成架構

不僅效果和成績優(yōu)秀，TeleAI視頻生成大模型的技術架構也十分獨特。

它沒有采用傳統(tǒng)的路徑，而是全自研了一個“二階段視頻生成技術”——VAST（Video As Storyboard from Text）。

TeleAI團隊沒有選擇一步到位，而是將視頻的生成分解成了兩個過程。

在第一階段，采用多模態(tài)大型模型根據文本輸入生成中間素材，包括姿勢、分割圖和深度信息。

TeleAI團隊把這些中間表示稱作“故事板”，是模型能夠體現(xiàn)場景語義和結構本質的關鍵。

第二階段，才是真正的視頻生成。

利用基于DiT架構的擴散模型，TeleAI以這些表示為條件，結合目標對象的文本描述和外觀信息，生成最終的視頻。

這種分段式的方式，使得生成視頻時能夠精確控制主體的位置、運動和視覺外觀。

而且，TeleAI視頻生成大模型不僅能在模型上分“階段”，還可以把視頻按場景分成“片段”。

當創(chuàng)作者想要生成一段長視頻時，視頻生成工具可以先設計具體的分鏡頭，開頭3分鐘的視頻就是用這種方法創(chuàng)作出來的。

針對每一個分鏡，生成具有一致性的生成中間素材，這些中間素材不僅作用于模型內部，對創(chuàng)作者也是可見的，甚至還能進行調整修改。

因為對片段進行了劃分，所以，只要在每個片段中都能保持人物一致性，可以生成的視頻長度將是無限長。

中國電信介紹，本次發(fā)布的視頻生成大模型將于明年開啟公測，可以期待一波新鮮的AI大片了。

各種模態(tài)全都有，還要做智能體

此次亮相的視頻生成大模型，是TeleAI整個大模型布局中的一個環(huán)節(jié)。

此前，TeleAI已經自主了研發(fā)覆蓋語義、語音、視覺、多模態(tài)的“星辰”大模型能力體系。

星辰大模型在央企中唯一開源，還完成首個全國產化萬卡萬參大模型訓練，并打造業(yè)界首個支持40種方言自由混說的語音識別大模型。

基礎模型之外，TeleAI還面向工業(yè)、教育等領域推出50多個場景大模型，并構建了“星?！睌祿悄苤信_，形成了9萬億Tokens高質量數據集。

在使用方式上也另辟蹊徑，甚至推出了發(fā)短信和大模型對話的功能。

除了模態(tài)、場景、數據和使用方式，TeleAI也全新推出了大模型智能體平臺，與視頻生成大模型一同登上TeleAI開發(fā)者大會。