AI視頻的DeepSeek時刻！開源13B模型生成提速30倍，5090跑出好萊塢特效
AI視頻的DeepSeek時刻什么時候來？沒想到吧，這就來了。
最新開源模型LTXV-13B，免費可商用、推理速度快、游戲顯卡就能跑，視覺效果也不錯。要素都齊了，想不火都難。
從官方透露的信息看，新模型在速度、質(zhì)量和控制三個方面有所提升。
生成速度——同類產(chǎn)品的30倍，提出想法可以獲得接近實時的反饋。
視頻質(zhì)量——眼見為實，請看VCR。
可控制性——支持逐幀控制，能讓你按照自己想法來打造視頻，創(chuàng)作自由度直接拉滿。
這個13B參數(shù)的模型，官方證實在24G顯存的4090/5090上就能跑，也難怪網(wǎng)友紛紛為之瘋狂。
大家曬出的“買家秀”，效果比官方賣家秀看起來也毫不縮水：
開源視頻生成新標桿
LTX-Video支持文本轉(zhuǎn)圖像、圖像轉(zhuǎn)視頻、基于關(guān)鍵幀的動畫、視頻擴展（正向和反向）、視頻轉(zhuǎn)視頻，以及上述所有這些功能的任意排列組合。
- 視覺效果爆炸
LTXV-13B擁有超130億個參數(shù)，即使在快速復(fù)雜的場景，也能提供更流暢的運動、更少的偽影和更清晰的視覺效果。
那么下面再直觀感受一下效果。
Prompt：一位有著棕色長發(fā)和白皙皮膚的女人對著另一位女人微笑……一位有著棕色長發(fā)、膚色白皙的女子正對著另一位有著金色長發(fā)的女子微笑。這位棕色頭發(fā)的女子身穿黑色夾克，右臉頰上長著一顆幾乎難以察覺的小痣。鏡頭角度為特寫鏡頭，聚焦于這位棕色頭發(fā)女子的臉部。光線溫暖自然，似乎是落日的余暉，在場景中投射出柔和的光芒。這幅場景似乎是真實拍攝的。
還可以不斷地調(diào)整拍攝角度，營造出非常自然的航拍效果。
Prompt：海浪沖擊著海岸線上嶙峋的巖石……海浪拍打著海岸線上嶙峋的巖石，濺起陣陣浪花。巖石呈深灰色，邊緣鋒利，裂縫深邃。海水清澈碧綠，浪花拍打巖石的地方泛起白色的泡沫。天空呈淺灰色，幾朵白云點綴在地平線上。
這下誰還能分清什么是現(xiàn)實什么又是AI生成的呢？
但記得要在生成之前放大圖片，不要像下面這位網(wǎng)友一樣：
- 生成速度提升
相較于同類產(chǎn)品，LTXV-13B生成速度領(lǐng)先近30倍，但質(zhì)量可是一點都沒打折扣，相當適合快速迭代、實時反饋和大規(guī)模生產(chǎn)場景。
不僅效率大幅度提升，成本也跟著降低，用消費級GPU就能搞定，也可以選擇官方平臺LTX Studio云體驗。
- 精細創(chuàng)意控制
此外，LTXV還有強大的創(chuàng)意控制功能，提供多關(guān)鍵幀調(diào)節(jié)（起始幀和結(jié)束幀）、攝像機控制（推拉、變焦、搖臂、軌道等）、面部表情控制等。
LTXV-Video：實時視頻潛空間擴散模型
官方透露，LTX Video做到更流暢的運動和更一致的幀間連貫性，關(guān)鍵在于多尺度渲染技術(shù)，即同時以多種空間分辨率分析場景，保留精細細節(jié)的同時理解大規(guī)模結(jié)構(gòu)。
如下面的例子，可以看到從左到右人物臉上的細節(jié)越來越豐富。
從團隊幾個月前發(fā)布的2B參數(shù)模型論文也可以看出，訓(xùn)練階段就同時使用了多種分辨率和時長組合的數(shù)據(jù)。
訓(xùn)練時通過調(diào)整原始視頻大小，使輸入樣本包含大致相同數(shù)量的token，并采用隨機丟棄token的策略，避免復(fù)雜的token填充或打包操作，保持數(shù)據(jù)多樣性。
上一代2B參數(shù)的模型就以速度和效率見長，能夠以超過實時的速度生成高質(zhì)量視頻，在H100 GPU上僅需2秒就能生成5秒、24幀每秒、768×512分辨率的視頻。
優(yōu)化生成速度的秘訣在于一種整體式Latent Diffusion方法，將Video-VAE和去噪Transformer的任務(wù)無縫融合，在它們之間共享去噪目標。
另外Video VAE部分對時空維度進行32×32×8的下采樣壓縮，將高分辨率的視頻數(shù)據(jù)轉(zhuǎn)換到低分辨率的潛在空間進行處理，通過空間和時間壓縮來降低冗余。
它實現(xiàn)了1:192的壓縮比，超過當時的主流開源模型如MovieGen、CogVideoX等的1:48或1:96的壓縮比。
為實現(xiàn)這種高壓縮率，團隊將圖像塊化操作（patchify）從Transformer的輸入移到了VAE的輸入，使每個token能夠表示更多的像素信息，幫助Transformer計算全時空自注意力（full spatiotemporal self-attention）。
高壓縮率雖好，但會限制對細節(jié)的表示能力。為了解決這個問題，LTX-Video還采取了多種新策略。
在訓(xùn)練Video VAE時引入GAN，減少高壓縮率下L2 loss產(chǎn)生的模糊問題。
為此提出改進的Reconstruction GAN，判別器同時接收原始樣本和重建樣本，通過判斷哪個是原始的、哪個是重建的，簡化了判別器的任務(wù)，提高了其引導(dǎo)生成器的能力，使生成的視頻在保持與原始樣本相似性的同時，能更有效地平衡保真度和感知質(zhì)量。
此外還有一些小的改動如下：
- 多層噪聲注入：受StyleGAN啟發(fā)，在VAE解碼器的多個層注入噪聲，允許生成更多樣化的高頻細節(jié)。
- 統(tǒng)一對數(shù)方差：使用寬潛空間（大量channels）時，標準KL損失會導(dǎo)致不均勻的利用。團隊使用了所有潛通道共享的單一預(yù)測對數(shù)方差，均勻分配KL損失的影響。
- 視頻DWT損失：引入了spatio-temporal Discrete Wavelet Transform (DWT) loss，確保高頻細節(jié)的重建。
LTX-Video同時支持文本生成視頻和圖像生成視頻兩種能力。
對于文本條件生成，團隊使用了預(yù)訓(xùn)練的T5-XXL文本編碼器生成初始文本嵌入，并采用了交叉注意力機制，而非MM-DiT方法。
而對于圖像條件生成，他們擴展了Open-Sora的方法，利用擴散時間步作為條件指示器，允許無縫條件化視頻的任何部分。
這種方法不需要特殊的tokens或?qū)ｉT為圖像到視頻任務(wù)訓(xùn)練的模型，大大簡化了流程。
2013年成立的老牌團隊
LTX-Video開發(fā)團隊Lightricks成立于2013年，前大模型時代有兩個招牌產(chǎn)品，為美顏相機應(yīng)用Facetune和視頻剪輯應(yīng)用Videoleap，在蘋果商店至今仍排得上號。
2023轉(zhuǎn)型AI后，推出LTX Studio視頻生成平臺，支持逐鏡頭地構(gòu)建視頻和時間線編輯，可以精細控制每個場景，并保持角色一致性，主要面向影視、廣告和個人視頻創(chuàng)作者。
除開源模型外，Lightricks還提供配套的訓(xùn)練工具，支持微調(diào)、預(yù)處理數(shù)據(jù)集、為視頻添加字幕、分割場景等使用功能。
LTX Video 13B模型推出后開源社區(qū)也非常感興趣，已經(jīng)有人在一天之內(nèi)就為其訓(xùn)練好了LoRA，讓不同類型角色的眼睛都能冒電光特效，引起網(wǎng)友圍觀。
感興趣（且趁24GB顯存）的朋友們，可以下載起來了。
