RTX 4090可跑、完全開(kāi)源，最快視頻生成模型問(wèn)世，實(shí)測(cè)一言難盡
這個(gè)周末，押注開(kāi)源人工智能視頻的初創(chuàng)公司 Lightricks，有了重大動(dòng)作。
該公司推出了最快的視頻生成模型 LTX-Video，它是首個(gè)可以實(shí)時(shí)生成高質(zhì)量視頻的 DiT 視頻生成模型。
在一塊 Nvidia H100 上，LTX-Video 只需要 4 秒就能生成 5 秒時(shí)長(zhǎng)的 24FPS 視頻，分辨率 768x512，可以說(shuō)視頻生成速度比視頻觀看速度還要快。同時(shí) LTX-Video 完全開(kāi)源，包括代碼庫(kù)和模型權(quán)重。
LTX-Video共同作者和負(fù)責(zé)人。
「有史以來(lái)最快的文生視頻模型誕生了。」
首先來(lái)看幾個(gè)視頻生成官方 Demo。
目前，用戶可以在 GitHub Hugging Face 上體驗(yàn)預(yù)覽版 LTX Video。完整版發(fā)布之后將免費(fèi)供個(gè)人和商業(yè)使用，并即將集成到 LTX Studio 中。
項(xiàng)目地址：https://github.com/Lightricks/LTX-Video
我們嘗試生成了兩個(gè)視頻，比如「a dog chasing a boy who is skateboarding」。
再比如「a girl with an umbrella standing on a bridge, and a handsome man walking towards her」。
試用地址：https://huggingface.co/spaces/akhaliq/anychat
接著來(lái)了解一下 LTX-Video 的細(xì)節(jié)。
LTX Video 是一個(gè)文本到視頻和圖像到視頻模型，能夠以驚人的速度和精度實(shí)時(shí)創(chuàng)建動(dòng)態(tài)視頻。該模型可以在 RTX 4090 等消費(fèi)級(jí) GPU 上本地運(yùn)行，無(wú)需專用設(shè)備即可以低成本地生成高質(zhì)量視頻。
另外，LTX Video 基于開(kāi)發(fā)人員的反饋和真實(shí)世界用例構(gòu)建，可以提供自然逼真的結(jié)果。該模型做了高級(jí)定制化設(shè)計(jì)，可以流暢地集成各種外部工具，從而輕松地增強(qiáng)工作流。
在生成過(guò)程中，LTX Video 最大程度減少了閃爍和偽影，創(chuàng)建出具有出色細(xì)節(jié)和清晰度的高保真視頻。每一幀都在精心制作下呈現(xiàn)清晰銳利、栩栩如生，符合用戶的視覺(jué)效果。
最后，LTX Video 實(shí)現(xiàn)了無(wú)縫的跨幀一致性，從角色到環(huán)境，可以保持連貫的視覺(jué)效果，將每個(gè)細(xì)節(jié)整合在一起。
未來(lái)，LTX-Video 還會(huì)有技術(shù)報(bào)告放出。
