文生圖模型Stable Diffusion開源后，將「AI藝術(shù)」徹底平民化，只需一張消費級顯卡即可制作出非常精美的圖片。

而文本轉(zhuǎn)視頻領(lǐng)域，目前質(zhì)量較高的只有Runway前不久推出的商用Gen-2模型，開源界還沒有一個能打的模型。

最近，Huggingface上有作者發(fā)布了一個文生視頻模型Zeroscope_v2，基于17億參數(shù)量的ModelScope-text-to-video-synthesis模型進(jìn)行二次開發(fā)。

圖片

模型鏈接：https://huggingface.co/cerspense/zeroscope_v2_576w

相比于原版本，Zeroscope生成的視頻沒有水印，并且流暢度和分辨率都得到了提升，適配16:9的寬高比。

開發(fā)者cerspense表示，他的目標(biāo)就是和Gen-2進(jìn)行開源較量，即提高模型質(zhì)量的同時，還能免費供大眾使用。

Zeroscope_v2包括兩個版本，其中Zeroscope_v2 567w可以快速生成576x320像素分辨率、幀率為30幀/秒的視頻，可用于視頻概念的快速驗證，只需要約7.9GB的顯存即可運行。

Zeroscope_v2 XL可以生成1024x576分辨率的高清視頻，大約需要15.3GB的顯存。

Zeroscope還可以與音樂生成工具M(jìn)usicGen一起使用，快速制作一個純原創(chuàng)短視頻。

Zeroscope模型的訓(xùn)練用到了9923個視頻片段（clip）以及29769個標(biāo)注幀，每個片段包括24幀。偏移噪聲包括視頻幀內(nèi)對象的隨機(jī)移位、幀定時（frame timings）的輕微變化或微小失真。

訓(xùn)練期間引入噪聲可以增強模型對數(shù)據(jù)分布的理解，從而可以生成更多樣化的逼真視頻，并更有效地解釋文本描述中的變化。

使用方法

使用stable diffusion webui

在Huggingface上下載zs2_XL目錄下的權(quán)重文件，然后放到stable-diffusion-webui\models\ModelScope\t2v目錄下即可。

在生成視頻時，推薦的降噪強度值為0.66到0.85

使用Colab

筆記鏈接：https://colab.research.google.com/drive/1TsZmatSu1-1lNBeOqz3_9Zq5P2c0xTTq?usp=sharing

先點擊Step 1下的運行按鈕，等待安裝，大約需要3分鐘；

圖片

當(dāng)按鈕旁邊出現(xiàn)綠色復(fù)選標(biāo)記時，繼續(xù)執(zhí)行下一步。

圖片

點擊想要安裝模型附近的運行按鈕，為了能夠在Colab中快速獲得3秒左右的剪輯視頻，更推薦使用低分辨率的ZeroScope模型（576或448）。

圖片

如果相運行更高分辨率模型（Potat 1或ZeroScope XL），運行也會更費時間，需要做出權(quán)衡。

再次等待復(fù)選標(biāo)記出現(xiàn)，繼續(xù)執(zhí)行下一步。

選擇在Step2中安裝并希望使用的模型型號，對于更高分辨率的模型，推薦下面的配置參數(shù)，不需要太長的生成時間。

圖片

然后為目標(biāo)視頻效果輸入提示詞，也可以輸入否定提示（negative prompts），再按下運行按鈕。 

等待一會后，生成的視頻就會被放置在outputs目錄下。

圖片

「文生視頻」開源競賽

目前來說，文生視頻領(lǐng)域仍處于起步階段，即便是最好的工具也只能生成幾秒鐘的視頻，并且通常存在較大的視覺缺陷。

但其實文生圖模型最初也面臨著類似的問題，但僅僅幾個月后就實現(xiàn)了照片級真實感。

不過與文生圖模型不同的是，視頻領(lǐng)域在訓(xùn)練和生成期間所需要的資源都要更比圖像更多。

雖然谷歌已經(jīng)研發(fā)出了Phenaki和Imagen Video模型，可以生成高分辨率、更長、邏輯連貫的視頻片段，但公眾無法使用到這兩個模型；Meta的Make-a-Video模型也同樣沒有發(fā)布。

目前可用的工具仍然只有Runway的商用模型Gen-2，此次Zeroscope的發(fā)布也標(biāo)志著文生視頻領(lǐng)域第一個高質(zhì)量開源模型的出現(xiàn)。