用智能 開啟無限可能丨酷炫十足的AI短片,如何煉成(上)
巴黎奧運(yùn)會期間,一條《奧運(yùn)熊貓奇幻之旅》的短片刷爆了大家的朋友圈,可愛的中國熊貓,在一場夢境中參加了各種奧運(yùn)賽事:打乒乓球、擊劍、游泳、舉重,每一幀場景的還原度十分逼真,贏得了大家瘋狂的轉(zhuǎn)發(fā)和點(diǎn)贊。
這個短片的廣泛流傳,也讓更多的人注意到AI短片創(chuàng)作達(dá)人溫維斯。
從事AI視頻創(chuàng)作以來,除了和人民日報、快手可靈共創(chuàng)了《熊貓奧運(yùn)奇幻之旅》,溫維斯先后還分別與央視財經(jīng)和新華社共創(chuàng)了《中秋C位美食已就位》《穿越時空之旅系列》《赤心》等AI 視頻,得到了業(yè)界的一致認(rèn)可。
那么,第一次科幻題材的創(chuàng)作再到人民日報報道的“熊貓奧運(yùn)奇幻之旅”,溫維斯在AI短片創(chuàng)作的成長道路上是如何“打怪升級”的呢?
2024年年初,我開始持續(xù)進(jìn)行AI短片的創(chuàng)作,這是一個新的挑戰(zhàn)。當(dāng)時,自己作為AIGC產(chǎn)品經(jīng)理,出于自己的工作性質(zhì),對于AIGC工具的捕捉同樣十分重要,什么工具好用,什么工具能夠極大提效,自己需要非常清楚。
第一次制作AI短片,我就選擇了極富感染力的科幻題材,因?yàn)楹芟矚g科幻電影,所有做了這樣的嘗試,當(dāng)時的創(chuàng)作過程的確有遇到不少困難。
首先是劇本、腳本的創(chuàng)作,是此前從來沒有嘗試過的。我需要通過不斷的與ChatGPT交流,讓GPT進(jìn)行劇本的潤色與腳本的編輯。
另一方面,當(dāng)時市面上還沒有涌現(xiàn)出效果特別好用的AI工具,為了生成令自己滿意的素材,最后不得不在彼時本就不多的視頻工具間不停地選擇切換,例如Dreamina、Pixverse、Pika、Haiper、Runway,不過也正是因?yàn)檫@些創(chuàng)作工具,讓我快速打開了AI創(chuàng)作的大門。
圖源:熊貓奧運(yùn)奇幻之旅
不過隨著素材的不斷增多,大量的圖片、視頻素材數(shù)據(jù)堆積在電腦里。1分多鐘的短片,平均3s一個鏡頭,最少也有20個鏡頭,每個鏡頭20m,高清后120m,可能就能夠達(dá)到2G多。
當(dāng)素材非常多的時候整個視頻剪輯軟件就會變得非??D,非常影響效率。這時候非常需要一個處理速度快,內(nèi)容大,顯存大的電腦!
值得一提的是,這個作品同時也是參賽作品,自己還為短片進(jìn)行了視頻超清處理。這里也有一個令人頭疼的問題,一個5秒短片視頻超清需要花費(fèi)15-20分鐘。
最后,還需要為短片中人物進(jìn)行配音,同樣是AI工具完成的。
今年夏天,巴黎奧運(yùn)會期間,同時非常幸運(yùn)地與可靈AI、人民日報、德里克文老師一起共創(chuàng)了奧運(yùn)AI短片《熊貓奧運(yùn)奇幻之旅》。
圖源:《熊貓奧運(yùn)奇幻之旅》
這次短片創(chuàng)作涉及到多方參與合作,需要大家多次溝通確認(rèn)。僅僅是短片風(fēng)格問題,團(tuán)隊們就先后提出了不同的看法。從寫實(shí)風(fēng)格、動漫風(fēng)格,再到首尾幀技術(shù)實(shí)現(xiàn),最后到擬人化風(fēng)格,短片前前后后我們調(diào)整了3個版本,最終選擇了可愛的寫實(shí)熊貓風(fēng)。
AI時代為短視頻創(chuàng)作帶來前所未有的效率和想象空間,同時也形成了一套非常獨(dú)特的創(chuàng)作棧。挑選創(chuàng)作工具的難點(diǎn)有不少,例如:這款工具如何確保作品生成過程的可控性、如何進(jìn)行精細(xì)化的定制,如何確保前端界面與后端模型的直觀交互,如何確保圖片創(chuàng)作環(huán)境的穩(wěn)定性,如何提升出圖效率等等。
那么,炫酷的短片究竟是怎樣通過這些工具“煉”出來的呢?工欲善其事必先利其器。這里就必須重點(diǎn)提到了三款A(yù)I神器:ComfyUI,SD-WebUI、Midjourney。
ComfyUI這款工具的獨(dú)特之處在于,提供了基于節(jié)點(diǎn)工作流穩(wěn)定擴(kuò)散算法的圖形界面,通過將穩(wěn)定擴(kuò)散的流程巧妙分解成各個節(jié)點(diǎn),可以成功實(shí)現(xiàn)工作流的精準(zhǔn)定制和可靠復(fù)現(xiàn)。這一點(diǎn)非常關(guān)鍵。
用惠普Z系列移動工作站ComfyUI復(fù)現(xiàn)短片《點(diǎn)亮》,工作效率非常高,完全意想不到的效果!
通過ComfyUI的工作流編排,我們可以做到每一幀前后的連貫一致性。
使用惠普Z系列移動工作站進(jìn)行ComfyUI工作流編排
然而需要注意的是,ComfyUI需要創(chuàng)作設(shè)備的計算能力得足夠強(qiáng)悍,傳統(tǒng)設(shè)備的硬件在高負(fù)荷下容易崩潰,完成效率不會很高。
而與ComfyUI不同,另一款神器SD-WebUI,則勝在直觀的操作體驗(yàn)界面。SD-WebUI是為Stable Difussion模型開發(fā)設(shè)計的可視化瀏覽器界面操作平臺,用戶即使不具備編程知識或高級技術(shù),也能通過直觀的前端交互輕松使用模型功能。此外,還能通過裝載不同的插件和模型以滿足定制化需求,從而創(chuàng)造出更為可控的視覺作品。
我經(jīng)常用它來進(jìn)行AI換臉、瞬息全宇宙特效的制作,非常好用??上У氖?,SD-WebUI有一個硬傷:運(yùn)行時,它經(jīng)常會占用系統(tǒng)內(nèi)存和GPU。
具體到AI繪畫軟件,我目前使用頻次最多的Midjourney,也是我入門AI繪畫的第一款繪畫軟件。
雖然Midjourney出圖很快,圖片效果也很好,但不足之處在于Midjourney運(yùn)行在電腦的瀏覽器中,一旦打開多個頁面,瀏覽器就會卡頓甚至崩潰卡死的情況。
不過,AI視頻制作的局限性不僅源于工具,也與電腦設(shè)備有關(guān)。合適的硬件對高質(zhì)量視頻創(chuàng)作很重要,尤其需關(guān)注以下方面:
1.硬件性能:重點(diǎn)是CPU/GPU、內(nèi)存和存儲容量,是工具流暢運(yùn)行的必要條件,傳統(tǒng)設(shè)備在高負(fù)荷下易崩潰。內(nèi)存和存儲常被初學(xué)者忽略,如高質(zhì)量短片編輯渲染需大量內(nèi)存,低內(nèi)存會使處理速度慢,5秒片段可能需等30分鐘;5秒AI高清視頻可達(dá)300M,100個鏡頭的短片可能需30G容量。
2.軟件優(yōu)化:不同軟件和插件可能存在兼容性問題,影響工作流程;長時間渲染或編輯時傳統(tǒng)設(shè)備易發(fā)燙,軟件穩(wěn)定性影響效率;部分視頻編輯軟件在高負(fù)荷下性能優(yōu)化不足,導(dǎo)致卡頓或崩潰。
3.工作流效率:AI短片創(chuàng)作常需并行處理多任務(wù)。
4.跨設(shè)備數(shù)據(jù)傳輸:團(tuán)隊協(xié)作時不同設(shè)備間數(shù)據(jù)傳輸和同步效率低,影響工作進(jìn)度。
因此,經(jīng)過多重考慮,我最后選擇嘗試在惠普Z系列移動工作站HP ZBook Fury 16 G11,使用上述這些工具,再次創(chuàng)作一遍。他發(fā)現(xiàn)對于一款高配的創(chuàng)作設(shè)備而言,對于諸如高內(nèi)存、GPU計算資源的占用、瀏覽器卡頓崩潰的問題的擔(dān)心,完全沒有必要了。“從渲染視頻,到使用WebUI,最后到剪輯,都沒有出現(xiàn)過一次卡死的情況,打開幾十個Midjourney頁面完全不用擔(dān)心?!?/span>
我手里這臺ZBook Fury G11 移動工作站讓我做AI創(chuàng)作的道路上如虎添翼。它搭載第 13 代英特爾 酷睿i9處理器的英特爾博銳平臺,同時適配了5000 Ada GPU,32G的RAM和2T的存儲空間,同時還兼容了市面上主流的視頻編輯和特效制作軟件,而且還具有21000+ISV 軟件的組合認(rèn)證,可以運(yùn)行各類工具,性能拉滿的同時安全感也是滿滿。可以說,這款工作站是對于處理復(fù)雜的AI短片而生的。
溫維斯Wenvis是如何用惠普Z系列移動工作站HP ZBook Fury G11復(fù)現(xiàn)《熊貓奧運(yùn)奇幻之旅》AI短片“神”場景?
敬請期待下一期《用智能 開啟無限可能丨酷炫十足的AI短片,如何煉成(下)》