一個APP就能拍短片!人物、字幕、BGM……AI Agent統(tǒng)統(tǒng)自己搞定
看過了這么多款Agent,這一次,AI不僅承包了視頻生成,還自帶演員進組了。
只需一段簡單的提示詞,一條充滿戲劇張力的微短劇就誕生了。
不信,看看我們新做的《東北虎妞回唐朝當公主》:

如何?是不是很有那味兒了?
這就是剪映旗下的內(nèi)容創(chuàng)作Agent小云雀最新上線的一個功能:智能生成數(shù)字人——
簡單來說就是文生數(shù)字人,通過提示詞直接生成你想要的“演員”形象,并保持角色前后的一致性,一個視頻還能同時出現(xiàn)多個角色。
有了演員后,只需你提供大致劇情思路,分鏡、臺詞、字幕、口音、轉場、貼圖、背景音樂……統(tǒng)統(tǒng)都不用你管,AI Agent自己搞定。
這下子,那些天馬行空的腦洞可算是有了用武之地。
有想法就能一鍵做故事短片!
這里和大家簡單介紹下我們的測評過程。
進入小云雀APP之后,選擇“智能生視頻”,即可進入Prompt輸入界面;在這里你還可以設置視頻的一些細節(jié)內(nèi)容。
包括視頻的時長、人物的語言、口音、畫面包裝等等:

然后就可以和小云雀一起創(chuàng)作屬于你們的故事了。
比如生成一段歷史人物故事講解的視頻。
Prompt是這樣的:

然后不需要我們做任何的操作了。
小云雀會先根據(jù)提示詞做一番理解分析,根據(jù)用戶的創(chuàng)作想法進行角色設計,完善腳本要求、視頻風格、目標受眾,歸納視頻主題和語言,特別值得一提的是,過程中小云雀還會主動學習抖音熱門視頻,總結爆款內(nèi)容的節(jié)奏特點,將用戶創(chuàng)意用詳細的分鏡腳本表現(xiàn)出來。
短短幾分鐘,一個展現(xiàn)拿破侖輝煌一生的故事,就這么水靈靈地誕生了:

可以看到,不論是人物一致性,亦或是視頻的各種細節(jié),完成度可以說是能直接拿來用的程度了,非常適合起號階段的自媒體創(chuàng)作者,能夠極大提升生產(chǎn)力。尤其是對于有想法,但苦于找不到素材、不會剪視頻的入門新手,非常友好。
除了這種正經(jīng)的知識講解,我們還試了下能不能和小云雀一起搞個活,比如:
讓樂山大佛帶貨蜜雪冰城。

雪王估計看完這個小短片,也得在底下留言評論:“妙啊~”
現(xiàn)在非?;鸨挠浾邔嵉靥皆L古代現(xiàn)場系列,小云雀也能很好呈現(xiàn):

嗯,現(xiàn)在真的就是有想法,人人都能打造爆款視頻了。
從圖到視頻的一款全能Agent
除了數(shù)字人,小云雀的另一大爆款玩法為「參考圖生視頻」。
有別于大多數(shù)圖生視頻的初階玩法——只是讓圖片動起來,這個功能再躍level,直接能生成完整故事了。
比如隨機上傳一張哈利波特斯內(nèi)普的照片,小云雀直接續(xù)寫了一段他退休后“跨界”搖滾樂的故事:

注意看,里面的旁白講解、配樂、絲滑轉場等,也通通都是小云雀自己搞定的!
這種“一張圖講故事”的能力完美解決了以往圖片混剪效果差的“老大難”。畢竟如果只是幾張圖加點轉場混剪,作品大概率比較枯燥、流量不佳。
而小云雀在主體一致性、風格多樣化等方面都能提供很好的支持。
來看樂高版成語小課堂:
做一個樂高風格的塞翁失馬故事,不出現(xiàn)與主題無關的其他元素,保持生成樂高風格一致性。隱藏數(shù)字人,隱藏貼紙,但需要旁白文案。(指令中最好強調“注意保持角色一致性”)
短短幾分鐘后,一段娓娓道來的成語故事科普新鮮出爐,并且不同場景下的人物主體始終保持一致,沒有出現(xiàn)那種換個場景就突然換人的bug。

一致性問題一旦被攻克,小云雀的用武之地就遠不止于內(nèi)容創(chuàng)作了——放在產(chǎn)品拍攝、模特展示等營銷類場景,更是妥妥的降本增效神器。
還是一張參考圖+一句提示詞:
參考該圖片作為主體,輸出小紅書帶貨視頻,換不同場景體現(xiàn)穿搭的百搭性。
一條關于大衣的帶貨視頻就有了,不僅人物+大衣全程保持一致,還一舉展示了多個使用場景:

或許不遠的未來,無論是新款包包、護膚品,還是上新服飾,只要提供參考圖,都能用小云雀一鍵生成高一致性、高質感且具有帶貨能力的視頻內(nèi)容。
感覺電商商家們會很喜歡這個功能,畢竟拍攝視頻素材的成本被狠狠打下來了——以前每上一個新產(chǎn)品就得實拍一波,拍模特、搭布景,光人力物力就勸退一大片。
而有了好的AI工具,這部分拍攝成本就能全部省下來。
順帶一提,小云雀在圖片生成方面同樣不容小覷。
依托字節(jié)seedream3.0生圖模型,它能交付生產(chǎn)力級別的商業(yè)海報、排版設計、視頻封面等圖像作品,中文渲染水平處于業(yè)界第一梯隊。
我們淺淺用它設計了民族風海報、涂鴉式打工人表情包,交付成品相對不錯,過去最容易“翻車”的圖文排版、文字錯亂問題,也幾乎挑不出毛病了。

注意到了嗎,小云雀的適配場景可不僅局限于抓馬短劇,自媒體創(chuàng)作、營銷類內(nèi)容制作等領域,它都可以發(fā)揮一技之長。
一番實測下來,感覺小云雀和傳統(tǒng)的生圖生視頻模型確實有很大不同。
其中最關鍵的就是創(chuàng)作門檻被大大降低了。就拿AI圖生視頻來說,以前只能生成片段分鏡,然后需要用戶手動剪輯拼接,但現(xiàn)在從輸入到輸出,中間過程幾乎全被AI承包了。
可以說,能夠兼顧視頻和圖片的小云雀,已經(jīng)從“能生成”邁向了“能交付”的新階段——無論是追求效率的內(nèi)容團隊,還是想要低成本搞定素材的商家用戶,現(xiàn)在基本都能在小云雀里找到可落地的解決方案。
那么接下來的問題就是——
怎么做到的?
整個體驗下來,我們總結了個公式:小云雀=視頻Agent+圖片Agent。
和大家已經(jīng)熟悉的各種生圖生視頻軟件相比,它的定位不僅是做一個執(zhí)行工具,而更像是一個創(chuàng)意智能伙伴。所以不管是圖還是視頻,只要用戶有需要,小云雀就能支持。
啥叫創(chuàng)意智能伙伴?就是既能聽懂你的需求,還能一口氣給出多種創(chuàng)意方案的那種創(chuàng)作搭子。
小云雀將自己定位為一款內(nèi)容創(chuàng)作Agent,依托于字節(jié)實力強大的模型能力,力爭“一句話打造一個爆款”。
此番實測下來,我們發(fā)現(xiàn),小云雀有這么幾個特點:
- Agent化:不是一個大模型一口氣完成所有任務,而是多智能體協(xié)同創(chuàng)作;
 - 自然語言驅動:說說話就能完成創(chuàng)作,創(chuàng)意表達的門檻大大降低;
 - 懂思考:系統(tǒng)內(nèi)部不是死結構,而是基于當前任務“自主判斷”,創(chuàng)作自由度高;
 - 一致性強:無論是圖片還是視頻,都能保持主體或場景的一致性,“割裂感”大幅減少。
 
所以,無論是海報還是短劇,亦或者我們想嘗試的科普短視頻,它都能有不錯的交付結果,一鍵解決無人出鏡、缺少實拍素材等創(chuàng)作卡點問題。
事實上,在AI技術飛速發(fā)展的當下,用戶尤其是各類創(chuàng)作者,對視頻、圖片的需求早已經(jīng)從能生成變成了能交付。靈活高效、交付質量穩(wěn)定的小云雀或將成為內(nèi)容創(chuàng)作領域的一匹黑馬。
目前小云雀APP已上線安卓、iOS應用商城,截至發(fā)稿時間仍處于“限時免費”狀態(tài),感興趣可以趕緊薅一波了(doge)。















 
 
 












 
 
 
 