斯坦福美女博士創(chuàng)業(yè)項目爆火!AI視頻生成出道即頂流
斯坦福華人博士休學(xué)搞創(chuàng)業(yè),直接火爆AI圈!
新產(chǎn)品瞄準(zhǔn)AI視頻生成,剛出道就成行業(yè)頂流,引來一眾大佬圍觀評價。
OpenAI大牛Andrej Karpathy轉(zhuǎn)發(fā),并激情附上長文一段:
每個人都能成為多模態(tài)夢境的導(dǎo)演,就像《盜夢空間》里的筑夢師一樣。
就連Stability AI創(chuàng)始人也來點贊:
這個新產(chǎn)品名為Pika 1.0,背后公司Pika于今年4月成立。
要知道,這一行的產(chǎn)品已有不少,如成立5年的Runway等公司。
在AI視頻生成“亂花迷人眼”的當(dāng)下,這個新產(chǎn)品究竟是如何做到迅速破圈,吸引大量關(guān)注度的?
從放出的Demo效果來看,Pika 1.0不僅能根據(jù)文字圖片,流暢地生成一段視頻,動靜轉(zhuǎn)換就在一瞬間:
而且可編輯性還特別強(qiáng),指定視頻中的任意元素,一句話就能實現(xiàn)快速“換裝”:
這樣的效果,也使得公司成立僅半年,產(chǎn)品用戶已經(jīng)超過52萬人。
更是新斬獲5500萬美元融資,其中個人投資者不乏各種大牛,如Quara創(chuàng)始人Adam D’Angelo、Perplexity的CEO Aravind Srinivas、GitHub前CEO Nat Friedman等等。
所以,Pika究竟有沒有看起來這么好用?我們也立刻上手體驗了一番。
AI視頻新頂流長啥樣?
此次火爆出圈的Pika 1.0,是Pika發(fā)布的第一個正式版本產(chǎn)品。
經(jīng)過四個多月Discord社區(qū)的測試,Pika認(rèn)為是時候推出本次重大升級了。
相比之前Pika還只能用文字或圖像生成視頻,如今的Pika 1.0,功能要更加豐富——
不僅能根據(jù)文字、圖片或視頻風(fēng)格生成視頻,還能對視頻局部進(jìn)行編輯。
可編輯性有多強(qiáng)?
不僅畫面大小任意擴(kuò)展,從5:2、1:1畫布,到9:16以及16:9的超大屏,4種選擇無縫轉(zhuǎn)換:
像什么3D、動漫、電影等各式各樣的風(fēng)格濾鏡,那就更不用說了。
最重要的是,1.0正式版推出了用戶更友好的網(wǎng)頁版,不用在discord中一遍遍艾特機(jī)器人,就能直接上手玩。
(不過,現(xiàn)在它還需要排隊,需要點耐心。)
當(dāng)然,也可以移步Discord社區(qū)先上手體驗一番。
盡管它還未隨網(wǎng)頁版更新到Pika 1.0,但我們也實測了一下文字、圖片生成視頻的效果,還不錯。
加入社區(qū)之后,直奔“Creations”,從下面的10個生成區(qū)隨便選擇一個進(jìn)入即可開耍。
在輸入框中輸出“/”,選擇最簡單的“/create”命令:
在此,我們輸入“a robot dancing in the rain, sunset, 4k, -gs 8”提示詞交給機(jī)器人。
大概也就半分鐘的時候,視頻就出來了,速度相當(dāng)快:
效果嘛,雨沒有表現(xiàn)得很明顯,但機(jī)器人的肢體動態(tài)性真的很強(qiáng)。
我們再來一個稍微長一些的提示詞:
a teenager walks through the city streets,takes pictures of places(一個青少年穿過城市的街道,拍攝照片)
仍然超級快,結(jié)果就出來了:
Wow,這次真的有很滿意,畫面符合腦海中的預(yù)測,甚至比我們想象得還要好。
除了純文字,咱還可以上傳一張參考圖像進(jìn)行創(chuàng)作,使用“/animate”命令。
當(dāng)當(dāng),一張靜態(tài)表情包就動起來了:
總的來看,Pika給出的視頻時長都是3s(所以使用太長的提示詞也沒用,后面會直接忽略掉),以及它還不能保證每次結(jié)果都很滿意,但總體來說多試幾次還是有不錯的結(jié)果出現(xiàn)的。
在自測之外,我們也來看看網(wǎng)友的作品,其中不乏非常驚艷的效果。
比如有人創(chuàng)作的這只小怪獸,憨態(tài)可掬,讓人忍不住想摸一把:
還有這段兩位小女孩的演奏畫面,看完我好像真的聽到了優(yōu)美的嗓音從中傳出:
最絕的還是這個白鴿圍繞短發(fā)美女翻飛的場面:
也太有氛圍感了吧~
看罷如上效果,我們也來盤盤這家公司究竟是什么來頭。
兩位斯坦福華人博士創(chuàng)立
Pika的創(chuàng)始人一共有兩位,郭文景(Demi Guo)和Chenlin Meng,都是斯坦福博士。
據(jù)The Information消息,郭文景于今年四月創(chuàng)立了Pika,隨后Chenlin Meng加入成為聯(lián)創(chuàng),兩人合作開發(fā)了這個文本生成視頻模型。
從二人學(xué)術(shù)經(jīng)歷來看,她們分別專注于NLP和計算機(jī)視覺兩個方向的AI研究,也都有生成式AI的學(xué)術(shù)經(jīng)歷。
聯(lián)合創(chuàng)始人兼CEO郭文景,斯坦福大學(xué)AI實驗室(NLP&圖形學(xué)方向)博士。
她在美國出生,杭州長大,初中就讀的是杭州外國語學(xué)校,從小就接觸編程,奪得過IOI銀牌,從本科開始正式留學(xué),被哈佛大學(xué)提前錄取。
此次創(chuàng)業(yè),她的領(lǐng)英主頁顯示休學(xué)中(On Leave),應(yīng)該是打算先忙創(chuàng)業(yè)的事情。
在斯坦佛大學(xué)讀博之前,郭文景在哈佛大學(xué)取得了計算機(jī)碩士和數(shù)學(xué)本科學(xué)位。
在本科期間,她曾經(jīng)gap過一年,專程在Facebook AI Research全職做了一段時間的研究工程師。
在職期間,她參與了用Transformer分析2.5億個蛋白質(zhì)序列的研究,目前這篇論文引用已有1200+,其中就包括后來大火的AlphaFold2:
除此之外,她也先后在Epic Games、谷歌和微軟等多家公司實習(xí)過。
這次創(chuàng)業(yè),郭文景的導(dǎo)師Christopher D Manning也給予了不少支持。
Christopher D Manning以NLP方向的研究聞名,如今在谷歌學(xué)術(shù)上的引用量已有23w+,而他也將成為Pika的學(xué)術(shù)顧問之一。
聯(lián)合創(chuàng)始人兼CTO Chenlin Meng,同樣是斯坦福計算機(jī)博士。
在此之前,她于2020年在斯坦福大學(xué)獲得了數(shù)學(xué)本科學(xué)位。
相比郭文景在NLP領(lǐng)域的研究經(jīng)驗,她在計算機(jī)視覺、3D視覺方面的學(xué)術(shù)經(jīng)歷更加豐富,參與的去噪擴(kuò)散隱式模型(DDIM)論文,如今單篇引用已有1700+:
除此之外,她還有多篇生成式AI相關(guān)研究發(fā)表在ICLR、NeurIPS、CVPR、ICML等頂會上,且多篇入選Oral。
當(dāng)然,隨著Pika 1.0爆火,Pika也開啟了進(jìn)一步的招人計劃,從技術(shù)、產(chǎn)品到運營都有需求:
一個月內(nèi)5家產(chǎn)品亮相
值得一提的是,不止是正在快速擴(kuò)張的Pika。
就AI視頻這個行業(yè)而言,這段時間來整體都迎來了一段“爆發(fā)期”。
據(jù)不完全統(tǒng)計,從11月至今,短短一個月的時間就已經(jīng)有5家AI視頻生成產(chǎn)品發(fā)布或迎來大更新:
首先就是11月3日,Runway的Gen-2發(fā)布里程碑式更新,支持4K超逼真的清晰度作品。
然后時間來到11月16日,Meta發(fā)布Emu Video,這個工具在用戶評估中號稱打敗Gen-2、Pika等對手,效果be like:
從Emu開始,大家都好像打起比賽來了,那叫一個爭先恐后。
才過兩天,11月18日,字節(jié)就半路殺出發(fā)布PixelDance,作品的動態(tài)性可謂史無前者,畫面中的元素都動作幅度都相當(dāng)大,且不變形,讓人眼前一亮。
又僅過3天之后,11月21日,AIGC領(lǐng)域的佼佼者Stable AI也終于推出了自家的視頻工具:Stable Video Diffusion。
效果嘛,也很能打。
同一天,Gen-2又沒閑著,“橫插一腳”上線“涂哪動哪”的運動筆刷新功能,直接標(biāo)志出生成模型可控性上的一個重要里程碑。
最后,就是今天了,11月29日,來自創(chuàng)業(yè)公司的Pika直接帶著網(wǎng)頁版發(fā)布正式版1.0,叫板“老大哥”Runway。
在此之外,我們還從未見過哪個階段有這么多各有特色、來自不同背景的產(chǎn)品爭相亮相。
這也讓人不得不感嘆一句:
AI視頻這是來到爆發(fā)前夜了?