無人車團(tuán)隊跨維進(jìn)軍好萊塢!推出電影級視覺AI特效,“新時代皮克斯”
好萊塢級視覺AI橫空出世!一個demo已令網(wǎng)友瘋狂~
來,我們直接看視頻:
以上來自Odyssey,能夠打造好萊塢級山脈、平原、植被、海洋、河流等故事鏡頭。
其最大亮點(diǎn)在于,實(shí)現(xiàn)了對視覺敘事核心層的完全控制,使用戶能夠完全控制場景的每個生成元素和方面。
這突破了現(xiàn)有視頻AI最大的障礙——可控性。
看完效果,有網(wǎng)友振臂高呼:
新時代皮克斯!
其他人更是第一時間爭當(dāng)起B(yǎng)eta測試人員。
為什么Odyssey值得關(guān)注?接下來一起扒一扒。
好萊塢級視覺AI
Odyssey靈感來自80、90年代開創(chuàng)性的計算機(jī)圖形研究以及皮克斯的創(chuàng)立故事。
這里涉及兩個核心:一是技術(shù),二是故事。
而Odyssey要做的事兒,是用人工智能制作電影、電視節(jié)目和視頻游戲。
在實(shí)現(xiàn)這一目標(biāo)的過程中,人們當(dāng)前遇到的最大障礙是——AI可控性。
對此,Odyssey提出了新的解決方案:
更強(qiáng)大的模型。
他們正在訓(xùn)練4個生成模型,以實(shí)現(xiàn)對視覺敘事核心層的完全控制。
這4個單獨(dú)模型將分別生成,比如高質(zhì)量幾何圖形:
生成真實(shí)感材質(zhì):
生成逼真光影(控制時間、四季變化):
生成可控運(yùn)動:
總之,單個模型可以實(shí)現(xiàn)精確配置場景細(xì)節(jié),而結(jié)合起來將生成完整的視頻或場景。
此外,Odyssey允許用戶不斷迭代,其生成工作流程將與專業(yè)級版本控制相結(jié)合。
其創(chuàng)始人提到:
Odyssey已經(jīng)被設(shè)計成可以輕松整合進(jìn)好萊塢以及其他地區(qū)正在使用的現(xiàn)有工作流程或系統(tǒng)中
Odyssey正在圍繞這些為高級用戶量身定制的模型構(gòu)建工作流程,并與好萊塢、游戲等領(lǐng)域使用的現(xiàn)有制作工作流程進(jìn)行集成。
其創(chuàng)建的所有內(nèi)容都可以在標(biāo)準(zhǔn)化的3D文件格式中進(jìn)行編輯和導(dǎo)出,例如使用USD格式。
不過有一說一,雖然Odyssey看起來效果還不錯,但眼尖的網(wǎng)友還是發(fā)現(xiàn)了一些小bug。
比如00:30處手部細(xì)節(jié):
最后,官方還放出了一段工作原理的渲染視頻:
關(guān)于團(tuán)隊
比較有意思的是,Odyssey的團(tuán)隊與自動駕駛汽車關(guān)系頗深。
據(jù)創(chuàng)始人透露,其大部分成員花費(fèi)了數(shù)年時間來構(gòu)建AV(自動駕駛汽車)技術(shù)。
比如兩位核心創(chuàng)始人。
CEO Oliver Cameron, 60多家DeepTech初創(chuàng)公司的天使投資人,職業(yè)早期一直從事自動駕駛汽車領(lǐng)域。
CTO Jeff Hawke,負(fù)責(zé)Odyssey可定向視覺AI,研究領(lǐng)域涉及機(jī)器學(xué)習(xí)、計算機(jī)視覺、機(jī)器人等。
他曾在牛津機(jī)器人研究所讀博期間,開發(fā)了一種用于自動駕駛和移動機(jī)器人的專家混合視覺系統(tǒng)。
此外,他曾在Wayve(自動駕駛汽車制造商)工作期間創(chuàng)建了行業(yè)首個在公共道路上使用深度學(xué)習(xí)和計算機(jī)視覺學(xué)習(xí)駕駛的自動駕駛汽車。
用創(chuàng)始人Jeff Hawke的一句話來描述:
自動駕駛汽車被教導(dǎo)如何駕馭世界,Odyssey被教導(dǎo)如何生成世界。
至于與AV的關(guān)聯(lián)性,他歸結(jié)為了3點(diǎn):
- AV必須推動視覺AI中的SOTA發(fā)布
- AV擴(kuò)展性能與真實(shí)數(shù)據(jù)
- AV需要可擴(kuò)展、物理精確的模擬系統(tǒng)
鑒于團(tuán)隊在自動駕駛汽車方面的豐富經(jīng)驗(yàn),Odyssey自然轉(zhuǎn)向了3D,并生成了多層3D世界。
且通過多個生成模型,Odyssey能夠?qū)崿F(xiàn)細(xì)節(jié)微調(diào)控制。
另外,為了打造好萊塢級視覺AI,Odyssey招募了一支由AI研究人員和好萊塢藝術(shù)家組成的團(tuán)隊。
研究人員來自Cruise、Wayve、Waymo、Tesla、Meta等,藝術(shù)家是《沙丘》、《哥斯拉》、《復(fù)仇者聯(lián)盟》等作品的幕后制作者。
那么你覺得Odyssey的效果如何呢?