SIGGRAPH大會上，老黃帶著自家元宇宙產(chǎn)品再次大放光彩。

黃仁勛介紹，英偉達在神經(jīng)圖形學(xué)、元宇宙、虛擬人（Avatars）推出的產(chǎn)品和研究，將成為引發(fā)圖形學(xué)的三大革命力量。

英偉達Omniverse ACE

8月9日，英偉達正式發(fā)布了一套基于云服務(wù)的AI模型——NVIDIA Omniverse Avatar Cloud Engine（ACE）。

英偉達副總裁Rev Lebaredian表示，ACE結(jié)合了相當(dāng)多復(fù)雜的人工智能技術(shù)，開發(fā)者不僅可以更容易地構(gòu)建和定制栩栩如生的虛擬助手，而且這些數(shù)字人甚至還有可能通過圖靈測試。

ACE建立在英偉達的統(tǒng)一計算框架之上，該框架提供了對豐富的軟件工具和API的訪問，從而利用高度逼真且可以進行互動的化身所需的各種技能。

這些工具包括用于開發(fā)語音AI應(yīng)用的Riva、用于計算機視覺和智能視頻分析的Metropolis、用于高性能推薦系統(tǒng)的Merli、用于自然語言理解的大型語言模型的NeMo Megatron，以及用于AI動畫的Omniverse。

從骨架和肌肉開始構(gòu)建化身

Omniverse重大升級

自O(shè)mniverse發(fā)布以來，已經(jīng)有近20萬次下載量。今天，英偉達發(fā)布了Omniverse的最新版本。

黃仁勛將Omniverse稱為「一個USD平臺」，「一個用于構(gòu)建元宇宙應(yīng)用程序的工具包」，以及「一個運行虛擬世界的計算機引擎」。

最新的版本包含了幾個升級的核心技術(shù)，以及連接到更多到流行工具。

其中的升級就包括，物理加速引擎PhysX現(xiàn)在支持軟體和粒子布模擬，大幅提升虛擬世界物理準(zhǔn)確性。

開源的材質(zhì)定義語言（MDL）能夠模擬物理精確材料，并支持圖形API標(biāo)準(zhǔn)，如OpenGL或Vulkan。

Omniverse還將包括英偉達研究開發(fā)的結(jié)合RTX圖形和AI的神經(jīng)圖形功能，比如：

1. Animal Modelers 讓藝術(shù)家可以迭代動物的形式與點云，然后自動生成一個3D 網(wǎng)格
2. GauGAN下一個進化版本：GauGAN360，可以生8K，360度全景圖
3. Instant NeRF：從2D圖像創(chuàng)建3D對象和場景

最新版本的Audio2Face，不僅可以完全根據(jù)聲音創(chuàng)建面部動畫，而且還能隨著時間的推移引導(dǎo)化身的情緒。

也就是說，創(chuàng)作者可以輕松地融合關(guān)鍵情緒，如喜悅、驚奇、憤怒和悲傷。

在未來版本的Audio2Face中，開發(fā)者可以只用一張照片創(chuàng)建化身，自動應(yīng)用紋理并生成可用于動畫的3D網(wǎng)格。

利用高保真的肌肉運動模擬技術(shù)，AI可以通過觀看視頻學(xué)習(xí)ーー甚至是對虛擬梳理作出預(yù)期反應(yīng)的栩栩如生的頭發(fā)。

英偉達Vid2Vid Cameo可以利用人工智能從任何標(biāo)準(zhǔn)的2D視頻中捕捉人物的面部動作和表情。

該模型基于生成性對抗網(wǎng)絡(luò)（GAN），映射面部運動以捕捉實時運動，并將該運動傳遞給虛擬角色。

這一神經(jīng)網(wǎng)絡(luò)進行了18萬段視頻的訓(xùn)練，學(xué)會了識別20個關(guān)鍵點來模擬面部運動ーー對眼睛、嘴巴、鼻子、眉毛等部位進行編碼。

如下， 它可以將愛倫 · 坡《十四行詩》的表演轉(zhuǎn)移到藝術(shù)家Gary Kelley的人物肖像上。

另外，Omniverse擴展機器學(xué)習(xí)框架Modulus，允許開發(fā)人員使用AI來加速現(xiàn)實世界物理模擬高10萬倍，讓元宇宙看起來和感覺上都像物理世界。

全新神經(jīng)圖形SDK來了

要知道，元宇宙的一個重要支柱是神經(jīng)圖形學(xué)。

神經(jīng)圖形將人工智能和圖形交織在一起，為未來適合從數(shù)據(jù)中學(xué)習(xí)的繪圖管道鋪平了道路。神經(jīng)圖形將重新定義用戶如何創(chuàng)建、模擬和體驗虛擬世界。

人工智能將幫助藝術(shù)家們創(chuàng)造出創(chuàng)造元宇宙所需的大量3D內(nèi)容。例如，他們可以使用神經(jīng)圖形來快速捕捉物理世界中的對象和行為。

在此，英偉達在今年推出的從2D圖像創(chuàng)建3D圖像的工具Instant NeRF便可以做到這點。同時，這篇論文還獲得了2022 SIGGRAPH的最佳論文獎之一。

就比如，設(shè)計師和研究人員應(yīng)用神經(jīng)圖形和其他技術(shù)便創(chuàng)建了一個高嶺土小精靈（Kaolin Wisp），這是一套用幾行代碼就可以創(chuàng)建神經(jīng)場的工具。

除了Kaolin Wisp，英偉達還宣布了NeuralVDB，一個對行業(yè)標(biāo)準(zhǔn)OpenVDB的突破性升級，能夠加速實時渲染和模擬。

NeuralVDB使用神經(jīng)模型和GPU優(yōu)化可以顯著降低內(nèi)存占有率，這樣用戶就可以實時地與極其龐大和復(fù)雜的數(shù)據(jù)集進行交互，并有效地共享它們。在SIGGRAPH特別演講中，黃仁勛還提到了，

「人工智能和計算機圖形學(xué)技術(shù)的結(jié)合將推動元宇宙，即互聯(lián)網(wǎng)的下一次演變?！?/span>

它將成為連接虛擬世界和數(shù)字孿生世界的家園，一個既可以工作又可以玩耍的地方。而且，它將充滿活力，將成為最受歡迎的機器人形式之一：數(shù)字化人化身。

未來，我們將會有數(shù)十億的虛擬化身，我們與虛擬化身的互動就像與另一個人交談一樣自由。

經(jīng)過Omniverse的設(shè)計、訓(xùn)練和操作，他們將在數(shù)字工廠工作，玩在線游戲，并為電子零售商提供客戶服務(wù)等等。

數(shù)字人類和虛擬化身需要自然語言處理、計算機視覺、復(fù)雜的面部和身體動畫等等技術(shù)的加持。

為了讓其能夠與人類一樣自然地移動和說話，可以說這套復(fù)雜的技術(shù)必須與毫秒同步。

英偉達的目標(biāo)就是簡化和加速Omniverse阿凡達云引擎（ACE），這是一項艱巨的工作。