今天，英偉達(dá)再造了16世紀(jì)的米開朗基羅「Neuralangelo」。

快看，Neuralangelo「復(fù)刻」出3D版的著名雕像大衛(wèi)，大理石的細(xì)節(jié)、紋理栩栩如生。

要知道，收藏在佛羅倫薩美術(shù)學(xué)院的大衛(wèi)雕像，僅身高3.96米，加上基座都有5.5米。

它甚至可以重建一棟建筑物的內(nèi)外部結(jié)構(gòu)，屋頂瓦片、玻璃窗格、還有各種細(xì)節(jié)都一一再現(xiàn)。

這一切，都是「神經(jīng)朗基羅」（Neuralangelo）的魔法。

來(lái)自英偉達(dá)和約翰霍普金斯大學(xué)的研究人員提出的新型AI模型，利用神經(jīng)網(wǎng)絡(luò)重建3D物體。

最新研究已被CVPR 2023錄用。

論文地址：https://research.nvidia.com/labs/dir/neuralangelo/paper.pdf

特別是，Neuralangelo可以從手機(jī)視頻，無(wú)人機(jī)拍攝的視頻重建「高保真的大規(guī)模場(chǎng)景」。

那豈不是未來(lái)，就能輕易地把一座城市、甚至外太空的視頻，變成一個(gè)沉浸式的世界，再裝進(jìn)游戲去體驗(yàn)。

網(wǎng)友驚呼，英偉達(dá)黑了「矩陣」世界！

甚至，還有人稱，蘋果XR技術(shù)，再加上Neuralangelo，就能創(chuàng)造「new worlds」了。

效果演示

英偉達(dá)的總部

破舊的卡車

Ignatius的雕像

重建3D場(chǎng)景

以前的AI模型在重建3D場(chǎng)景時(shí)，往往難以準(zhǔn)確捕捉到重復(fù)的紋理模式、均勻的顏色以及強(qiáng)烈的色彩變化。

為此，團(tuán)隊(duì)提出了一個(gè)將多分辨率3D哈希網(wǎng)格的表征能力和神經(jīng)表面渲染相結(jié)合的全新方法——Neuralangelo。

去年，英偉達(dá)研究人員曾創(chuàng)造了一種新工具3D MoMa，將照片變成3D物體易如反掌。

NeuralAngelo建立在這一概念的基礎(chǔ)上，允許導(dǎo)入更大、更詳細(xì)的空間和對(duì)象。而它特別之處在于，可以準(zhǔn)確捕捉重復(fù)的紋理模式、同質(zhì)的顏色和強(qiáng)烈的顏色變化。

通過(guò)采用「即時(shí)神經(jīng)圖形基元」，也就是NVIDIA Instant NeRF技術(shù)的核心，Neuralangelo由此可以捕捉更細(xì)微的細(xì)節(jié)。

團(tuán)隊(duì)的方法依賴于2個(gè)關(guān)鍵要素：

（1）用于計(jì)算高階導(dǎo)數(shù)作為平滑操作的數(shù)值梯度；

（2）在控制不同細(xì)節(jié)級(jí)別的哈希網(wǎng)格上進(jìn)行由粗到細(xì)的優(yōu)化。

即使沒有輔助深度，Neuralangelo也能有效地從多視圖圖像中恢復(fù)密集3D表面結(jié)構(gòu)，其保真度顯著超過(guò)了以往的方法，使得能夠從RGB視頻捕捉中重建詳細(xì)的大規(guī)模場(chǎng)景。

構(gòu)建NeuralAngelo

NeuralAngelo模型是在多分辨率哈希編碼，以及基于SDF的體積渲染上進(jìn)行構(gòu)建。

第一步：使用數(shù)值梯度來(lái)計(jì)算高階導(dǎo)數(shù)

通過(guò)使用與哈希網(wǎng)格空間分辨率匹配的步長(zhǎng)的數(shù)值梯度，可以優(yōu)化超越局部單元。與解析梯度相比，數(shù)值梯度對(duì)SDF起到了平滑操作的作用。

第二步：逐步細(xì)化細(xì)節(jié)層次

通過(guò)逐步減小數(shù)值梯度的步長(zhǎng)，并啟用更高分辨率的哈希網(wǎng)格，優(yōu)化的效果可以更好地恢復(fù)大面積的光滑表面和精細(xì)的幾何細(xì)節(jié)。這種學(xué)習(xí)過(guò)程能夠逐步提高細(xì)節(jié)的層次感。

第三步：優(yōu)化

NeuralAngelo使用三個(gè)優(yōu)化目標(biāo)：

RGB合成損失

：輸入圖像和合成圖像之間的RGB重建損失。

Eikonal損失

：對(duì)底層SDF進(jìn)行正則化處理，使其表面法線為單位正則。

曲率損失

：對(duì)底層SDF進(jìn)行正則化處理，使平均曲率不會(huì)任意變大。

「神經(jīng)朗基羅」構(gòu)建好了，那么它又是如何運(yùn)作的呢？

可以說(shuō)，Neuralangelo還原了米開朗基羅刻畫大衛(wèi)的整個(gè)過(guò)程：

· 首先，模型會(huì)從2D視頻中選擇幾幀從不同角度拍攝的物體/場(chǎng)景的畫面，并由此「看到」其深度、大小和形狀。這個(gè)過(guò)程就像雕塑藝術(shù)家一開始會(huì)從多個(gè)角度構(gòu)圖那樣。

· 然后，模型會(huì)創(chuàng)建一個(gè)粗糙的3D場(chǎng)景表征，就像藝術(shù)家開始鑿刻主體的形狀。

· 最后，模型會(huì)優(yōu)化渲染以提高細(xì)節(jié)的清晰度，就像藝術(shù)家通過(guò)精心地修飾來(lái)模仿織物或人形的紋理。

在DPU基準(zhǔn)定性比較中， Neuralangelo產(chǎn)生更準(zhǔn)確和更高保真度的表面。

如下是Neuralangelo在DTU數(shù)據(jù)集中的定量結(jié)果，模型獲得了很好的重建精度和圖像合成質(zhì)量。

在不同的從粗糙到精細(xì)優(yōu)化方案定性比較中，當(dāng)使用分析梯度AG和AG+P，物體粗糙表面還有偽影。

當(dāng)使用數(shù)字梯度（NG）時(shí)，能夠重建一個(gè)比較好的粗糙表面，細(xì)節(jié)也被平滑。

而英偉達(dá)的解決方案（NG+P）能夠生成光滑的表面，以及精細(xì)的細(xì)節(jié)。

最終的結(jié)果是一個(gè)可以在虛擬現(xiàn)實(shí)應(yīng)用、數(shù)字孿生或機(jī)器人開發(fā)中使用的3D物體或大規(guī)模場(chǎng)景。

英偉達(dá)表示，Neuralangelo將復(fù)雜材料的紋理，包括屋頂瓦片的粗糙度、大理石的光滑度，從2D視頻轉(zhuǎn)化為3D物體的能力，顯著超越了以往的方法。

英偉達(dá)研究部高級(jí)主任、論文作者M(jìn)ing-Yu Liu對(duì)這項(xiàng)研究的意義給出了暢想：

「Neuralangelo提供的3D重建能力將給創(chuàng)作者帶來(lái)巨大好處，幫助他們?cè)跀?shù)字世界中重建真實(shí)世界。這個(gè)工具最終將使開發(fā)人員能夠?qū)⒕?xì)的物體——不論是小型雕像，還是大型建筑——導(dǎo)入視頻游戲或工業(yè)數(shù)字孿生的虛擬環(huán)境中。

創(chuàng)意的專業(yè)人士可以將這些3D對(duì)象導(dǎo)入到設(shè)計(jì)應(yīng)用中，進(jìn)一步編輯，以供藝術(shù)、電子游戲開發(fā)、機(jī)器人技術(shù)和工業(yè)數(shù)字孿生等領(lǐng)域使用。

作者介紹

Zhaoshuo Li（李趙碩）

李趙碩目前還是約翰霍普金斯大學(xué)的計(jì)算機(jī)科學(xué)博士生，導(dǎo)師是Mathias Unberath教授、Russell H Taylor教授。

他對(duì)計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)、深度學(xué)習(xí)有濃厚的興趣，研究重點(diǎn)是從圖像中重現(xiàn)運(yùn)動(dòng)和結(jié)構(gòu)。

另外，他還有非常多的愛好，是攝像師、心理健康促進(jìn)者、寵物狗的愛好者、還是沖浪者、跳傘者、滑雪板運(yùn)動(dòng)員…

Chen-Hsuan Lin

Chen-Hsuan Lin是NVIDIA Research的一名研究科學(xué)家，從事計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)和人工智能方面的工作。

他在卡內(nèi)基梅隆大學(xué)獲得了機(jī)器人學(xué)博士學(xué)位，并獲得英偉達(dá)研究生獎(jiǎng)學(xué)金。此前，他還在Facebook AI Research和Adobe Research實(shí)習(xí)。

Lin對(duì)解決3D重建、視圖合成和3D內(nèi)容生產(chǎn)的問(wèn)題非常感興趣。其研究旨在通過(guò)從互聯(lián)網(wǎng)規(guī)模的視覺數(shù)據(jù)中學(xué)習(xí)，賦予人工智能系統(tǒng)人類水平的3D感知和想象能力，向真正的3D空間智能邁進(jìn)。

網(wǎng)友熱評(píng)

英偉達(dá)科學(xué)家Jim Fan表示，

為了讓你了解3D建模的人工智能發(fā)展速度：該領(lǐng)域在3年內(nèi)從左邊（原始的NeRF重建的網(wǎng)格）到右邊（英偉達(dá)的Neuralangelo）。

將現(xiàn)實(shí)傳送到高保真模擬中不再是一個(gè)夢(mèng)想。

新的Neuralangelo模型簡(jiǎn)直是一個(gè)野獸，英偉達(dá)決定淘汰我們，R.I.P.攝影測(cè)量軟件。

簡(jiǎn)直就像數(shù)字世界的「米開朗基羅」。

還有網(wǎng)友表示想知道，用它的成本是多少？

我們可以在工廠使用無(wú)人機(jī)，然后將視頻發(fā)送到這個(gè)模型，做一個(gè)數(shù)字孿生，并使用它來(lái)優(yōu)化我們的流程。

對(duì)于這項(xiàng)技術(shù)的意義，網(wǎng)友認(rèn)為這對(duì)游戲行業(yè)來(lái)說(shuō)影響將是巨大的。