2D圖像的3D重建一直是CV領(lǐng)域的重頭戲。

層出不同的模型被開(kāi)發(fā)出來(lái)試圖攻克這個(gè)難題。

今天，新加坡國(guó)立大學(xué)的學(xué)者共同發(fā)表了一篇論文，開(kāi)發(fā)了一個(gè)全新的框架Anything-3D來(lái)解決這個(gè)老大難問(wèn)題。

論文地址：https://arxiv.org/pdf/2304.10261.pdf

借助Meta「分割一切」模型，Anything-3D直接讓分割后的任意物體活起來(lái)了。

另外，再用上Zero-1-to-3模型，你就可以得到不同角度的柯基。

甚至，還可以進(jìn)行人物3D重建。

可以說(shuō)，這把真突破了。

Anything-3D！

在現(xiàn)實(shí)世界中，各種物體和各類環(huán)境既多樣又復(fù)雜。所以，在不受限制的情況下，從單一RGB圖像中進(jìn)行三維重建面臨諸多困難。

在此，新加坡國(guó)立大學(xué)研究人員結(jié)合了一系列視覺(jué)語(yǔ)言模型和SAM（Segment-Anything）物體分割模型，生成了一個(gè)功能多、可靠性強(qiáng)的系統(tǒng)——Anything-3D。

目的就是在單視角的條件下，完成3D重建的任務(wù)。

他們采用BLIP模型生成紋理描述，用SAM模型提取圖像中的物體，然后利用文本→圖像的擴(kuò)散模型Stable Diffusion將物體放置到Nerf（神經(jīng)輻射場(chǎng)）中。

在后續(xù)的實(shí)驗(yàn)中，Anything-3D展示出了其強(qiáng)大的三維重建的能力。不僅準(zhǔn)確，適用面也非常廣泛。

Anything-3D在解決現(xiàn)有方法的局限這方面，效果明顯。研究人員通過(guò)對(duì)各類數(shù)據(jù)集的測(cè)驗(yàn)和評(píng)估，展示了這種新框架的優(yōu)點(diǎn)。

上圖中，我們可以看到，「柯基吐舌頭千里奔襲圖」、「銀翅女神像委身豪車圖」，以及「田野棕牛頭戴藍(lán)繩圖」。

這是一個(gè)初步展示，Anything-3D框架能夠熟練地把在任意的環(huán)境中拍攝的單視角圖像中恢復(fù)成的3D的形態(tài)，并生成紋理。

盡管相機(jī)視角和物體屬性有很大的變化，但這種新框架始終能提供準(zhǔn)確性較高的結(jié)果。

要知道，從2D圖像中重建3D物體是計(jì)算機(jī)視覺(jué)領(lǐng)域課題的核心，對(duì)機(jī)器人、自動(dòng)駕駛、增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)，以及三維打印等領(lǐng)域都有巨大影響。

雖說(shuō)這幾年來(lái)取得了一些不錯(cuò)的進(jìn)展，但在非結(jié)構(gòu)化環(huán)境中進(jìn)行單圖像物體重建的任務(wù)仍然是一個(gè)具有很大吸引力且亟待解決的問(wèn)題。

目前，研究人員的任務(wù)就是從一張單一的二維圖像中生成一個(gè)或多個(gè)物體的三維表示，表示方法包括點(diǎn)云、網(wǎng)格或體積表示。

然而，這個(gè)問(wèn)題從根本上來(lái)說(shuō)并不成立。

由于二維投影所產(chǎn)生的內(nèi)在模糊性，不可能明確地確定一個(gè)物體的三維結(jié)構(gòu)。

再加上形狀、大小、紋理和外觀的巨大差異，重建自然環(huán)境下的物體非常復(fù)雜。此外，現(xiàn)實(shí)世界圖像中的物體經(jīng)常會(huì)被遮擋，這就會(huì)阻礙被遮擋部分的精準(zhǔn)重建。

同時(shí)，光照和陰影等變量也會(huì)極大地影響物體的外觀，而角度和距離的不同也會(huì)導(dǎo)致二維投影的明顯變化。

困難說(shuō)夠了，Anything-3D可以出場(chǎng)了。

論文中，研究人員詳細(xì)介紹了這個(gè)開(kāi)創(chuàng)性的系統(tǒng)框架，將視覺(jué)語(yǔ)言模型和物體分割模型融合在一起，輕輕松松就能把2D物體搞成3D的。

這樣，一個(gè)功能強(qiáng)大、自適應(yīng)能力強(qiáng)的系統(tǒng)就成了。單視圖重建？Easy.

研究人員表示，將這兩種模型結(jié)合，就可以檢索并確定出給定圖像的三維紋理和幾何形狀。

Anything-3D利用BLIP模型（Bootstrapping語(yǔ)言-圖像模型）預(yù)訓(xùn)練對(duì)圖像的文本描述，然后再用SAM模型識(shí)別物體的分布區(qū)域。

接下來(lái)，利用分割出來(lái)的物體和文本描述來(lái)執(zhí)行3D重建任務(wù)。

換句話說(shuō)，該論文利用預(yù)先訓(xùn)練好的2D文本→圖像擴(kuò)散模型來(lái)進(jìn)行圖像的3D合成。此外，研究人員用分?jǐn)?shù)蒸餾來(lái)訓(xùn)練一個(gè)專門用于圖像的Nerf.

上圖就是生成3D圖像的全過(guò)程。左上角是2D原圖，先經(jīng)過(guò)SAM，分割出柯基，再經(jīng)過(guò)BLIP，生成文本描述，然后再用分?jǐn)?shù)蒸餾搞個(gè)Nerf出來(lái)。

通過(guò)對(duì)不同數(shù)據(jù)集的嚴(yán)格實(shí)驗(yàn)，研究人員展示了這種方法的有效性和自適應(yīng)性，同時(shí)，在準(zhǔn)確性、穩(wěn)健性和概括能力方面都超過(guò)了現(xiàn)有的方法。

研究人員還對(duì)自然環(huán)境中3D物體重建中已有的挑戰(zhàn)進(jìn)行了全面深入地分析，探討了新框架如何解決此類問(wèn)題。

最終，通過(guò)將基礎(chǔ)模型中的零距離視覺(jué)和語(yǔ)言理解能力相融合，新框架更能從真實(shí)世界的各類圖像中重建物體，生成精確、復(fù)雜、適用面廣的3D表示。

可以說(shuō)，Anything-3D是3D物體重建領(lǐng)域的一個(gè)重大突破。

下面是更多的實(shí)例：

                炫酷黑內(nèi)飾小白保時(shí)捷，亮麗橙色挖機(jī)吊車，綠帽小黃橡皮鴨

            時(shí)代眼淚褪色大炮、小豬豬可愛(ài)迷你存錢罐、朱砂紅四腿高腳凳

這個(gè)新框架可以交互式地識(shí)別單視角圖像中的區(qū)域，并用優(yōu)化的文本嵌入來(lái)表示2D物體。最終，使用一個(gè)3D感知的分?jǐn)?shù)蒸餾模型有效地生成高質(zhì)量的3D物體。

總之，Anything-3D展示了從單視角圖像中重建自然3D物體的潛力。

研究者稱，新框架3D重建的質(zhì)量還可以更完美，研究人員正在不斷努力提高生成的質(zhì)量。

此外，研究人員表示，目前沒(méi)有提供3D數(shù)據(jù)集的定量評(píng)估，如新的視圖合成和誤差重建，但在未來(lái)的工作迭代中會(huì)納入這些內(nèi)容。

同時(shí)，研究人員的最終目標(biāo)是擴(kuò)大這個(gè)框架，以適應(yīng)更多的實(shí)際情況，包括稀疏視圖下的對(duì)象恢復(fù)。

作者介紹

Wang目前是新加坡國(guó)立大學(xué)（NUS）ECE系的終身制助理教授。

在加入新加坡國(guó)立大學(xué)之前，他曾是Stevens理工學(xué)院CS系的一名助理教授。在加入Stevens之前，我曾在伊利諾伊大學(xué)厄巴納-香檳分校Beckman研究所的Thomas Huang教授的圖像形成小組擔(dān)任博士后。

Wang在洛桑聯(lián)邦理工學(xué)院（EPFL）計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室獲得博士學(xué)位，由Pascal Fua教授指導(dǎo)，并在2010年獲得香港理工大學(xué)計(jì)算機(jī)系的一等榮譽(yù)學(xué)士學(xué)位。