以下觀點(diǎn)可能有點(diǎn)反直覺：

為了讓AI更好地應(yīng)對(duì)真實(shí)世界應(yīng)用場(chǎng)景，訓(xùn)練數(shù)據(jù)集最好別用真實(shí)世界數(shù)據(jù)。

是的，合成數(shù)據(jù)才是解鎖AI真正潛力的關(guān)鍵所在。

顧名思義，合成數(shù)據(jù)不是從真實(shí)世界搜集所得，而是由人工生成的。

但合成數(shù)據(jù)的使用素來伴隨爭(zhēng)議，業(yè)界一直對(duì)其能否精確對(duì)應(yīng)現(xiàn)實(shí)世界、能否讓受訓(xùn)AI應(yīng)對(duì)真實(shí)狀況存有疑慮。

為此，負(fù)責(zé)模擬技術(shù)與Omniverse引擎建造的英偉達(dá)副總裁Rev Lebaredian在專訪中給出了解答。

物理模擬

2021年11月，老黃在GTC大會(huì)上推出了Omniverse Replicator，一個(gè)強(qiáng)大的合成數(shù)據(jù)生成引擎，可以產(chǎn)生物理模擬的合成數(shù)據(jù)，并用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

說到「模擬」，我們最常接觸的其實(shí)就是游戲了，而在這其中加入一些現(xiàn)實(shí)中的物理學(xué)定律可以讓體驗(yàn)更加真實(shí)。

比如，當(dāng)你用炸藥包去爆破一堵墻時(shí)，隨著一聲巨響，這堵墻也跟著轟然倒塌。但如果這堵墻紋絲不動(dòng)，就會(huì)不禁讓人懷疑，是不是又在偷工減料了。

當(dāng)然了，在大多數(shù)情況下，游戲并不會(huì)去試圖做到真正100%的還原。畢竟，模擬真實(shí)的世界太消耗算力了。

另外，游戲終究是幻想世界的模擬，目的就是為了好玩，所以遵循現(xiàn)實(shí)世界的物理準(zhǔn)確性不一定是一件好事。

雖然此前有不少研究探討過在游戲中訓(xùn)練AI，不過效果肯定還是大打折扣的。

而Omniverse的目標(biāo)就是還原一個(gè)完全遵照現(xiàn)實(shí)物理學(xué)定律的模擬世界。

這里說的模擬，是用剛體物理學(xué)、軟體物理學(xué)、流體動(dòng)力學(xué)以及其他相關(guān)的東西模擬原子如何相互作用。

例如，光是如何與物體的表面相互作用，最終呈現(xiàn)出我們平時(shí)所看到的外觀的。

而當(dāng)我們能足夠近似地模擬真實(shí)世界的時(shí)候，也就獲得了相應(yīng)的「超能力」。

預(yù)測(cè)未來

比如說，把我們所在的這個(gè)房間，1:1在虛擬世界中復(fù)刻出來，那么我就可以用上帝視角選擇任何想去的地方，然后「瞬移」過去。

再比如，通過在火星上安裝傳感器攝取真實(shí)世界的信息，并在虛擬世界中重建之后，那么實(shí)際上我就可以在任何時(shí)間體驗(yàn)生活在火星上的感受。

而這，還不是最厲害的。

在足夠精準(zhǔn)的模擬下，只需設(shè)置一定的初始條件，就能具備預(yù)測(cè)未來的能力。

還是用這個(gè)房間舉例，我正舉著我的手機(jī)。此時(shí)，就可以模擬我放手的那一刻會(huì)發(fā)生什么，而不需要我真的松手。

顯然，手機(jī)會(huì)隨著重力掉落。

在模擬世界中，我就可以預(yù)測(cè)這部手機(jī)會(huì)以怎樣的姿態(tài)掉下，落地之后屏幕會(huì)不會(huì)碎，等等。

也就是說，你可以無限次地測(cè)試在不同決策和條件下產(chǎn)生的結(jié)果，甚至探索所有可能出現(xiàn)的「平行世界」。

如果能據(jù)此做出相應(yīng)的優(yōu)化，也就能找到最好的未來。

還在用真實(shí)數(shù)據(jù)訓(xùn)練AI？

在這個(gè)AI業(yè)勃興的新時(shí)代，一個(gè)研究生拿臺(tái)筆記本電腦就能寫出先進(jìn)軟件的場(chǎng)景不可能出現(xiàn)了。

可以說，任何先進(jìn)算法的開發(fā)，都需要在海量數(shù)據(jù)的巨型系統(tǒng)之下訓(xùn)練。

所以，當(dāng)下也有著「數(shù)據(jù)是新時(shí)代石油」的說法。

如此看來，方便搜集數(shù)據(jù)的大型科技企業(yè)似乎更占優(yōu)勢(shì)。

不過實(shí)情是，現(xiàn)在企業(yè)搜集的大數(shù)據(jù)，對(duì)未來將創(chuàng)造的尖端AI并沒有真正用處。

在2017年國(guó)際計(jì)算機(jī)圖形學(xué)大會(huì)（SIGGRAPH 2017）上，我就注意到了這一點(diǎn)。

當(dāng)時(shí)我們開發(fā)了可以玩多米諾骨牌的機(jī)器人，還開發(fā)了好幾個(gè)用來訓(xùn)練機(jī)器人的AI模型。其中最基礎(chǔ)的一個(gè)是能偵測(cè)攤在牌桌上的多米諾牌的計(jì)算機(jī)視覺模型，能夠分辨骨牌的指向與牌面花色、點(diǎn)數(shù)。

用谷歌總能找到足夠的訓(xùn)練數(shù)據(jù)吧？

確實(shí)，用谷歌圖像搜索是可以找到一大堆多米諾骨牌圖像，但你會(huì)發(fā)現(xiàn)：

1. 這些圖像都沒標(biāo)注，所以要費(fèi)大量人工去逐個(gè)標(biāo)注每張圖中的骨牌。
2. 就算標(biāo)注完了，你又會(huì)發(fā)現(xiàn)這些數(shù)據(jù)缺乏必要的多樣性。

應(yīng)用于真實(shí)場(chǎng)景的圖形識(shí)別算法若要足夠穩(wěn)健，就必須在不同的光照條件、攝像頭/傳感器狀態(tài)下都能成功運(yùn)行。而識(shí)別多米諾骨牌的算法還要對(duì)所有材質(zhì)的骨牌都能成功區(qū)分。

所以說，就算如此簡(jiǎn)單的訓(xùn)練要求，必要的足夠數(shù)據(jù)都不存在。

真要在現(xiàn)實(shí)中搜集好必要數(shù)據(jù)，那就先得買幾百副不同的多米諾牌、在不同打光下用不同的攝像頭去拍。

因此在2017年，我們直接用一個(gè)游戲引擎編碼出隨機(jī)的多米諾牌生成器，所有訓(xùn)練數(shù)據(jù)都用它來生成，一晚上就訓(xùn)練出能穩(wěn)健工作的圖像分辨模型了。

該模型在大會(huì)現(xiàn)場(chǎng)處理用不同攝像頭拍攝圖像后的工作狀況也很滿意。

這只是個(gè)簡(jiǎn)單例子，對(duì)于自動(dòng)駕駛汽車或全自動(dòng)機(jī)器等遠(yuǎn)為更復(fù)雜的場(chǎng)景，所需訓(xùn)練數(shù)據(jù)的體量、準(zhǔn)確度、多樣性，全從真實(shí)世界搜集是不可能滿足的。

除非生成物理上足夠精確的AI訓(xùn)練數(shù)據(jù)，否則沒有繼續(xù)進(jìn)步的空間。

能否覆蓋訓(xùn)練所需的危險(xiǎn)狀況？

在Omniverse里，日夜可以隨時(shí)倒換，并且可以模擬包括冰雪環(huán)境、急速過彎等情景。

行人與動(dòng)物也可以安置在真實(shí)世界中絕不會(huì)安排的危險(xiǎn)場(chǎng)景內(nèi)。

沒人會(huì)愿意真正將人或動(dòng)物置于高危中，但自動(dòng)駕駛汽車生產(chǎn)者肯定需要了解產(chǎn)品在各種危險(xiǎn)邊緣環(huán)境里將如何表現(xiàn)。

所以在虛擬世界中訓(xùn)練AI，各得其便。

合成數(shù)據(jù)是最好的訓(xùn)練策略？

當(dāng)下大部分AI還是通過「監(jiān)督學(xué)習(xí)」方式創(chuàng)造的。例如讓神經(jīng)網(wǎng)絡(luò)AI分別貓狗，先得用標(biāo)注好的圖片教AI何為貓何為狗，然后才能應(yīng)用在未標(biāo)注的新圖片上。

而用于訓(xùn)練AI的合成數(shù)據(jù)，由于內(nèi)置了超級(jí)精確的數(shù)據(jù)標(biāo)注，是可以作為「基準(zhǔn)真相數(shù)據(jù)」使用的。

在自動(dòng)駕駛汽車場(chǎng)景中，用戶需要讓智能汽車通過真實(shí)世界的傳感器了解到路面各種車輛和行人相對(duì)于自身的3D位置。但其實(shí)傳感器給AI的信息是除了像素啥都沒有的2D圖像。

如果要訓(xùn)練AI推斷出物體3D信息，首先得在2D圖像的物體周圍畫框，告知AI「這是基于某傳感器的某鏡頭得到的某物相對(duì)距離」。

不過若在Omniverse合成數(shù)據(jù)的話，就可以省略此步驟直接得到有完全物理精度的物體3D位置信息了，如此可以避免人工引入數(shù)據(jù)產(chǎn)生的錯(cuò)誤標(biāo)注。用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)也會(huì)得到更智能和更精確的效果

會(huì)不會(huì)出現(xiàn)過擬合的問題？

合成數(shù)據(jù)其實(shí)是解決過擬合難題的有效途徑之一，因?yàn)樯啥鄻有詳?shù)據(jù)集遠(yuǎn)為更方便。

如果要訓(xùn)練一個(gè)識(shí)別面部表情的神經(jīng)網(wǎng)絡(luò)AI，但訓(xùn)練數(shù)據(jù)集全來自白人男性，那這個(gè)AI就在白人男性數(shù)據(jù)上過擬合了，識(shí)別多種族裔面部表情時(shí)會(huì)失敗。

合成數(shù)據(jù)不會(huì)惡化這種狀況，只會(huì)更容易地在數(shù)據(jù)中創(chuàng)造多樣性。

如果要生成人像時(shí)有個(gè)能改變?nèi)四槄?shù)的合成數(shù)據(jù)生成器，那么膚色、瞳色、發(fā)型等各種信息就能有豐富的多元區(qū)別，用來訓(xùn)練AI就避免了上述過擬合狀況。

一個(gè)沒有偏見的烏托邦？

AI誕生的環(huán)境就是合成的。它們?cè)陔娔X中出世，然后只靠人類輸入的任何數(shù)據(jù)受訓(xùn)。所以建構(gòu)訓(xùn)練AI的完美虛擬世界是可行的。

在如此世界中完成訓(xùn)練的AI，會(huì)比靠真實(shí)數(shù)據(jù)訓(xùn)練的AI更智能，在真實(shí)世界中的運(yùn)行狀態(tài)也會(huì)更好

不過，合成數(shù)據(jù)的難點(diǎn)在于生成優(yōu)質(zhì)數(shù)據(jù)不容易。需要有個(gè)如Omniverse一般能物理上精確對(duì)應(yīng)真實(shí)世界的模擬器。

如果合成數(shù)據(jù)生成器的生成圖像質(zhì)量有如卡通畫，那顯然難以勝任。

沒人愿意把用卡通畫訓(xùn)練出的AI搭載在服務(wù)于真實(shí)醫(yī)院的機(jī)器人上，這種機(jī)器人照顧起病弱老幼的結(jié)果可太嚇人了。

模擬器因此也需要盡可能地極度物理精確，但做到這點(diǎn)真的很不容易。