黃仁勛大家都見得多了，但你見過他女兒講具身智能嗎？

這不，黃仁勛女兒Madison Huang首次公開亮相直播訪談節(jié)目，作為英偉達Omniverse與物理AI高級總監(jiān)，與光輪智能CEO謝晨，以及光輪智能增長負(fù)責(zé)人穆斯塔法一起，對“如何縮小機器人在虛擬與現(xiàn)實之間的差距”展開深刻探討。

光輪智能是一家專注于仿真合成數(shù)據(jù)技術(shù)的公司。和專注于大模型的企業(yè)不同，他們的核心目標(biāo)是幫助AI更好地理解和進入物理世界。目前主要聚焦于具身智能和自動駕駛兩大場景。

在一個半小時的訪談時間內(nèi)，三人提出了一系列重要觀點：

• 合成數(shù)據(jù)對于解決機器人數(shù)據(jù)困境至關(guān)重要 。
• 光輪智能的SimReady資產(chǎn)不僅要視覺準(zhǔn)確，更重要的是物理準(zhǔn)確。
• 英偉達和光輪智能正在共同開發(fā)Isaac Lab Arena——一個用于基準(zhǔn)測試、評估、數(shù)據(jù)收集和大規(guī)模強化學(xué)習(xí)的下一代開源框架和平臺?！?/span>

下面具體來看。

利用合成數(shù)據(jù)和仿真來解決機器人數(shù)據(jù)障礙

訪談一正式開始，主持人Edmar Mendizabal（Omniverse社區(qū)經(jīng)理）就開門見山拋出了一個許多人都很好奇的問題。

英偉達與光輪智能的合作關(guān)系是如何開始的？

Madison解答道，英偉達內(nèi)部很多項目都依賴于光輪智能的支持。例如，Gear Lab正在構(gòu)建通用智能體模型，西雅圖機器人實驗室正在開展大量涉及接觸操作和精密裝配的任務(wù)。

對語言模型的研究人員來說，他們可以利用整個互聯(lián)網(wǎng)的數(shù)據(jù)去訓(xùn)練LLM。但對機器人領(lǐng)域來說，情況卻完全不同，他們必須去手動采集數(shù)據(jù)，這也是為什么會有那么多數(shù)據(jù)采集工廠的出現(xiàn)。

在這種缺乏數(shù)據(jù)的情況下，英偉達認(rèn)為，仿真就是解決方案，因此需要一個合成數(shù)據(jù)工廠，同時也希望合作伙伴認(rèn)同OpenUSD的愿景，將其作為構(gòu)建仿真就緒資產(chǎn)（SimReady Assets）的基礎(chǔ)。

2023年，光輪智能成立了，目標(biāo)就是利用合成數(shù)據(jù)和仿真來突破機器人數(shù)據(jù)瓶頸。

但那時機器人領(lǐng)域還處于非常早期的階段，所以他們先從自動駕駛的合成數(shù)據(jù)問題入手，隨后，合作幾乎擴展到英偉達的各個團隊。

有意思的是，謝晨以前就是英偉達自動駕駛仿真負(fù)責(zé)人，兜兜轉(zhuǎn)轉(zhuǎn)，現(xiàn)在又在為英偉達工作了。

接下來，主持人又問道：“那現(xiàn)在機器人從虛擬到現(xiàn)實（Sim2Real）還存在哪些問題。”

謝晨回答說：

對于自動駕駛來說，Sim2Real是最容易解決的，因為它主要依賴視覺感知。而對于機器人來說，一切都涉及物理接觸，最重要的是操作能力（manipulation）。同時，它還需要靈巧手和觸覺傳感器配合使用，因此問題變得更加復(fù)雜。

核心問題就在于物理準(zhǔn)確性。

以冰箱為例，當(dāng)你拉開門時，會感覺到磁吸密封條產(chǎn)生的力的作用，還有拉抽屜時會感覺到多重摩擦，這些物理特性都非常精確。

而要實現(xiàn)這種物理準(zhǔn)確性，數(shù)據(jù)非常重要，高質(zhì)量的數(shù)據(jù)是進入機器人訓(xùn)練系統(tǒng)、生成正確算法的關(guān)鍵。

因此，謝晨還特別提到了數(shù)字金字塔的理念。

他認(rèn)為，要讓具身智能真正部署到現(xiàn)實世界需要消耗巨量的數(shù)據(jù)，實際上比大型語言模型所需的數(shù)據(jù)還要多。這就形成了一個巨大的數(shù)據(jù)障礙，而現(xiàn)實世界數(shù)據(jù)無法完全解決這個問題。

以自動駕駛為例，現(xiàn)實中有大量駕駛員和汽車在道路上運行，但在工廠、家庭等環(huán)境中，機器人數(shù)量卻非常有限。

因此，合成數(shù)據(jù)將成為解決具身智能數(shù)據(jù)瓶頸的最重要、最主要的數(shù)據(jù)來源。

他們借助了大量物理設(shè)備來收集精確的數(shù)據(jù)，并將其實現(xiàn)到仿真環(huán)境中。同時，他們還設(shè)計了一些方式去對比真實世界中的力和仿真中的力，以確保二者匹配。

除了數(shù)據(jù)外，另一個令謝晨認(rèn)為重要的點就是高效。

他提到，強化學(xué)習(xí)非常重要，但要運行大規(guī)模強化學(xué)習(xí)，就必須確保不同類型的仿真在計算上非常高效。

為了讓大量仿真環(huán)境同時運行，他們用簡單又高效的方法（如基本幾何體和凸包）來檢測碰撞，這樣既能保持足夠準(zhǔn)確，又能節(jié)省大量計算資源。

之后，謝晨還講到了電纜仿真。電纜既像柔性物體，但又在某些情況下又表現(xiàn)得像剛體，所以它的仿真其實非常困難。

為了讓機器人學(xué)習(xí)如何操作電纜，光輪智能與Newton及英偉達合作，為電纜構(gòu)建求解器，并研發(fā)仿真就緒資產(chǎn)來構(gòu)建這種仿真。

眾所周知，人與動物的區(qū)別是人會使用工具，所以如何教機器人正確利用工具完成特定操作變得越來越關(guān)鍵。

例如，讓機器人在仿真中切割黃瓜是非常困難的，這不僅僅是為了數(shù)據(jù)采集，更重要的是要支持強化學(xué)習(xí)。

為此，光輪智能已與英偉達Isaac Sim實驗室展開合作，共同致力于攻克仿真到現(xiàn)實的遷移挑戰(zhàn)。

最后，謝晨提到，光輪智能還在與英偉達共同構(gòu)建Isaac Lab Arena——一個面向下一代基準(zhǔn)測試、評估數(shù)據(jù)收集和大規(guī)模強化學(xué)習(xí)的框架平臺，該項目已在CoRL大會上由英偉達正式發(fā)布。

黃仁勛子女

訪談結(jié)束，咱們再來扒一扒很少露面的黃仁勛的兩個子女。

首先是女兒Madison，中文名黃敏珊，現(xiàn)年34歲。

2020年加入英偉達最初擔(dān)任市場營銷實習(xí)生，實習(xí)四個月后成為了Omniverse部門的活動營銷經(jīng)理，之后一直在該部門任職。

Madison在英偉達一路擔(dān)任了產(chǎn)品營銷經(jīng)理、高級產(chǎn)品營銷經(jīng)理等職務(wù)，直到今年3月成為高級總監(jiān)。

令人驚訝的是，Madison最初干的竟然是烹飪。

2012年，她在美國烹飪學(xué)院取得了烹飪藝術(shù)工商管理學(xué)士學(xué)位，之后到藍帶廚藝學(xué)院學(xué)習(xí)制作甜點以及葡萄酒，并曾在紐約和舊金山擔(dān)任廚師。

2015年，Madison重新回到巴黎，加入奢侈品行業(yè)，在LVMH公司擔(dān)任市場營銷與開發(fā)經(jīng)理。在LV工作期間，Madison還學(xué)習(xí)了倫敦政治經(jīng)濟學(xué)院有關(guān)數(shù)據(jù)科學(xué)的短期課程。

在2019年，Madison和哥哥Spencer一起修讀了MIT的短期AI高管課程。

之后，她于2021年取得了倫敦商學(xué)院的MBA學(xué)位，彼時她已經(jīng)是英偉達的正式員工。

說完老黃的女兒，怎么能不接著提提他兒子呢？

同樣“承襲父業(yè)”的，還有Madison的哥哥Spencer，中文名黃勝斌，今年35歲。

他在英偉達的職位是機器人產(chǎn)品線經(jīng)理，負(fù)責(zé)開發(fā)用于機器人的AI模型與仿真軟件。

Spencer在2022年加入英偉達，起初的職位是Isaac Sim Cloud團隊產(chǎn)品經(jīng)理。

前面介紹Madison時說過，兄妹二人曾一同參加MIT的短期AI高管課程，不過Spencer還額外多讀了關(guān)于人機交互的課程。

之后，Spencer先是到哈佛商學(xué)院讀了短期課程，之后也讀了MBA，不過是在紐約大學(xué)，2022年取得學(xué)位。

有意思的是，更早之前，Spencer的身份是一名酒吧主理人。

2012年，Spencer在美國最大的私立藝術(shù)與媒體學(xué)院——芝加哥哥倫比亞學(xué)院本科畢業(yè)，主修國際市場和文化研究兩個方向。

畢業(yè)后，老黃讓他專門“回老家”學(xué)了一年中文，就是在這段時間，Spencer創(chuàng)立了他的雞尾酒酒吧——R&D Cocktail Lab，而且一干就是八年。

據(jù)悉，這家酒吧屢獲國際大獎，并曾入選亞洲50佳酒吧，不過目前谷歌地圖顯示該酒吧已經(jīng)永久停業(yè)。

好好好，富二代要專心繼承家業(yè)了是吧。