出品 | 51CTO技術(shù)棧（微信號：blog51cto）
人形機器人時代即將到來，因為背后有英偉達。
在備受期待的NVIDIA GTC大會上，伴隨著令人意外的“表演方式”出場，NVIDIA首席執(zhí)行官黃仁勛宣布了GR00T項目，這是一個為類人機器人設(shè)計的通用基礎(chǔ)模型。
圖片
由GR00T驅(qū)動的機器人被設(shè)計成能夠理解自然語言，并通過觀察動作模仿人類行為。這使它們能夠快速學(xué)習(xí)協(xié)調(diào)性、靈巧性以及其他在現(xiàn)實世界中有效導(dǎo)航、適應(yīng)和互動所需的技能。
大會的亮點是黃仁勛與九個和他差不多大小的類人機器人一同亮相。在結(jié)束他的主旨演講時，他由Orange和迪士尼研究中的著名Green BDX機器人陪伴，這些機器人不斷打斷并干擾他的演講流程。有了NVIDIA的加持，迪士尼現(xiàn)在開始看起來更像是一家機器人公司。
黃教主表示：“下一代機器人技術(shù)很可能會是類人機器人?！彼J為，由于這些機器人的模仿訓(xùn)練數(shù)據(jù)更加豐富，這使得它們變得更容易構(gòu)建。他解釋說，這是因為它們是根據(jù)人類構(gòu)造來設(shè)計的?！昂芸赡埽祟悪C器人在我們的世界中會更加有用，因為我們創(chuàng)造了一個我們可以互操作并良好工作的世界，”他說。
有趣的是，GR00T可能是第一個專門為類人機器人設(shè)計的基石模型。它接受多模態(tài)指令和過去的互動作為輸入，并產(chǎn)生機器人執(zhí)行的下一個動作。強調(diào)其多模態(tài)性，黃表示GR00T通過人類示例學(xué)習(xí)，這些示例可能是“視頻或虛擬現(xiàn)實形式”。
圖片
NVIDIA已經(jīng)開發(fā)了Isaac Lab，這是一個機器人學(xué)習(xí)應(yīng)用程序，用于在Omniverse Isaac Sim上訓(xùn)練GR00T，以及Osmo，一個全新的計算編排服務(wù)，用于協(xié)調(diào)DGX系統(tǒng)上的訓(xùn)練工作流程和OVX系統(tǒng)上的模擬。有了這些工具，NVIDIA可以在模擬中訓(xùn)練GR00T，并將零次學(xué)習(xí)轉(zhuǎn)移到現(xiàn)實世界。
“今天是我們在物理世界中解決具身AGI（人工通用智能）的登月計劃的開始，”NVIDIA的具身AI負責(zé)人Jim Fan在X上寫道。
1.合作正在展開
NVIDIA正在與頂尖的類人機器人公司合作，如1X Technologies、Agility Robotics、Apptronik、Boston Dynamics、Figure AI、Fourier Intelligence、Sanctuary AI、Unitree Robotics、XPENG Robotics等。最近，它還與Microsoft、OpenAI等一起投資了Figure AI。
幾天前，機器人初創(chuàng)公司Figure分享了其第一個類人機器人與人類進行實時對話的視頻演示。這個機器人由OpenAI模型驅(qū)動，可能是帶有視覺的GPT-5，展示了高水平的視覺和語言智能。
在最近的一次與Lex Fridman的播客中，OpenAI首席執(zhí)行官Sam Altman宣布OpenAI重返機器人領(lǐng)域：“我認為，如果我們有了AGI，而在物理世界中完成事情的唯一方式是讓人類去做，這有點令人沮喪?！?/p>
2.釋放Thor的力量
可能是受到漫威的啟發(fā)，并與GR00T相呼應(yīng)，NVIDIA開發(fā)了一個新的計算平臺，名為Jetson Thor，專為類人機器人設(shè)計。它能夠高效地處理復(fù)雜任務(wù)，并與人類和機器安全無縫地互動。
該平臺的SoC采用了基于NVIDIA Blackwell架構(gòu)的新一代GPU，配備了Transformer引擎，提供了800 teraflops的8位浮點AI性能。這使得平臺能夠高效運行像GR00T這樣的多模態(tài)生成性AI模型。
不僅如此，NVIDIA還宣布了一系列預(yù)訓(xùn)練的機器人模型、庫和參考硬件，稱為Isaac Manipulator和Isaac Perceptor。后者將幫助類人機器人自主導(dǎo)航物理環(huán)境，無需預(yù)編程的兩點間路徑。例如，在倉庫場景中，如果一個箱子掉落，類人機器人可以自己找到路徑，而不用等待人類清理道路。
“有了Isaac Perceptor，我們擁有了令人難以置信的最先進視覺里程計、3D重建和深度感知，”黃仁勛說。另一方面，Isaac Manipulator為機械臂提供了先進的靈巧性和靈活的AI特性。
NVIDIA正在民主化機器人領(lǐng)域，就像它用GPU為LLMs所做的那樣?！?024年是具身AI之年”的概念與Figure創(chuàng)始人Brett Adcock產(chǎn)生共鳴，他認為，能夠完成復(fù)雜任務(wù)的先進AI很可能與可靠的類人機器人硬件并行發(fā)展，甚至略有領(lǐng)先。
