近年來，大模型在人工智能領域掀起了一場革命，各種文本、圖像、多模態(tài)大模型層出不窮，已經(jīng)深深地改變了人們的工作和生活方式。另一方面，在國際半導體大會上，英偉達創(chuàng)始人黃仁勛表示，人工智能下一個浪潮將是 “具身智能”，即能理解、推理、并與物理世界互動的智能系統(tǒng)。近年來，國內外商業(yè)巨頭也紛紛推出自己的具身機器人發(fā)展計劃。大模型和具身智能，無疑是當前人工智能領域最閃耀的雙子星。在光電感知技術、機器人技術、大模型技術的快速發(fā)展下，大模型驅動的具身智能，不僅有望極大提升機器人的智能水平，更將推動人工智能技術邁向物理世界，從而產(chǎn)生更加廣泛的應用。

在此背景下，中國電信 CTO、首席科學家李學龍教授牽頭組建中國電信人工智能研究院 (TeleAI), 并將大模型和具身智能作為重要的研究方向。近期，由 TeleAI 研究科學家白辰甲、清華大學助理教授許華哲、TeleAI 院長李學龍教授共同撰寫的中文綜述《大模型驅動的具身智能：發(fā)展與挑戰(zhàn)》一文在《中國科學：信息科學》發(fā)表，綜述通過對 300 篇相關文獻的分類和解讀，深度剖析大模型驅動的具身智能的基本概念、技術框架、現(xiàn)有挑戰(zhàn)和未來展望，梳理這一熱點問題背后的研究脈絡和技術體系，進一步推動具身智能領域的發(fā)展，助力國家人工智能發(fā)展戰(zhàn)略。

• 論文地址：https://www.sciengine.com/SSI/doi/10.1360/SSI-2024-0076

具身智能是人工智能、機器人學、認知科學的交叉領域，主要研究如何使機器人具備類似人類的感知、規(guī)劃、決策和行為能力。具身智能強調感知 - 運動回路，使用物理實體來感知環(huán)境，根據(jù)任務目標進行規(guī)劃和決策，使用運動操作能力來完成任務。大模型具有對物理世界的豐富知識，能夠為智能體提供自然語言交互、環(huán)境感知和任務規(guī)劃的能力，同時能夠和具身智能的傳統(tǒng)框架相結合，提升智能體策略學習的泛化性。圖 1 展示了該領域的典型進展。

圖 1 領域典型進展

綜述首先介紹相關技術背景，包括具身智能的基本概念，大模型相關技術，以及強化學習、模仿學習、模型預測控制等策略學習框架。隨后，從學習范式的角度將大模型驅動的具身智能算法概括了五大類并依次進行了詳細闡述，分別是大模型驅動的環(huán)境感知、大模型驅動的任務規(guī)劃、大模型驅動的基礎策略、大模型驅動的獎勵函數(shù)、大模型驅動的數(shù)據(jù)生成。圖 2 展示了綜述的整體框架。

圖 2 綜述整體框架

大模型驅動的具身環(huán)境感知

在具身智能任務中，智能光電設備可以為具身智能體提供周圍環(huán)境的視覺信號，隨后大模型感知技術為具身決策提供基礎。1）相比于傳統(tǒng)的特征提取方法，視覺大模型具有較好的泛化性，許多研究通過引入視覺預訓練模型來提高策略的視覺泛化能力和魯棒性。2）機器人 Affordance 是一種對操作任務更具有解釋性的通用特性，通過預訓練 Affordance 模型能夠為具身操作提供更詳細的指導，例如物體的交互位置 (如門把手，茶壺手柄等)，物體的交互軌跡 (如向內推、向上提等)，如圖 3 所示。3）復雜任務需要獲取操作物體的 3D 場景特征，許多方法設計從點云和多視角圖像中提取目標位置、方向、遮擋、物體之間的堆疊關系等。該領域典型方法如表 1 所示。

圖 3 典型的 Affordance 提取方式

表 1 大模型驅動的具身感知算法總結

大模型驅動的具身任務規(guī)劃

在大規(guī)模語言數(shù)據(jù)中訓練得到的大模型對現(xiàn)實世界有著豐富的先驗知識，可以用來作為具身智能任務的規(guī)劃器。然而，大模型的知識與具身環(huán)境存在不匹配的現(xiàn)象，可能會導致大模型的規(guī)劃無法執(zhí)行。1）現(xiàn)有研究通過構建閉環(huán)反饋的方法來解決開環(huán)規(guī)劃中存在的問題，包括大模型自我反饋、外部環(huán)境反饋、強化學習反饋等，對大模型等規(guī)劃進行糾錯，如圖 4 所示。2）通過規(guī)劃搜索算法能夠提升大模型在長周期任務規(guī)劃中的最優(yōu)性，這一領域包含蒙特卡洛樹搜索、世界模型、規(guī)劃領域定義語言搜索等。該領域典型方法如表 2 所示。

圖 4 大模型規(guī)劃等閉環(huán)反饋方法

表 2 大模型驅動的具身規(guī)劃算法總結

大模型驅動的具身基礎策略

大模型任務規(guī)劃依賴于能夠執(zhí)行規(guī)劃對底層技能庫。為了減輕底層技能庫定義的依賴，提升決策效率，1）許多研究考慮將大模型參數(shù)作為具身基礎策略，并利用具身數(shù)據(jù)對大模型參數(shù)進行微調，使大模型能夠更加適應于具身決策場景。基礎策略可以輸出更具體的任務規(guī)劃，也可以直接輸出機器人需要執(zhí)行的動作，如圖 5 所示。2）擴散模型由于對長序列數(shù)據(jù)建模中的強大能力，許多研究將其用于建模專家軌跡的多樣化數(shù)據(jù)分布，從而用于長序列任務的軌跡規(guī)劃或動作規(guī)劃，或作為具身策略結合強化學習算法進行策略優(yōu)化。

圖 5 大模型驅動的具身策略微調

表 3 大模型具身基礎策略算法總結

大模型驅動的具身獎勵函數(shù)

在基于強化學習和模型規(guī)劃控制的具身算法中，最優(yōu)策略通過優(yōu)化獎勵函數(shù)產(chǎn)生。傳統(tǒng)方法中獎勵函數(shù)由機器人領域專家設計，具有一定的設計難度。1）大模型對機器人和任務具有豐富的先驗知識，許多研究提出使用大語言模型 / 視覺語言模型進行獎勵圖或獎勵函數(shù)的生成，隨后通過策略優(yōu)化和環(huán)境反饋進行優(yōu)化。2）其他研究學習通過從狀態(tài)視頻預測、描述 - 軌跡匹配程度、軌跡相似性等方面學習參數(shù)化的獎勵模型。3）受大模型偏好學習等啟發(fā)，許多研究通過人類反饋對軌跡偏好進行打分，使用人類反饋強化學習（RLHF）算法進行獎勵模型等訓練。典型框架如圖 6 和表 4 所示。

圖 6 大模型驅動的獎勵函數(shù)框架

表 4 大模型驅動的具身獎勵函數(shù)算法總結

大模型驅動的具身數(shù)據(jù)生成

大模型進行具身數(shù)據(jù)生成有望解決機器人數(shù)據(jù)稀缺的難題。1）世界模型（World Model）揭示了物理世界的運行規(guī)律，包括未來視覺觀測如何改變，狀態(tài)如何根據(jù)環(huán)境動力學進行轉移，以及智能體最終達到的狀態(tài)等。構建世界模型能夠快速產(chǎn)生大量軌跡來豐富強化學習或模仿學習的數(shù)據(jù)，基本框架包含隱空間世界模型、Transformer 世界模型、擴散世界模型等。2）大模型能夠借助仿真環(huán)境進行自動化的環(huán)境生成和數(shù)據(jù)采集，主要流程包括大模型自動任務提出、自動環(huán)境構造、自動任務解決、自動數(shù)據(jù)采集、自動技能學習等，快速產(chǎn)生針對特定任務的仿真數(shù)據(jù)，進行機器人技能和策略的學習，如圖 7 所示。該領域典型方法如表 5 所示。

圖 7 大模型驅動的仿真環(huán)境和數(shù)據(jù)生成框架

表 5 大模型驅動的具身數(shù)據(jù)生成算法總結

大模型驅動的具身智能已具備了研究和技術體系的雛形，有望使 “數(shù)字” 大模型在 “實體” 機器人中生根發(fā)芽。綜述隨后分析了現(xiàn)有研究之間存在的聯(lián)系，并總結了目前大模型驅動的具身智能領域面臨的挑戰(zhàn)，包括大模型在特定具身場景中的適應問題、大模型策略和人類偏好的對齊問題、具身策略的跨域泛化問題、大模型驅動多智能體協(xié)作問題、具身智能在真實環(huán)境中所面臨的挑戰(zhàn)和大模型具身策略的決策實時性問題等。

雖然目前關于采取何種路線能夠達到通用具身智能仍很難定論，但大模型的成功切實的推動了具身智能的發(fā)展。綜述對該領域的未來研究進行了展望，包括統(tǒng)一具身數(shù)據(jù)平臺、通用具身數(shù)據(jù)表征、魯棒具身控制策略、可控具身策略生成、人機合作具身智能、異構智能體協(xié)同、輕量化具身策略和人形機器人等方面。