在這項研究中，斯坦福視覺與學(xué)習(xí)實驗室（SVL）Silvio / 李飛飛組的研究者推出了一個全新的模擬環(huán)境 iGibson，從而可以為大型真實場景中的交互任務(wù)開發(fā)機(jī)器人解決方案。iGibson 包含 15 個充分可交互、視覺上逼真、依據(jù)真實房屋構(gòu)建的場景，并且可以支持 CubiCasa5K 和 3D-Front 的 8000 余個場景。真正實現(xiàn)了「可交互性」。

近來，面向 AI 和機(jī)器人的模擬環(huán)境得到了大力發(fā)展。僅僅幾年前，機(jī)器人模擬環(huán)境還算是相對稀有的產(chǎn)物，但如今，各大學(xué)術(shù)會議（NeurIPS、CoRL、甚至 ICRA 和 IROS）幾乎所有與 AI 機(jī)器人相關(guān)的論文都會用到模擬環(huán)境。那么，模擬環(huán)境是如何幫助到 AI 發(fā)展的呢？可以歸結(jié)為以下幾點原因：

首先，在機(jī)器人領(lǐng)域，機(jī)器學(xué)習(xí)正逐漸發(fā)揮越來越大的作用，從而導(dǎo)致了數(shù)據(jù)需求的迅猛增長 [2] [3] [4] [5]?，F(xiàn)實世界中，機(jī)器人只能“real-time” 即時地產(chǎn)生數(shù)據(jù)，但海量的數(shù)據(jù)需求導(dǎo)致了從現(xiàn)實世界收集數(shù)據(jù)變得不現(xiàn)實。此外，機(jī)器學(xué)習(xí)需要收集的數(shù)據(jù)具備多樣性，涉及到機(jī)器人的隨機(jī)探索（random exploration)。如果在現(xiàn)實世界中讓機(jī)器人隨機(jī)活動，對機(jī)器人本身和周遭事物都是有挺大風(fēng)險的。

其次，在模擬環(huán)境變得越來越 robust、逼真（視覺效果和物理引擎）、便捷的同時，算力的增長也導(dǎo)致了大部分機(jī)器都可以運行這些模擬環(huán)境。因此即便沒有足夠的資金來購置機(jī)器人，也可以通過模擬環(huán)境來從事機(jī)器人研究。模擬環(huán)境降低了機(jī)器人研究的準(zhǔn)入門檻，讓更多的人能推進(jìn)該領(lǐng)域的發(fā)展。

最后，隨著關(guān)于各種機(jī)器人任務(wù)（例如導(dǎo)航、抓握、操作等）的論文數(shù)量不斷增長，一個問題也日漸凸顯：機(jī)器人領(lǐng)域需要可復(fù)現(xiàn)的基準(zhǔn)（repeatable benchmark）。一個成熟的學(xué)科需要能簡潔、可靠地復(fù)現(xiàn)實驗結(jié)果，這樣才能讓不同的方法理論得到有效地對比。與現(xiàn)實世界相比，在模擬環(huán)境中實現(xiàn)可復(fù)現(xiàn)的基準(zhǔn)要容易許多。

然而，當(dāng)前結(jié)合物理模擬與機(jī)器人任務(wù)的模擬環(huán)境往往局限于一小類任務(wù)，并且僅包含 clean 和小型場景。包含家庭和辦公室等大型場景的少數(shù)模擬環(huán)境要么無能力改變場景，僅側(cè)重于導(dǎo)航性能，如 Habitat；要么使用游戲引擎或者簡化的交互模式，如 AI2Thor、VirtualHome。所以，在處理那些需要與場景進(jìn)行豐富交互的任務(wù)而言，這些模擬器不支持端到端感覺運動控制回路的開發(fā)，也就難以完成此類任務(wù)。此外，簡化的交互模式也導(dǎo)致很難將可學(xué)得的交互策略轉(zhuǎn)換為可執(zhí)行的真實機(jī)器人指令。

基于如上這些想法，來自斯坦福視覺與學(xué)習(xí)實驗室（SVL）的研究者開發(fā)了 iGibson 以用來訓(xùn)練和測試 interactive（可交互的）AI 智能體 iGibson。

那么，iGibson 的特殊點在哪里呢？首先我們先來區(qū)分一下這兩個概念：

Physics simulator （物理引擎）: 物理引擎可以計算不同行為對現(xiàn)環(huán)境產(chǎn)生的物理影響。比如對一個物體施加一個力的后果，或者對于水流的模擬。隨著計算機(jī)圖形學(xué)的發(fā)展，現(xiàn)在有許多成熟的物理引擎。其中在機(jī)器人領(lǐng)域最為突出的是 Bullet, PyBullet, MuJoCo, Nvidia PhysX and Flex, UnrealEngine, DART, Unity, and ODE 等。

Simulation environment （模擬環(huán)境）: 模擬環(huán)境是一個整體框架，包含多個元件：物理引擎、渲染引擎、模型（包括場景、物體、機(jī)器人）等。我們可以用模擬環(huán)境模擬一個給定的任務(wù)，并用它來研究其解決方案。

那么，對一個研究人員而言，想解決什么任務(wù)或想研究什么課題就決定了用什么模擬環(huán)境，所謂工欲善其事，必先利其器。對 iGibson 而言，我們想研究的是：基于視覺信號，機(jī)器人如何在大型真實場景（如一整間公寓）中解決需要與環(huán)境互動的任務(wù)。

論文鏈接：https://arxiv.org/pdf/2012.02924.pdf

項目地址：https://github.com/StanfordVL/iGibson/releases/tag/1.0.0

網(wǎng)站地址：http://svl.stanford.edu/igibson/

pip 地址：https://pypi.org/project/gibson2/

doc 地址：http://svl.stanford.edu/igibson/docs/

英文版 blog 地址：https://ai.stanford.edu/blog/igibson/

與現(xiàn)有模擬引擎的對比

已有的模擬引擎無法支持我們想研究的任務(wù)，即可以真實地在大型場景中進(jìn)行物理互動?；诠潭C(jī)械臂的模擬環(huán)境（如 meta-world, RLBench, RoboSuite, DoorGym）并不包含真實的場景，從而不支持需要在室內(nèi)導(dǎo)航的任務(wù)。為室內(nèi)導(dǎo)航開發(fā)的模擬環(huán)境（包括我們之前開發(fā)的 Gibson v1 和 Habitat）雖然可以解決視覺導(dǎo)航（visual navigation）和視覺語言導(dǎo)航（visual language navigation），但所包含的場景為三維重建的靜止 mesh 模型。這意味著整個場景被封存在了重建時的位置，物品無法移動，機(jī)器人也不能與場景進(jìn)行交互。

除此之外，例如 Sapien, AI2Thor, ThreeDWorld (TDW)的一些模擬環(huán)境開始逐漸支持場景級的交互任務(wù)。Sapien 側(cè)重的問題是與鉸接（articulated）物體的互動（如門、柜等）。TDW 提供高質(zhì)量的聲音、形變、液體模擬（基于英偉達(dá)的 Flex 物理引擎）。但 Sapien 和 TDW 均不提供大型場景模型，從而不支持有關(guān)大型場景的任務(wù)研究。AI2Thor 雖包含了可互動的場景，但互動為腳本化的符號交互，把現(xiàn)實中連續(xù)的互動和變化離散化了—當(dāng)物體滿足一個先覺條件，agent 可以發(fā)出一個指令，從而這個物體進(jìn)入其下個狀態(tài)。例如，一個冰箱的敞開程度本應(yīng)是連續(xù)值，但現(xiàn)在只有 “開” 和“關(guān)”兩個狀態(tài)。AI2Thor 之后出現(xiàn)了 RoboThor，但其只提供簡單的傳感器與一種機(jī)器人 LoCoBot 的模擬。受限于 LoCoBot 的技術(shù)限制與環(huán)境的離散化，機(jī)器人無法在模擬環(huán)境內(nèi)學(xué)習(xí)并解決復(fù)雜的交互任務(wù)。

我們想要研究的任務(wù)是復(fù)雜的、long-horizon（長線）、 mobile manipulation（移動操作）任務(wù)，例如：收拾房間、找尋物品等。為了研究可以落地到現(xiàn)實世界的解決方案，模擬可真實交互的大型場景變得尤為重要。

iGibson 的一些功能

iGibson 最重要的功能是 interactivity（可交互性），即構(gòu)建可以真實交互的大型場景。為此，我們實現(xiàn)了如下關(guān)鍵功能：

15 個充分可交互、視覺上逼真、依據(jù)真實房屋構(gòu)建的場景。其中所有物體可真實交互，包含了材料與動力學(xué)信息；

可支持 CubiCasa5K[6]的 8000 余個場景。

真實的傳感器信號模擬，包括：RGB （基于物理渲染引擎(Physics-based renderer)），深度圖，1 束或 16 束的激光雷達(dá)，語義 / 實例 / 材料分割圖，光流，場景流等；

內(nèi)置運動規(guī)劃算法，用于規(guī)劃機(jī)器人底座的移動（在環(huán)境中導(dǎo)航）與機(jī)械臂的移動（抓取操縱物體）。

內(nèi)置域隨機(jī)化功能，可隨機(jī)替換 visual textures (視覺圖像)、材料與動力學(xué)信息、物體實例。由此，我們可以產(chǎn)生出無窮無盡的隨機(jī)環(huán)境用于訓(xùn)練與測試。

人機(jī)交互系統(tǒng)，可為機(jī)器人提供人工示范。

iGibson 功能的一些應(yīng)用

我們在論文中展示了這些功能的用處，例如：iGibson 的光學(xué)雷達(dá)模擬可以幫助 agent 遷移到真實場景。

iGibson 場景的充分可交互性可以幫助預(yù)訓(xùn)練機(jī)器人視覺，從而加速機(jī)器人學(xué)習(xí)并完成復(fù)雜的交互任務(wù)。

用 iGibson 解決更復(fù)雜的機(jī)器人任務(wù)

上述的 iGibson 功能能幫助人們更好的開發(fā)大型場景交互任務(wù)的解決方案。我們認(rèn)為，其中一個很重要的問題是 Interactive Navigation （交互導(dǎo)航）。在這個任務(wù)中，agents 不僅需要導(dǎo)航，也需要改變其環(huán)境（如開門、移開障礙物）。這種需要改變環(huán)境的導(dǎo)航是在現(xiàn)實場景中最常見的。

為了在 iGibson 模擬環(huán)境中解決這個任務(wù)，我們開發(fā)了一套分層強(qiáng)化學(xué)習(xí)（hierarchical reinforcement learning）算法來決定 agent 的具體動作（當(dāng)需要交互時用機(jī)械臂，當(dāng)需要移動時用底座，也可同時利用機(jī)械臂和底座 [8]。

此外我們也提出了一個結(jié)合了運動規(guī)劃算法的解決方案：算法來指定下個交互應(yīng)該在何處發(fā)生，運動規(guī)劃會基于此計算一條符合運動學(xué)且避障的軌跡 [9] 。

但我們認(rèn)為這只是 iGibson 潛力的冰山一角。目前我們實驗室 SVL(Stanford Vision and Learning Lab)有許多的項目在使用 iGibson，來提出、攻克各種各樣的交互任務(wù)。

總結(jié)

我們認(rèn)為模擬環(huán)境有極大的潛力來幫助研究人員解決機(jī)器人與 AI 的各種問題。iGibson 是一個完全開源的、面向大型場景交互任務(wù)的模擬環(huán)境。我們真心希望 iGibson 能為機(jī)器人與 AI 的研究做出貢獻(xiàn)。

注：關(guān)于 Gibson: iGibson 的名字來源于心理學(xué)、認(rèn)知科學(xué)泰斗 James J. Gibson [1904-1979]。Gibson 生前提出了許多開創(chuàng)性的想法，包括關(guān)于知覺的新概念：

知覺是一個生態(tài)（ecological）的過程，即本體不應(yīng)從其所處的生態(tài)環(huán)境中剝離出去；

知覺是一個動態(tài)（active）的過程，即知覺需要交互和主觀能動性。

在當(dāng)時，主流學(xué)說認(rèn)為知覺是一個被動接受并處理的過程。Gibson 的觀點則相反，認(rèn)為 agents 是在與環(huán)境的交互中主動尋求、而不是被動接受信息。Gibson 也提出了 “affordance”（承擔(dān)特質(zhì)）的概念：環(huán)境給予 agent 的行動可能，例如門提供“打開” 的功能，椅子提供 “支撐” 的功能。我們同事是這樣概括 Gibson 先生的 research 的：“ask not what’s inside your head, but what your head is inside of” (不要光注重于你腦中的世界，請著眼于你所處的世界)。