未來也許只需動動念頭，就能讓機器人幫你做好家務(wù)。斯坦福大學(xué)的吳佳俊和李飛飛團隊近日提出的 NOIR 系統(tǒng)能讓用戶通過非侵入式腦電圖裝置控制機器人完成日常任務(wù)。

NOIR 能將你的腦電圖信號解碼為機器人技能庫。它現(xiàn)在已能完成例如烹飪壽喜燒、熨衣服、磨奶酪、玩井字游戲，甚至撫摸機器狗等任務(wù)。這個模塊化的系統(tǒng)具備強大的學(xué)習(xí)能力，可以應(yīng)對日常生活中復(fù)雜多變的任務(wù)。

大腦與機器人接口（BRI）堪稱是人類藝術(shù)、科學(xué)和工程的集大成之作。我們已經(jīng)在不勝枚舉的科幻作品和創(chuàng)意藝術(shù)中見到它，但真正實現(xiàn) BRI 卻非易事，需要突破性的科學(xué)研究，創(chuàng)造出能與人類完美協(xié)同運作的機器人系統(tǒng)。

對于這樣的系統(tǒng)，一大關(guān)鍵組件是機器與人類通信的能力。在人機協(xié)作和機器人學(xué)習(xí)過程中，人類傳達意圖的方式包括動作、按按鈕、注視、面部表情、語言等等。而通過神經(jīng)信號直接與機器人通信則是最激動人心卻也最具挑戰(zhàn)性的前景。

近日，斯坦福大學(xué)吳佳俊和李飛飛領(lǐng)導(dǎo)的一個多學(xué)科聯(lián)合團隊提出了一種通用型的智能 BRI 系統(tǒng) NOIR（Neural Signal Operated Intelligent Robots / 神經(jīng)信號操控的智能機器人）。

論文地址：https://openreview.net/pdf?id=eyykI3UIHa

項目網(wǎng)站：https://noir-corl.github.io/

該系統(tǒng)基于非侵入式的腦電圖（EEG）技術(shù)。據(jù)介紹，該系統(tǒng)依據(jù)的主要原理是分層式共享自治（hierarchical shared autonomy），即人類定義高層級目標(biāo)，而機器人通過執(zhí)行低層級運動指令來實現(xiàn)目標(biāo)。該系統(tǒng)納入了神經(jīng)科學(xué)、機器人學(xué)和機器學(xué)習(xí)領(lǐng)域的新進展，取得了優(yōu)于之前方法的進步。該團隊總結(jié)了所做出的貢獻。

首先，NOIR 是通用型的，可用于多樣化的任務(wù)，也易于不同社區(qū)使用。研究表明，NOIR 可以完成多達 20 種日常活動；相較之下，之前的 BRI 系統(tǒng)通常是針對一項或少數(shù)幾項任務(wù)設(shè)計的，或者就僅僅是模擬系統(tǒng)。此外，只需少量培訓(xùn)，普通人群也能使用 NOIR 系統(tǒng)。

其次，NOIR 中的 I 表示這個機器人系統(tǒng)是智能的（intelligent），具備自適應(yīng)能力。該機器人配備了一個多樣化的技能庫，讓其無需密集的人類監(jiān)督也能執(zhí)行低層級動作。使用參數(shù)化的技能原語，比如 Pick (obj-A) 或 MoveTo (x,y)，機器人可以很自然地取得、解讀和執(zhí)行人類的行為目標(biāo)。

此外，NOIR 系統(tǒng)還有能力在協(xié)作過程中學(xué)習(xí)人類想達成的目標(biāo)。研究表明，通過利用基礎(chǔ)模型的最新進展，該系統(tǒng)甚至能適應(yīng)很有限的數(shù)據(jù)。這能顯著提升系統(tǒng)的效率。

NOIR 的關(guān)鍵技術(shù)貢獻包括一個模塊化的解碼神經(jīng)信號以獲知人類意圖的工作流程。要知道，從神經(jīng)信號解碼出人類意圖目標(biāo)是極具挑戰(zhàn)性的。為此，該團隊的做法是將人類意圖分解為三大組分：要操控的物體（What）、與該物體交互的方式（How）、交互的位置（Where）。他們的研究表明可以從不同類型的神經(jīng)數(shù)據(jù)中解碼出這些信號。這些分解后的信號可以自然地對應(yīng)于參數(shù)化的機器人技能，并且可以有效地傳達給機器人。

在 20 項涉及桌面或移動操作的家庭活動（包括制作壽喜燒、熨燙衣物、玩井字棋、摸機器狗狗等）中，三名人類受試者成功地使用了 NOIR 系統(tǒng)，即通過他們的大腦信號完成了這些任務(wù)！

實驗表明，通過以人類為師進行少樣本機器人學(xué)習(xí)，可以顯著提升 NOIR 系統(tǒng)的效率。這種使用人腦信號協(xié)作來構(gòu)建智能機器人系統(tǒng)的方法潛力巨大，可用于為人們（尤其是殘障人士）開發(fā)至關(guān)重要的輔助技術(shù)，提升他們的生活品質(zhì)。

NOIR 系統(tǒng) 

這項研究力圖解決的挑戰(zhàn)包括：1. 如何構(gòu)建適用于各種任務(wù)的通用 BRI 系統(tǒng)？2. 如何解碼來自人腦的相關(guān)通信信號？3. 如何提升機器人的智能和適應(yīng)能力，從而實現(xiàn)更高效的協(xié)作？圖 2 給出了該系統(tǒng)的概況。

在這個系統(tǒng)中，人類作為規(guī)劃智能體，做的是感知、規(guī)劃以及向機器人傳達行為目標(biāo)；而機器人則要使用預(yù)定義的原語技能實現(xiàn)這些目標(biāo)。

為了實現(xiàn)打造通用 BRI 系統(tǒng)的總體目標(biāo)，需要將這兩種設(shè)計協(xié)同集成到一起。為此，該團隊提出了一種全新的大腦信號解碼工作流程，并為機器人配備了一套參數(shù)化的原始技能庫。最后，該團隊使用少樣本模仿學(xué)習(xí)技術(shù)讓機器人具備了更高效的學(xué)習(xí)能力。

大腦：模塊化的解碼工作流程 

如圖 3 所示，人類意圖會被分解成三個組分：要操控的物體（What）、與該物體交互的方式（How）、交互的位置（Where）。

要從腦電圖信號解碼出具體的用戶意圖，難度可不小，但可以通過穩(wěn)態(tài)視覺誘發(fā)電位（SSVEP）和運動意象（motor imagery）來完成。簡單來說，這個過程包括：

• 選取具有穩(wěn)態(tài)視覺誘發(fā)電位（SSVEP）的物體
• 通過運動意象（MI）選擇技能和參數(shù)
• 通過肌肉收緊來選擇確認或中斷

機器人：參數(shù)化的原語技能

參數(shù)化的原語技能可以針對不同的任務(wù)進行組合和復(fù)用，從而實現(xiàn)復(fù)雜多樣的操作。此外，對人類而言，這些技能非常直觀。人類和智能體都無需了解這些技能的控制機制，因此人們可以通過任何方法實現(xiàn)這些技能，只要它們是穩(wěn)健的且能適應(yīng)多樣化的任務(wù)。

該團隊在實驗中使用了兩臺機器人：一臺是用于桌面操作任務(wù)的 Franka Emika Panda 機械臂，另一臺是用于移動操作任務(wù)的 PAL Tiago 機器人。下表給出了這兩臺機器人的原語技能。

使用機器人學(xué)習(xí)實現(xiàn)高效的 BRI

上述的模塊化解碼工作流程和原語技能庫為 NOIR 奠定了基礎(chǔ)。但是，這種系統(tǒng)的效率還能進一步提升。機器人應(yīng)當(dāng)能在協(xié)作過程中學(xué)習(xí)用戶的物品、技能和參數(shù)選擇偏好，從而在未來能預(yù)測用戶希望達成的目標(biāo)，實現(xiàn)更好的自動化，也讓解碼更簡單容易。由于每一次執(zhí)行時，物品的位置、姿態(tài)、排列和實例可能會有所不同，因此就需要學(xué)習(xí)和泛化能力。另外，學(xué)習(xí)算法應(yīng)當(dāng)具有較高的樣本效率，因為收集人類數(shù)據(jù)的成本很高。

該團隊為此采用了兩種方法：基于檢索的少樣本物品和技能選取、單樣本技能參數(shù)學(xué)習(xí)。

基于檢索的少樣本物品和技能選取。該方法可以學(xué)習(xí)所觀察狀態(tài)的隱含表征。給定一個觀察到的新狀態(tài)，它會在隱藏空間中找到最相似的狀態(tài)以及對應(yīng)的動作。圖 4 給出了該方法的概況。

在任務(wù)執(zhí)行期間，由圖像和人類選擇的「物品 - 技能」對構(gòu)成的數(shù)據(jù)點會被記錄下來。這些圖像首先會被一個預(yù)訓(xùn)練的 R3M 模型編碼，以提取出對機器人操控任務(wù)有用的特征，然后再讓它們通過一些可訓(xùn)練的全連接層。這些層的訓(xùn)練使用了帶三元組損失的對比學(xué)習(xí)，這會鼓勵帶有同樣「物品 - 技能」標(biāo)簽的圖像在隱藏空間中處于更相近的位置。所學(xué)習(xí)到的圖像嵌入和「物品 - 技能」標(biāo)簽會被存儲到內(nèi)存中。

在測試期間，模型會檢索隱藏空間中最近的數(shù)據(jù)點，然后將與該數(shù)據(jù)點關(guān)聯(lián)的「物品 - 技能」對建議給人類。

單樣本技能參數(shù)學(xué)習(xí)。參數(shù)選取需要人類大量參與，因為這個過程需要通過運動意象（MI）進行精準(zhǔn)的光標(biāo)操作。為了減少人類的工作量，該團隊提出了一種學(xué)習(xí)算法，可以根據(jù)給定的用作光標(biāo)控制起始點的「物品 - 技能」對來預(yù)測參數(shù)。假設(shè)用戶已經(jīng)成功定位了拿起一個杯子把手的精確關(guān)鍵點，那么未來還需要再次指定這個參數(shù)嗎？最近 DINOv2 等基礎(chǔ)模型取得了不少進展，已經(jīng)可以找到相應(yīng)的語義關(guān)鍵點，從而無需再次指定參數(shù)。

相比于之前的工作，這里提出的新算法是單樣本的并且預(yù)測的是具體的 2D 點，而非語義片段。如圖 4 所示，給定一張訓(xùn)練圖像（360 × 240）和參數(shù)選擇 (x, y)，模型預(yù)測不同的測試圖像中語義上對應(yīng)的點。該團隊具體使用的是預(yù)訓(xùn)練的 DINOv2 模型來獲取語義特征。

實驗和結(jié)果

任務(wù)。實驗選取的任務(wù)來自 BEHAVIOR 和 Activities of Daily Living 基準(zhǔn)，這兩個基準(zhǔn)能在一定程度上體現(xiàn)人類的日常需求。圖 1 展示了實驗任務(wù)，其中包含 16 個桌面任務(wù)和 4 個移動操作任務(wù)。

下面展示了制作三明治和護理新冠病人的實驗過程示例。

實驗流程。實驗過程中，用戶待在一個隔離房間中，保持靜止，在屏幕上觀看機器人，單純依靠大腦信號與機器人溝通。

系統(tǒng)性能。表 1 總結(jié)了兩個指標(biāo)下的系統(tǒng)性能：成功之前的嘗試次數(shù)和成功時完成任務(wù)的時間。

盡管這些任務(wù)跨度長，難度大，但 NOIR 還是得到了非常鼓舞人心的結(jié)果：平均而言，只需嘗試 1.83 次就能完成任務(wù)。

解碼準(zhǔn)確度。解碼大腦信號的準(zhǔn)確度是 NOIR 系統(tǒng)成功的一大關(guān)鍵。表 2 總結(jié)了不同階段的解碼準(zhǔn)確度?？梢钥吹剑?SSVEP 的 CCA（典型相關(guān)分析）能達到 81.2% 的高準(zhǔn)確度，也就是說物品選取大體上是準(zhǔn)確的。

物品和技能選取結(jié)果。那么，新提出的機器人學(xué)習(xí)算法能否提升 NOIR 的效率呢？研究者首先對物品和技能選取學(xué)習(xí)進行了評估。為此，他們?yōu)?MakePasta 任務(wù)收集了一個離線數(shù)據(jù)集，其中每一對「物品 - 技能」都有 15 個訓(xùn)練樣本。給定一張圖像，當(dāng)同時預(yù)測出了正確的物品和技能時，就認為該預(yù)測是正確的。結(jié)果見表 3。

使用 ResNet 的簡單圖像分類模型能實現(xiàn) 0.31 的平均準(zhǔn)確度，而基于預(yù)訓(xùn)練 ResNet 骨干網(wǎng)絡(luò)使用新方法時卻能達到顯著更高的 0.73，這凸顯出了對比學(xué)習(xí)和基于檢索的學(xué)習(xí)的重要性。

單樣本參數(shù)學(xué)習(xí)的結(jié)果。研究者基于預(yù)先收集的數(shù)據(jù)集將新算法與多個基準(zhǔn)進行了比較。表 4 給出了預(yù)測結(jié)果的 MSE 值。

他們還在 SetTable 任務(wù)上展現(xiàn)了參數(shù)學(xué)習(xí)算法在實際任務(wù)執(zhí)行中的有效性。圖 5 給出了控制光標(biāo)移動方面所節(jié)省的人類工作量。