隨著任務數(shù)量的增加，使用當前計算方法來構(gòu)建通用的日常機器人的成本變得過高，人們正在快速尋求一種解決辦法。我們都希望通用機器人可以執(zhí)行一系列復雜的任務，例如清潔，維護和交付等等。

但是，即使使用脫機強化學習（RL ）來訓練單個任務（例如清潔），也需要大量的工程設計、花費很長的時間，這看似是件不可能完成的事！

上圖為脫機和非脫機強化學習的演示動圖

MT-Opt+Actionable Model= 脫機強化學習

但是經(jīng)過科學家們的不斷努力，機器人的發(fā)展遇到前所未有的機遇。

任職于google的幾位優(yōu)秀的計算機科學家，率先研發(fā)出了處理大規(guī)模任務的新型機器人。

德米特里·卡拉什尼科夫（Dmitry Kalashnikov）是這項研究的第一作者，年紀輕輕的他于2009年創(chuàng)立了AI Digit公司，2013年加入google，擔任軟件工程師一職長達7年多。

[[394774]]

杰克·瓦利（Jake Varley）作為第二作者，本科畢業(yè)于麻省理工大學（MIT）計算機科學專業(yè)，2013年順利成為哥倫比亞大學的博士生，一畢業(yè)就收到google拋來的橄欖枝，現(xiàn)在google任SWE一職已經(jīng)3年了。

[[394775]]

卡羅爾·豪斯曼（Karol Hausman）作為第三作者，是南加大計算機科學專業(yè)的博士生，也是2018年加入google，目前主要擔任google機器人控制和google大腦實驗室的科學家。

[[394776]]

這項研究主要展示了機器人脫機強化學習（RL）的兩個新進展，即MT-Opt（一種用于自動數(shù)據(jù)收集和多任務RL訓練的系統(tǒng)）以及Actionable Models（可動模型），該模型利用獲取的數(shù)據(jù)實現(xiàn)脫機學習的目標。

MT-Opt引入了可擴展的數(shù)據(jù)收集機制，該機制在真實的機器人上可以收集超過800,000個任務，相比以往很多多任務脫機學習的成功應用，其平均性能比基線提高了約3倍。

更神奇的是，它還可以使機器人在不到1天的時間內(nèi)對新任務進行適應，接著快速掌握新任務。

即使在沒有特定任務和獎勵的情況下該機器人也可以進行學習，這不僅極大地增加了機器人可以執(zhí)行的任務數(shù)量，并可以更有效地學習下游任務。

[[394778]]

所以為了大規(guī)模地收集多樣化的任務數(shù)據(jù)，他們創(chuàng)建了一個可擴展且直觀的多任務檢測器來指定任務，目的是為了要收集最終平衡結(jié)果的數(shù)據(jù)集。

具體步驟如下：

為了訓練該系統(tǒng)，科學家們收集了9600個機器人數(shù)據(jù)（來自七個機器人連續(xù)57天的數(shù)據(jù)收集），并采用監(jiān)督學習（supervised learning）的方式來訓練多任務，甚至允許用戶快速定義新任務及其獎勵的設置。

首先當收集數(shù)據(jù)時，需要對各種現(xiàn)實因素進行監(jiān)察和定期更新。（例如不同的光照條件，多變的背景環(huán)境以及機器人靈活的狀態(tài)）。

其次，通過使用較為簡單的任務解決方案，有效地引導機器人學習更復雜的任務，這樣在針對不同任務時，可以同時使用多個機器人同時操作。

一旦形成針對性訓練，每個任務的數(shù)據(jù)量和成功情節(jié)數(shù)便會隨著時間增長。

為了進一步提高性能，科學家們還重點放在某些表現(xiàn)欠佳的任務上進行調(diào)試和訓練，逐一突破！

成功率高達89%！

盡管這種數(shù)據(jù)收集策略可以有效地收集大量數(shù)據(jù)，但任務之間的成功率和數(shù)據(jù)量是不平衡的。

所以為了解決這個問題，他們命令機器人對每個成功或失敗的任務進行標記。這一步驟之后再將已經(jīng)達到均衡的任務發(fā)送到多任務RL訓練管道。

好消息是，對于具有多數(shù)據(jù)的通用任務，MT-Opt的成功率是89％（QT-Opt的成功率是88％），罕見任務MT-Opt的平均成功率是50％。

使用可操作模型（Actionable Model）可以使機器人系統(tǒng)地學習大量的指示技能，例如物體抓握，容器放置和物體重新布置。

除此以外，該模型還能訓練數(shù)據(jù)中看不到的物體和視覺目標，新的機器人具有「學習世界」的能力！

小結(jié)：

MT-Opt模型和可操作模型的結(jié)果都表明，真實的機器人可以學習許多不同的任務，并且這些模型有效地分攤了學習技能的成本。

這是邁向通用機器人學習系統(tǒng)很重要的一步，該系統(tǒng)可以進一步擴展到現(xiàn)實生活中，執(zhí)行許多對人類有幫助的服務。

如果感興趣的讀者，可以具體參考這兩篇論文：“ MT-Opt：大規(guī)模的連續(xù)多任務機器人強化學習”和“可行的模型：機器人技術(shù)的無監(jiān)督離線強化學習”，網(wǎng)站上提供了很多有關(guān)MT-Opt的更多信息、視頻和可行的模型。