靠 100 條軌跡數(shù)據(jù)，在 Mac 上訓(xùn)練幾個(gè)小時(shí)，就能擁有一個(gè)可以抓取樂高積木的機(jī)械臂，這是 HuggingFace 機(jī)器人科學(xué)家 Remi Cadene 曬出的一個(gè)實(shí)例。機(jī)器人的門檻可能并沒有想象中那么高。

Remi Cadene 之前是特斯拉人形機(jī)器人 Optimus（擎天柱）項(xiàng)目的成員，3 月份被挖去 HuggingFace，領(lǐng)導(dǎo)一個(gè)新的開源機(jī)器人項(xiàng)目 ——LeRobot，當(dāng)時(shí)引發(fā)了一些轟動(dòng)。

LeRobot 基于有史以來最大規(guī)模的眾包機(jī)器人數(shù)據(jù)集，它的代碼庫堪稱機(jī)器人領(lǐng)域的「Transformers」。Cadene 在 X 上表示：「人工智能發(fā)展的下一步是將其應(yīng)用于我們的物理世界。因此，我們正在推動(dòng)社區(qū)共同努力構(gòu)建 AI 機(jī)器人，這對(duì)所有人開放！」

如今，Cadene 和他的新同事正在兌現(xiàn)這一承諾。前段時(shí)間，他們發(fā)布了 DIY 機(jī)器人的深入教程，從硬件 DIY 手冊(cè)到 Jupyter 筆記本應(yīng)有盡有。

教程鏈接：https://github.com/huggingface/lerobot/blob/main/examples/7_get_started_with_real_robot.md

youtube 上還有大量的視頻教程可供參考：

視頻鏈接：https://www.youtube.com/@HuggingFace/videos

可以說，只要按照教程操作，你在 Mac 或 PC 上訓(xùn)練幾個(gè)小時(shí)，也能擁有一個(gè)可以抓取樂高積木的機(jī)械臂。

或者，讓它給你疊衣服：

具體來說，這個(gè)教程主要解答了以下問題：  

1、如何訂購和組裝你的機(jī)器人；

2、如何連接、配置和校準(zhǔn)你的機(jī)器人；

3、如何記錄和可視化你的數(shù)據(jù)集；

4、如何使用你的數(shù)據(jù)來訓(xùn)練策略并準(zhǔn)備評(píng)估；

5、如何評(píng)估你的策略并可視化結(jié)果。

該教程主要基于一種開源、價(jià)格友好的機(jī)器人套件 Koch v1.1 編寫，不過也可以通過改變配置輕松適應(yīng)各種類型的機(jī)器人。

Koch v1.1 由一個(gè)主導(dǎo)臂和一個(gè)從動(dòng)臂組成，每個(gè)臂有 6 個(gè)電機(jī)。它可以和一個(gè)或多個(gè)攝像頭一起工作來記錄場景，這些攝像頭被用作機(jī)器人的視覺傳感器。在數(shù)據(jù)采集階段，你將通過移動(dòng)主導(dǎo)臂來控制從動(dòng)臂。這個(gè)過程被稱為「遙操作」。這種技術(shù)用于收集機(jī)器人軌跡。之后，你將訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來模仿這些軌跡，并部署網(wǎng)絡(luò)以使你的機(jī)器人能夠自主操作。

訂購、組裝你的 Koch v1.1

第一步是采購零件和組裝，這步有一個(gè) Koch v1.1 Github 頁面可以參考。

Github 鏈接：https://github.com/huggingface/lerobot/blob/main/examples/7_get_started_with_real_robot.md

這個(gè)頁面上包含一個(gè)詳細(xì)的零件采購清單（作者表示，目前他們只找到了美國、歐盟和英國的購買鏈接，如果讀者可以找到中國、印度等其他國家的購買鏈接，歡迎補(bǔ)充進(jìn)去）：

主導(dǎo)臂零件采購參考清單。

從動(dòng)臂零件采購參考清單。

有些零件可能需要 3D 打印，該頁面也給出了詳細(xì)的操作指南。

在零件全部到位后，你可以按照以下視頻的指引進(jìn)行安裝。

視頻鏈接：https://www.youtube.com/watch?v=8nQIg9BwwTk

組裝完的兩個(gè)機(jī)械臂長這樣：

接下來，使用 5V 電源為主導(dǎo)臂供電，使用 12V 電源為從動(dòng)臂供電。此外，使用 USB-C 電纜將每個(gè)臂連入計(jì)算機(jī)。

配置電機(jī)，校準(zhǔn)機(jī)械臂，遠(yuǎn)程操控你的 Koch v1.1

Koch v1.1 的配置可以參考以下視頻：  

視頻鏈接：https://www.youtube.com/watch?v=U78QQ9wCdpY

校準(zhǔn)則參考另一個(gè)視頻：  

視頻鏈接：https://www.youtube.com/watch?v=8drnU9uRY24

Github 頁面也介紹了 Koch v1.1 所需的附加依賴項(xiàng)的安裝以及機(jī)械臂的連接、校準(zhǔn)方法?？刂撇糠謩t分為以下步驟介紹：     

1、使用 DynamixelMotorsBus 控制電機(jī)；

2、使用 DynamixelMotorsBus 遠(yuǎn)程操作 Koch v1.1；

3、使用 OpenCVCamera 添加相機(jī)；

4、使用 koch. yaml 和 teleoperate 函數(shù)

每部分都有詳細(xì)的說明和代碼可以參考。

記錄你的數(shù)據(jù)集并將其可視化

這一步旨在錄制你的第一個(gè)訓(xùn)練集。作者建議從簡單的動(dòng)作開始來驗(yàn)證你的設(shè)置，例如在五個(gè)位置抓取物體，并為每個(gè)位置記錄 10 條軌跡。

這一步同樣有視頻可以參考：

視頻地址：https://www.youtube.com/watch?v=n_Ljp_xuFEM

作者表示，你還可以使用以下自定義工具在本地或在線可視化任何數(shù)據(jù)集：  

工具地址：https://huggingface.co/spaces/cadene/visualize_dataset_train

Github 教程涉及以下內(nèi)容：

1、使用 koch. yaml 和 record 函數(shù)；

2、對(duì)于記錄數(shù)據(jù)集的建議；

3、可視化所有 episode；

4、使用 replay 函數(shù)在你的機(jī)器人上 replay episode。

用你的數(shù)據(jù)訓(xùn)練一個(gè)策略

這部分主要介紹了如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)來控制機(jī)器人。主要步驟如下：   

1、使用訓(xùn)練腳本；

2、將策略檢查點(diǎn)上傳到 hub。

值得慶幸的是，策略的訓(xùn)練不需要特別昂貴的設(shè)備，在 PC 或 Mac 上跑幾個(gè)小時(shí)就能訓(xùn)練出來。而且無需模擬。

評(píng)估策略

在評(píng)估部分，作者也給出了完整的視頻教程：  

視頻地址：https://www.youtube.com/watch?v=Il3Kt8vqpI8

作者表示，這個(gè)項(xiàng)目的精妙之處在于，如果每個(gè)人都能記錄下自己的數(shù)據(jù)集并在 hub 上共享，那么大家都將能夠訓(xùn)練出具有無與倫比的感知世界以及采取行動(dòng)能力的 AI！這項(xiàng)新技術(shù)將推動(dòng)下一次社會(huì)和工業(yè)革命。

目前，LeRobt 的開源已經(jīng)產(chǎn)生了一定的影響力。   

Cadene 透露，他們正在開發(fā)一款更實(shí)惠的機(jī)器人。這款機(jī)器人不需要 3D 打印，總共花費(fèi) 150 美元（2 個(gè)機(jī)械臂）名叫 Moss V1。

此外，他們還將開源一款更強(qiáng)大的機(jī)器人，這個(gè)機(jī)器人可以使用 5 個(gè)手指的手作為末端執(zhí)行器。

他相信開源社區(qū)的力量可以推動(dòng)機(jī)器人領(lǐng)域快速發(fā)展。