偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

Meta推出MoDem世界模型:解決視覺(jué)領(lǐng)域三大挑戰(zhàn),LeCun轉(zhuǎn)發(fā)

人工智能 新聞
MetaAI這次發(fā)布的MoDem解決了視覺(jué)強(qiáng)化學(xué)習(xí)領(lǐng)域的三個(gè)挑戰(zhàn),無(wú)需解碼器,效率最高提升250%,一起看看它有多牛。

12月27日,MetaAI 負(fù)責(zé)視覺(jué)和強(qiáng)化學(xué)習(xí)領(lǐng)域的A

圖片

截止27日晚間,這篇推文的閱讀量已經(jīng)達(dá)到73.9k。

圖片

他表示,僅給出5個(gè)演示,MoDem就能在100K交互步驟中解決具有稀疏獎(jiǎng)勵(lì)和高維動(dòng)作空間的具有挑戰(zhàn)性的視覺(jué)運(yùn)動(dòng)控制任務(wù),大大優(yōu)于現(xiàn)有的最先進(jìn)方法。

有多優(yōu)秀呢?

他們發(fā)現(xiàn)MoDem在完成稀疏獎(jiǎng)勵(lì)任務(wù)方面的成功率比低數(shù)據(jù)機(jī)制中的先前方法高出150%-250%。

圖片

Lecun也轉(zhuǎn)發(fā)了這一研究,表示MoDem的模型架構(gòu)類(lèi)似于JEPA,可在表征空間做出預(yù)測(cè)且無(wú)需解碼器。

圖片

鏈接小編就放在下面啦,有興趣的小伙伴可以看看~

圖片

論文鏈接:https://arxiv.org/abs/2212.05698

Github鏈接:https://github.com/facebookresearch/modem

研究創(chuàng)新和模型架構(gòu)

樣本效率低下是實(shí)際應(yīng)用部署深度強(qiáng)化學(xué)習(xí) (RL) 算法的主要挑戰(zhàn),尤其是視覺(jué)運(yùn)動(dòng)控制。

基于模型的RL有可能通過(guò)同時(shí)學(xué)習(xí)世界模型并使用合成部署來(lái)進(jìn)行規(guī)劃和政策改進(jìn),從而實(shí)現(xiàn)高樣本效率。

然而在實(shí)踐中,基于模型的RL的樣本高效學(xué)習(xí)受到探索挑戰(zhàn)的瓶頸,這次研究恰恰解決了這些主要挑戰(zhàn)。

首先,MoDem分別通過(guò)使用世界模型、模仿+RL和自監(jiān)督視覺(jué)預(yù)訓(xùn)練,解決了視覺(jué)強(qiáng)化學(xué)習(xí)/控制領(lǐng)域的三個(gè)主要挑戰(zhàn):

  • 大樣本復(fù)雜性(Large sample complexity)
  • 高維狀態(tài)和動(dòng)作空間探索(Exploration in high-dimensional state and action space)
  • 同步視覺(jué)表征和行為學(xué)習(xí)(Simultaneous learning of visual representations and behaviors)

圖片

這次的模型架構(gòu)類(lèi)似于Yann LeCun的JEPA,并且無(wú)需解碼器。

作者Aravind Rajeswaran表示,相比Dreamer需要像素級(jí)預(yù)測(cè)的解碼器,架構(gòu)繁重,無(wú)解碼器架構(gòu)可支持直接插入使用SSL預(yù)訓(xùn)練的視覺(jué)表示。

圖片

此外基于IL+RL,他們提出了一個(gè)三階段算法:

  • BC預(yù)訓(xùn)練策略
  • 使用包含演示和探索的種子數(shù)據(jù)集預(yù)訓(xùn)練世界模型,此階段對(duì)于整體穩(wěn)定性和效率很重要
  • 通過(guò)在線互動(dòng)微調(diào)世界模型

圖片

結(jié)果顯示,生成的算法在21個(gè)硬視覺(jué)運(yùn)動(dòng)控制任務(wù)中取得了SOTA結(jié)果(State-Of-The-Art result),包括Adroit靈巧操作、MetaWorld和DeepMind控制套件。

從數(shù)據(jù)上來(lái)看,MoDem在各項(xiàng)任務(wù)中的表現(xiàn)遠(yuǎn)遠(yuǎn)優(yōu)于其他模型,結(jié)果比之前的SOTA方法提升了150%到250%。

圖片

紅色線條為MoDem在各項(xiàng)任務(wù)中的表現(xiàn)

在此過(guò)程中,他們還闡明了MoDem中不同階段的重要性、數(shù)據(jù)增強(qiáng)對(duì)視覺(jué)MBRL的重要性以及預(yù)訓(xùn)練視覺(jué)表示的實(shí)用性。

最后,使用凍結(jié)的 R3M 功能遠(yuǎn)遠(yuǎn)優(yōu)于直接的 E2E 方法。這很令人興奮,表明視頻中的視覺(jué)預(yù)訓(xùn)練可以支持世界模型。

但8月數(shù)據(jù)強(qiáng)勁的E2E與凍結(jié)的R3M競(jìng)爭(zhēng),我們可以通過(guò)預(yù)訓(xùn)練做得更好。

圖片

責(zé)任編輯:張燕妮 來(lái)源: 新智元
相關(guān)推薦

2025-06-12 09:37:30

2024-02-19 08:58:00

模型AI

2024-01-18 13:38:00

AI數(shù)據(jù)

2024-03-05 11:18:14

模型訓(xùn)練

2023-06-15 14:01:00

模型筆記

2024-12-09 07:15:00

世界模型AILLM

2025-03-03 09:22:00

2023-02-06 14:37:44

LeCun模型

2024-06-18 08:21:31

2014-06-17 16:28:48

Windows To

2022-02-25 14:48:45

AI模型Meta

2011-05-31 09:25:56

2015-06-02 10:02:04

數(shù)據(jù)中心

2024-07-19 11:50:28

2025-04-30 06:48:56

2022-02-15 15:38:02

人工智能機(jī)器學(xué)習(xí)Meta

2022-06-25 21:38:36

AI模型

2025-06-13 00:03:00

2023-11-28 13:37:43

語(yǔ)言模型LLM
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)