偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

RSS 2025|物理驅(qū)動的世界模型PIN-WM:直接從視覺觀測估計物理屬性,可用于操作策略學(xué)習(xí)

人工智能 新聞
國防科大、深圳大學(xué)、武漢大學(xué)團隊提出 PIN-WM(Physics-INformed World Models)——一種物理驅(qū)動的世界模型。

第一作者李文軒目前就讀于國防科技大學(xué)計算機學(xué)院,碩士二年級,導(dǎo)師為徐凱教授,研究方向包括世界模型、可微物理仿真等。共同第一作者趙航,現(xiàn)為武漢大學(xué)計算機學(xué)院博士后,博士期間導(dǎo)師為徐凱教授,研究方向為工業(yè)具身智能。本文通信作者為深圳大學(xué)胡瑞珍教授與國防科技大學(xué)徐凱教授。

在機器人操作中,物體運動往往涉及摩擦、碰撞等復(fù)雜物理機制。準(zhǔn)確的物理屬性描述可以實現(xiàn)對物體運動結(jié)果更準(zhǔn)確的預(yù)測,并提升機器人在操作技能學(xué)習(xí)中的表現(xiàn)。

然而,一般用于訓(xùn)練機器人操作策略的仿真交互環(huán)境,其物理屬性與真實環(huán)境往往存在明顯差異且難以校準(zhǔn),機器人控制策略的虛擬到現(xiàn)實遷移(Sim2Real)一直是困擾社區(qū)的問題。

為解決上述問題,國防科大、深圳大學(xué)、武漢大學(xué)團隊提出 PIN-WM(Physics-INformed World Models)——一種物理驅(qū)動的世界模型。

圖片

基于可微物理和可微渲染,PIN-WM 以真實世界運動結(jié)果為監(jiān)督信號,可以從視覺觀測中直接辨識剛體物理屬性。由于可微物理提供了物理系統(tǒng)的動力學(xué)基礎(chǔ)描述和有效的梯度引導(dǎo),PIN-WM 僅需少量且任務(wù)無關(guān)的交互軌跡進行學(xué)習(xí),隨后可以基于未見「狀態(tài)-動作對」實現(xiàn)對下一時刻狀態(tài)的良好泛化估計。

進一步,團隊提出物理感知的數(shù)字表親 PADC(Physics-Aware Digital Cousins),在辨識參數(shù)附近局部擾動,生成具有近似且多樣視覺和物理特性的世界模型變體,以建模未被觀測的潛在偏差,進一步提高策略學(xué)習(xí)的魯棒性。

基于 PIN-WM 和 PADC,團隊在世界模型中訓(xùn)練非抓取式操作技能,無需策略微調(diào)即可直接實現(xiàn)操作技能的 Sim2Real 遷移。

圖片

論文創(chuàng)新點

  • 一種物理驅(qū)動的世界模型:使用可微仿真和可微渲染技術(shù)從視覺觀測中直接辨識剛體的物理參數(shù)。
  • 一種物理感知的數(shù)字表親:在辨識參數(shù)附近進行小范圍擾動,生成多組具有近似且多樣視覺和物理特性的世界模型變體,以應(yīng)對未建模誤差,提升策略在真實環(huán)境中的魯棒性。

圖片

圖 1:PIN-WM 僅需少量任務(wù)無關(guān)交互軌跡辨識物理屬性,以支持機器人操作技能學(xué)習(xí)與 Sim2Real 遷移

技術(shù)路線

該團隊提出一種從現(xiàn)實到虛擬再到現(xiàn)實的框架,以學(xué)習(xí)非抓取操作相關(guān)的技能策略。該框架可分為兩大階段:系統(tǒng)辨識和策略訓(xùn)練。

  • 從現(xiàn)實到仿真(Real2Sim):系統(tǒng)辨識
  • 渲染屬性估計:收集物體的多視角圖片,并計算 Rendering loss,然后使用 2DGS 對其渲染參數(shù)進行優(yōu)化。 
  • 物理屬性估計:收集機器人與物體的交互視頻,同樣基于 Rendering loss,使用 2DGS 和可微 LCP 傳播梯度,從而對物理參數(shù)進行優(yōu)化(此時固定渲染參數(shù))。
  • 從仿真到現(xiàn)實(Sim2Real):策略訓(xùn)練與部署 
  • 結(jié)合數(shù)字表親學(xué)習(xí)策略:在辨識參數(shù)附近進行小范圍擾動,生成多組具有視覺和物理特性差異的世界模型變體,并在此基礎(chǔ)上訓(xùn)練策略。
  • 策略部署:將世界模型中學(xué)習(xí)到的策略部署到真實場景中,完成虛擬到現(xiàn)實遷移。

圖片

圖 2:Real2Sim2Real 框架用于學(xué)習(xí)非抓取操作策略

實驗結(jié)果

「推」(Push)和「翻轉(zhuǎn)」(Flip)作為經(jīng)典的非抓取式任務(wù),對摩擦、碰撞等復(fù)雜物理機制非常敏感。PIN-WM 在這兩項代表性任務(wù)上進行實驗評估:「推」指通過推的方式將平面上的物體移動到目標(biāo)姿態(tài),「翻轉(zhuǎn)」指通過戳的方式將物體翻轉(zhuǎn)(圖 3)。通過統(tǒng)計各方法在兩項任務(wù)中的成功率及完成步數(shù),對其性能進行對比評估。

圖片

圖 3:仿真場景中「推」和「翻轉(zhuǎn)」任務(wù)軌跡

在仿真實驗方面,PIN-WM 分別與數(shù)據(jù)驅(qū)動的方法、預(yù)設(shè)物理參數(shù)的方法和辨識物理參數(shù)的方法進行對比。團隊在更具挑戰(zhàn)性的低摩擦場景下學(xué)習(xí)世界模型以及機器人操作策略,物理參數(shù)估計誤差造成的機器人操作失準(zhǔn)會在低摩擦的場景下被進一步放大,導(dǎo)致任務(wù)失敗。

實驗結(jié)果說明:數(shù)據(jù)驅(qū)動方法(Dreamer,Diffusion Policy)在已使用更多交互數(shù)據(jù)的情況下泛化能力依然不足,策略測試性能欠佳;預(yù)設(shè)物理參數(shù)方法(RoboGSim、Domain Randomization)底層動力學(xué)與真實物理有明顯差異,而其他辨識物理參數(shù)的方法依賴簡化的物理模型(2D Physics)或者缺少梯度引導(dǎo)(ASID),動力學(xué)的擬合效果相對較差,失準(zhǔn)的動力學(xué)建模導(dǎo)致策略表現(xiàn)依然欠佳;在可微物理梯度引導(dǎo)下,PIN-WM 能夠?qū)崿F(xiàn)更準(zhǔn)確的物理參數(shù)辨識,在「推」和「翻轉(zhuǎn)」兩項非抓取式操作任務(wù)上的策略表現(xiàn)均明顯優(yōu)于其他方法(表 1)。

圖片

表 1:仿真場景中的非抓取策略性能對比

在真機實驗方面,PIN-WM 同樣與上述主要基線對比,在真實場景「推」和「翻轉(zhuǎn)」兩項任務(wù)上的性能優(yōu)勢得到驗證(表 2)。

圖片

表 2:真實場景中的非抓取策略性能對比

圖 4 展示了真實場景中不同方法執(zhí)行「推」任務(wù)時的軌跡對比圖。

圖片

圖 4:真實場景中不同方法執(zhí)行「推」任務(wù)時的軌跡對比

圖 5 展示了真實場景中不同方法執(zhí)行「翻轉(zhuǎn)」任務(wù)時的軌跡對比圖。

圖片

圖 5:真實場景中不同方法執(zhí)行「翻轉(zhuǎn)」任務(wù)時的軌跡對比

PIN-WM 執(zhí)行系統(tǒng)辨識后,在光滑玻璃平面上「推」T 形物體的測試結(jié)果,機器人可以準(zhǔn)確地將物體推入目標(biāo)位置。

未執(zhí)行系統(tǒng)辨識時,策略在光滑玻璃平面上「推」T 形物體,機器人在目標(biāo)位置反復(fù)嘗試,始終無法將物體正確推入目標(biāo)位置。

PIN-WM 執(zhí)行系統(tǒng)辨識后,在光滑玻璃平面上「推」正方體的測試結(jié)果。正方體的質(zhì)量和體積更小,機器人操作更加困難,而 PIN-WM 訓(xùn)練出的策略能夠準(zhǔn)確完成任務(wù)。

未執(zhí)行系統(tǒng)辨識時,策略在光滑玻璃平面上「推」正方體,無法將正方體正確推入目標(biāo)位置。

PIN-WM 執(zhí)行系統(tǒng)辨識后,在粗糙平面上「戳」正方體使其翻轉(zhuǎn)。

未執(zhí)行系統(tǒng)辨識時,在粗糙平面上「戳」正方體,正方體輕微抬升,卻始終無法有效翻轉(zhuǎn)。

PIN-WM 執(zhí)行系統(tǒng)辨識后,在粗糙平面上「推」任務(wù)的測試結(jié)果(軌跡 1)。

PIN-WM 執(zhí)行系統(tǒng)辨識后,在粗糙平面上「推」任務(wù)的測試結(jié)果(軌跡 2)。

在更大尺寸物體上驗證 PIN-WM 的有效性,執(zhí)行系統(tǒng)辨識后,在粗糙平面上「推」T 形物體的測試結(jié)果(軌跡 1)。

PIN-WM 執(zhí)行系統(tǒng)辨識后,在粗糙平面上「推」更大尺寸 T 形物體的測試結(jié)果(軌跡 2)。

總結(jié)

國防科大、深圳大學(xué)、武漢大學(xué)團隊提出了一種物理驅(qū)動的世界模型 PIN-WM(Physics-INformed World Models),可以從視覺觀測(少量且任務(wù)無關(guān)的交互軌跡)中辨識剛體的物理屬性。

同時,團隊提出具備物理感知的數(shù)字表親 PADC(Physics-Aware Digital Cousins),在辨識參數(shù)附近進行局部擾動以建模潛在的偏差,從而進一步提高虛擬到現(xiàn)實的遷移性能。團隊通過廣泛的實驗證明了 PIN-WM 的有效性,其提出的方法有效提升了非抓握式操作技能從仿真到現(xiàn)實遷移的性能。

責(zé)任編輯:張燕妮 來源: 機器之心
相關(guān)推薦

2024-03-05 11:18:14

模型訓(xùn)練

2025-02-24 14:22:00

3D視覺模型

2024-04-18 12:16:37

MetaAIOpenEQA

2024-01-29 07:50:00

AI視頻

2024-09-05 13:11:49

2022-06-10 12:38:07

物聯(lián)網(wǎng)IOT

2021-08-22 14:47:22

數(shù)字世界物理安全網(wǎng)絡(luò)安全

2023-07-21 15:05:04

人工智能智能汽車數(shù)字技術(shù)

2022-05-16 12:06:00

機器學(xué)習(xí)深度學(xué)習(xí)模型

2024-05-09 08:00:00

2021-12-01 10:05:12

模型人工智能計算

2009-06-17 14:38:14

面向?qū)ο?/a>數(shù)學(xué)模型物理模型

2022-07-12 16:46:45

DeepMindAIAlphaFold?

2024-02-19 08:58:00

模型AI

2023-05-04 11:21:30

NodleWeb3項目

2025-06-06 14:30:52

2023-09-28 14:40:23

工業(yè)4.0數(shù)字孿生

2024-03-27 18:19:26

OpenAIChatGPT數(shù)據(jù)

2025-03-17 09:20:00

視覺生成模型

2021-12-09 23:14:16

USB漏洞攻擊
點贊
收藏

51CTO技術(shù)棧公眾號