偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

ETH&PICO開源MADPose:通過(guò)顯式仿射校正單目深度預(yù)測(cè)的相對(duì)位姿估計(jì)方法

人工智能 新聞
MADPose是一種新的相對(duì)位姿估計(jì)方法,利用顯式建模的單目深度先驗(yàn)的仿射變化。

 本文經(jīng)3D視覺(jué)之心公眾號(hào)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請(qǐng)聯(lián)系出處。

單目深度估計(jì)的關(guān)鍵局限和挑戰(zhàn)

近年來(lái),基于深度學(xué)習(xí)的單目深度估計(jì)(Monocular Depth Estimation, MDE)能夠從單張二維圖像中提取出日益準(zhǔn)確的三維信息。這些進(jìn)展為利用三維先驗(yàn)豐富傳統(tǒng)幾何計(jì)算機(jī)視覺(jué)任務(wù)開辟了新的可能性。從單張圖像推斷深度信息已被證明在多個(gè)應(yīng)用中具有重要意義。

盡管單目深度估計(jì)技術(shù)取得了顯著進(jìn)步,但將這些深度先驗(yàn)整合到基礎(chǔ)幾何計(jì)算機(jī)視覺(jué)任務(wù)中(尤其是相機(jī)位姿估計(jì))仍然較少被研究。雖然直覺(jué)上整合深度信息是有益的,但利用這些先驗(yàn)來(lái)推導(dǎo)多視圖之間的幾何關(guān)系存在獨(dú)特的挑戰(zhàn),這些挑戰(zhàn)尚未被現(xiàn)有研究完全解決。

現(xiàn)有方法的一個(gè)關(guān)鍵局限是通常假設(shè)不同視圖預(yù)測(cè)的深度圖可以通過(guò)一個(gè)單一的比例因子相關(guān)聯(lián)。然而,這種假設(shè)未能考慮現(xiàn)有單目深度估計(jì)模型的內(nèi)在特性,因?yàn)樽钕冗M(jìn)的MDE模型通常通過(guò)預(yù)測(cè)相對(duì)深度或視差(逆深度)來(lái)實(shí)現(xiàn)仿射(比例和偏移)變換的不變性。盡管最近在度量深度估計(jì)模型開發(fā)方面取得了一些進(jìn)展,但令人驚訝的是,即便對(duì)于這些模型,建模仿射校正也是有益的,因?yàn)樗鼈兣c實(shí)際度量深度仍然存在一定的不一致性。

圖片

MADPose[1]提出了三個(gè)求解器,專注于在校準(zhǔn)或非校準(zhǔn)相機(jī)設(shè)置下解決相對(duì)位姿問(wèn)題。這些求解器使用單目深度估計(jì)模型提供的深度先驗(yàn)和像素匹配作為輸入,并顯式建模深度預(yù)測(cè)中的比例和偏移變化。具體而言,我們提出的求解器包括以下幾種(其中僅校準(zhǔn)求解器是極小的,其他兩個(gè)是過(guò)約束的):

  • 校準(zhǔn)的三點(diǎn)求解器:適用于校準(zhǔn)圖像對(duì)。
  • 共享焦距的四點(diǎn)求解器:適用于未知但共享焦距的非校準(zhǔn)圖像對(duì)。
  • 雙焦距的四點(diǎn)求解器:適用于焦距未知的非校準(zhǔn)圖像對(duì)。

倉(cāng)庫(kù)鏈接:https://github.com/MarkYu98/madpose

此外,我們將這些新求解器整合到一個(gè)靈活的混合魯棒估計(jì)流程中,該流程將深度感知求解器與經(jīng)典的基于點(diǎn)的求解器相結(jié)合。我們還開發(fā)了混合方案用于評(píng)分和局部?jī)?yōu)化,在其中使用深度和仿射校正值優(yōu)化經(jīng)典的Sampson誤差和基于深度的重投影誤差。這種方法結(jié)合了兩種方法的優(yōu)勢(shì),最終形成了一個(gè)魯棒的相對(duì)位姿估計(jì)算法,在多個(gè)數(shù)據(jù)集上都實(shí)現(xiàn)了持續(xù)改進(jìn)。

主要貢獻(xiàn)

  • 提出通過(guò)顯式仿射(比例和偏移)校正單目深度預(yù)測(cè)解決相對(duì)位姿問(wèn)題,解決了現(xiàn)有方法中的一個(gè)局限。
  • 開發(fā)了三種針對(duì)不同校準(zhǔn)設(shè)置的求解器:校準(zhǔn)、共享焦距的非校準(zhǔn)、以及完全非校準(zhǔn)圖像對(duì)。
  • 將深度感知求解器與經(jīng)典基于點(diǎn)的求解器、評(píng)分和局部?jī)?yōu)化相結(jié)合的混合估計(jì)流程,大幅提升了相對(duì)位姿估計(jì)的精度和魯棒性。
  • 框架兼容多種圖像匹配器和MDE模型,表現(xiàn)出一致的改進(jìn),易于整合到現(xiàn)有管線中。

具體方法

問(wèn)題定義

雖然這種建模假設(shè)深度先驗(yàn)是仿射不變的相對(duì)深度,但我們的方法也可以用于度量深度預(yù)測(cè),從而在實(shí)驗(yàn)中表明可以提高相對(duì)位姿的準(zhǔn)確性和魯棒性。

圖片

方法

混合估計(jì)

僅依賴深度先驗(yàn)可能會(huì)在先驗(yàn)不可靠時(shí)產(chǎn)生錯(cuò)誤結(jié)果。為此,我們進(jìn)一步提出了一種混合方法,將深度感知求解器與經(jīng)典基于點(diǎn)的求解器和極線誤差結(jié)合起來(lái)(如 Sampson誤差),形成一個(gè)混合的 LO-MSAC 框架?;旌瞎烙?jì)流程包括以下步驟:

  1. 校準(zhǔn)場(chǎng)景:結(jié)合校準(zhǔn)求解器和經(jīng)典的五點(diǎn)本質(zhì)矩陣求解器。
  2. 共享焦距場(chǎng)景:結(jié)合共享焦距求解器和六點(diǎn)共享焦距相對(duì)位姿求解器。
  3. 雙焦距場(chǎng)景:結(jié)合雙焦距求解器和七點(diǎn)基礎(chǔ)矩陣求解器。

通過(guò)這種混合策略,我們能夠結(jié)合深度先驗(yàn)和點(diǎn)對(duì)應(yīng)兩種方式的優(yōu)勢(shì),從而在多個(gè)數(shù)據(jù)集上實(shí)現(xiàn)精度和魯棒性的顯著提升。

實(shí)驗(yàn)效果

圖片圖片圖片圖片圖片圖片圖片

總結(jié)一下

MADPose是一種新的相對(duì)位姿估計(jì)方法,利用顯式建模的單目深度先驗(yàn)的仿射變化。在校準(zhǔn)和非校準(zhǔn)相機(jī)設(shè)置下開發(fā)了三個(gè)求解器,并將其與經(jīng)典方法相結(jié)合,實(shí)現(xiàn)了跨多個(gè)數(shù)據(jù)集的持續(xù)改進(jìn)。所提方法還能從圖像匹配和單目深度估計(jì)的最新進(jìn)展中進(jìn)一步受益。

責(zé)任編輯:張燕妮 來(lái)源: 3D視覺(jué)之心
相關(guān)推薦

2024-04-03 09:28:25

數(shù)據(jù)訓(xùn)練

2024-03-22 10:24:02

系統(tǒng)評(píng)估

2024-08-16 10:20:00

自動(dòng)駕駛模型

2024-06-28 09:15:31

2009-12-24 15:43:17

WPF控件相對(duì)位置

2024-06-18 09:25:13

2024-08-19 09:17:00

3D算法

2025-05-13 16:57:18

2023-05-22 08:00:00

深度學(xué)習(xí)機(jī)器學(xué)習(xí)人工智能

2021-10-12 09:31:22

算法模型技術(shù)

2025-04-07 09:45:00

2022-01-07 10:55:16

智能自動(dòng)駕駛汽車

2018-06-27 19:32:59

人工智能深度學(xué)習(xí)機(jī)器學(xué)習(xí)

2023-12-27 08:28:54

自動(dòng)駕駛模型

2010-01-07 17:55:44

Linux動(dòng)態(tài)庫(kù)

2016-12-16 10:00:27

新華三

2024-07-19 10:14:13

2010-09-13 16:39:36

sql server觸

2024-05-30 11:53:26

2024-06-28 16:03:38

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)