AmodalSynthDrive:一個(gè)用于自動(dòng)駕駛的合成非模態(tài)感知數(shù)據(jù)集
本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請(qǐng)聯(lián)系出處。
- 論文鏈接:https://arxiv.org/pdf/2309.06547.pdf
- 數(shù)據(jù)集鏈接:http://amodalsynthdrive.cs.uni-freiburg.de
摘要
本文介紹了AmodalSynthDrive:一個(gè)用于自動(dòng)駕駛的合成非模態(tài)感知數(shù)據(jù)集。與人類(lèi)不同,即使在部分遮擋的情況下,人類(lèi)也可以毫不費(fèi)力地估計(jì)物體的整體,而現(xiàn)代計(jì)算機(jī)視覺(jué)算法仍然發(fā)現(xiàn)這一方面極具挑戰(zhàn)性。由于缺乏合適的數(shù)據(jù)集,利用這種非模態(tài)感知進(jìn)行自動(dòng)駕駛在很大程度上仍未得到開(kāi)發(fā)。這些數(shù)據(jù)集的生成主要受到昂貴標(biāo)注成本的影響,以及需要減輕標(biāo)注者在準(zhǔn)確標(biāo)注遮擋區(qū)域的主觀(guān)性帶來(lái)的干擾。為了解決這些限制,本文引入了AmodalSynthDrive,這是一種合成的多任務(wù)非模態(tài)感知數(shù)據(jù)集。該數(shù)據(jù)集提供了150個(gè)駕駛序列的多視圖相機(jī)圖像、3D邊界框、激光雷達(dá)數(shù)據(jù)和里程計(jì),其包括了在各種交通、天氣和光照條件下超過(guò)1M的目標(biāo)標(biāo)注。AmodalSynthDrive支持多種非模態(tài)場(chǎng)景理解任務(wù),包括引入的非模態(tài)深度估計(jì)用于增強(qiáng)空間理解。本文為每項(xiàng)任務(wù)評(píng)估若干基線(xiàn),以說(shuō)明挑戰(zhàn)并且設(shè)置公開(kāi)基準(zhǔn)服務(wù)器。
主要貢獻(xiàn)
本文的貢獻(xiàn)總結(jié)如下:
1)本文提出了AmodalSynthDrive數(shù)據(jù)集,這是一種針對(duì)城市駕駛場(chǎng)景的全面合成非模態(tài)感知數(shù)據(jù)集,具有多種數(shù)據(jù)來(lái)源;
2)本文提出了針對(duì)非模態(tài)感知任務(wù)的基準(zhǔn),即非模態(tài)語(yǔ)義分割、非模態(tài)實(shí)例分割和非模態(tài)全景分割;
3)新型的非模態(tài)深度估計(jì)任務(wù)旨在促進(jìn)增強(qiáng)空間理解。本文通過(guò)若干基線(xiàn)證明了這項(xiàng)新任務(wù)的可行性。
論文圖片和表格
總結(jié)
感知是自動(dòng)駕駛汽車(chē)的一項(xiàng)關(guān)鍵任務(wù),但是目前的方法仍然缺少對(duì)復(fù)雜交通場(chǎng)景解釋所需的非模態(tài)理解。為此,本文提出了AmodalSynthDrive,這是一個(gè)用于自動(dòng)駕駛的多模態(tài)合成感知數(shù)據(jù)集。通過(guò)合成的圖像和激光雷達(dá)點(diǎn)云,我們提供了一個(gè)全面的數(shù)據(jù)集,其包括用于基本非模態(tài)感知任務(wù)的真值標(biāo)注數(shù)據(jù),同時(shí)還引入一種新的任務(wù)來(lái)增強(qiáng)空間理解,稱(chēng)為非模態(tài)深度估計(jì)。本文提供了超過(guò)60000個(gè)單獨(dú)的圖像集,每個(gè)圖像集與非模態(tài)實(shí)例分割、非模態(tài)語(yǔ)義分割、非模態(tài)全景分割、光流、2D&3D邊界框、非模態(tài)深度以及鳥(niǎo)瞰圖相關(guān)。通過(guò)AmodalSynthDrive,本文提供了各種基線(xiàn),并且相信這項(xiàng)工作將為動(dòng)態(tài)城市環(huán)境的非模態(tài)場(chǎng)景理解的新型研究鋪平道路。
原文鏈接:https://mp.weixin.qq.com/s/7cXqFbMoljcs6dQOLU3SAQ