本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

• 論文鏈接：https://arxiv.org/pdf/2309.06547.pdf
• 數(shù)據(jù)集鏈接：http://amodalsynthdrive.cs.uni-freiburg.de

摘要

本文介紹了AmodalSynthDrive：一個(gè)用于自動(dòng)駕駛的合成非模態(tài)感知數(shù)據(jù)集。與人類(lèi)不同，即使在部分遮擋的情況下，人類(lèi)也可以毫不費(fèi)力地估計(jì)物體的整體，而現(xiàn)代計(jì)算機(jī)視覺(jué)算法仍然發(fā)現(xiàn)這一方面極具挑戰(zhàn)性。由于缺乏合適的數(shù)據(jù)集，利用這種非模態(tài)感知進(jìn)行自動(dòng)駕駛在很大程度上仍未得到開(kāi)發(fā)。這些數(shù)據(jù)集的生成主要受到昂貴標(biāo)注成本的影響，以及需要減輕標(biāo)注者在準(zhǔn)確標(biāo)注遮擋區(qū)域的主觀(guān)性帶來(lái)的干擾。為了解決這些限制，本文引入了AmodalSynthDrive，這是一種合成的多任務(wù)非模態(tài)感知數(shù)據(jù)集。該數(shù)據(jù)集提供了150個(gè)駕駛序列的多視圖相機(jī)圖像、3D邊界框、激光雷達(dá)數(shù)據(jù)和里程計(jì)，其包括了在各種交通、天氣和光照條件下超過(guò)1M的目標(biāo)標(biāo)注。AmodalSynthDrive支持多種非模態(tài)場(chǎng)景理解任務(wù)，包括引入的非模態(tài)深度估計(jì)用于增強(qiáng)空間理解。本文為每項(xiàng)任務(wù)評(píng)估若干基線(xiàn)，以說(shuō)明挑戰(zhàn)并且設(shè)置公開(kāi)基準(zhǔn)服務(wù)器。

主要貢獻(xiàn)

本文的貢獻(xiàn)總結(jié)如下：

1）本文提出了AmodalSynthDrive數(shù)據(jù)集，這是一種針對(duì)城市駕駛場(chǎng)景的全面合成非模態(tài)感知數(shù)據(jù)集，具有多種數(shù)據(jù)來(lái)源；

2）本文提出了針對(duì)非模態(tài)感知任務(wù)的基準(zhǔn)，即非模態(tài)語(yǔ)義分割、非模態(tài)實(shí)例分割和非模態(tài)全景分割；

3）新型的非模態(tài)深度估計(jì)任務(wù)旨在促進(jìn)增強(qiáng)空間理解。本文通過(guò)若干基線(xiàn)證明了這項(xiàng)新任務(wù)的可行性。

論文圖片和表格

總結(jié)

感知是自動(dòng)駕駛汽車(chē)的一項(xiàng)關(guān)鍵任務(wù)，但是目前的方法仍然缺少對(duì)復(fù)雜交通場(chǎng)景解釋所需的非模態(tài)理解。為此，本文提出了AmodalSynthDrive，這是一個(gè)用于自動(dòng)駕駛的多模態(tài)合成感知數(shù)據(jù)集。通過(guò)合成的圖像和激光雷達(dá)點(diǎn)云，我們提供了一個(gè)全面的數(shù)據(jù)集，其包括用于基本非模態(tài)感知任務(wù)的真值標(biāo)注數(shù)據(jù)，同時(shí)還引入一種新的任務(wù)來(lái)增強(qiáng)空間理解，稱(chēng)為非模態(tài)深度估計(jì)。本文提供了超過(guò)60000個(gè)單獨(dú)的圖像集，每個(gè)圖像集與非模態(tài)實(shí)例分割、非模態(tài)語(yǔ)義分割、非模態(tài)全景分割、光流、2D&3D邊界框、非模態(tài)深度以及鳥(niǎo)瞰圖相關(guān)。通過(guò)AmodalSynthDrive，本文提供了各種基線(xiàn)，并且相信這項(xiàng)工作將為動(dòng)態(tài)城市環(huán)境的非模態(tài)場(chǎng)景理解的新型研究鋪平道路。

原文鏈接：https://mp.weixin.qq.com/s/7cXqFbMoljcs6dQOLU3SAQ