近日，在全球權(quán)威的自動(dòng)駕駛nuScenes競賽的最新評測中，毫末智行斬獲純視覺3D目標(biāo)檢測任務(wù)（nuScenes Detection task）無外部數(shù)據(jù)榜單第一名，并將關(guān)鍵性指標(biāo)nuScenes Detection Score（NDS）提高到68.8%。

自動(dòng)駕駛純視覺感知算法已經(jīng)成為行業(yè)的熱點(diǎn)，如何提高基于視覺的3D障礙物的精度和準(zhǔn)確度成為當(dāng)下核心的技術(shù)挑戰(zhàn)。毫末在此項(xiàng)檢測任務(wù)中主要使用了兩種方法，一種是基于NeRF的三維建模方法，并基于此方法設(shè)計(jì)了深度分支網(wǎng)絡(luò)模型來輸出深度偽標(biāo)簽，另一種是由SEEM監(jiān)督的語義分支網(wǎng)絡(luò)來輸出語義偽標(biāo)簽，最終結(jié)合深度偽標(biāo)簽、語義偽標(biāo)簽來提升檢測效果。

nuScenes數(shù)據(jù)集是目前自動(dòng)駕駛領(lǐng)域中最流行的公開數(shù)據(jù)集之一，數(shù)據(jù)采集自波士頓和新加坡的實(shí)際自動(dòng)駕駛場景，是第一個(gè)集成攝像頭、激光雷達(dá)和毫米波雷達(dá)等多種傳感器，實(shí)現(xiàn)360度全傳感器覆蓋的數(shù)據(jù)集。nuScenes數(shù)據(jù)集提供了二維、三維物體標(biāo)注、點(diǎn)云分割、高精地圖等豐富的標(biāo)注信息，包含1000個(gè)場景，擁有140萬幀圖像、39萬幀激光雷達(dá)點(diǎn)云數(shù)據(jù)、23個(gè)物體類別、140萬個(gè)三維標(biāo)注框，其數(shù)據(jù)標(biāo)注量比KITTI數(shù)據(jù)集高出7倍以上。

所謂純視覺3D目標(biāo)檢測任務(wù)，就是在不使用激光雷達(dá)、毫米波雷達(dá)等額外的傳感器信息條件下，僅使用6個(gè)攝像頭完成車外360度環(huán)視視野的3D目標(biāo)檢測，不僅需要檢測周圍環(huán)境中所有的車、行人、障礙物、交通標(biāo)志、指示燈等若干類對象，還要精確感知到他們在真實(shí)物理世界中的位置、大小、方向、速度等信息。該項(xiàng)任務(wù)的主要難點(diǎn)是通過2D圖像難以準(zhǔn)確的獲取目標(biāo)的真實(shí)深度和速度，當(dāng)提取的深度信息不準(zhǔn)確時(shí)，一切的三維感知任務(wù)都會(huì)變得異常困難；而當(dāng)提取的速度信息不準(zhǔn)確時(shí)，則可能會(huì)對后續(xù)的決策規(guī)劃任務(wù)產(chǎn)生致命性的影響。

得益于更先進(jìn)算法和更高算力的進(jìn)步，nuScenes競賽的3D目標(biāo)檢測任務(wù)榜單成績不斷取得提升，其中毫末AI技術(shù)團(tuán)隊(duì)將關(guān)鍵性指標(biāo)NDS提升到68.8%，充分展示了其在自動(dòng)駕駛技術(shù)領(lǐng)域的實(shí)力。