本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

• 論文鏈接：https://browse.arxiv.org/pdf/2402.00637.pdf
• 視頻鏈接：https://youtu.be/JmSLBBL9Ruo

本文介紹了魚(yú)眼相機(jī)與超聲傳感器融合實(shí)現(xiàn)鳥(niǎo)瞰圖中近場(chǎng)障礙物感知。準(zhǔn)確的障礙物識(shí)別是自動(dòng)駕駛近場(chǎng)感知范圍內(nèi)的一項(xiàng)基本挑戰(zhàn)。傳統(tǒng)上，魚(yú)眼相機(jī)經(jīng)常用于全面的環(huán)視感知，包括后視障礙物定位。然而，這類相機(jī)的性能在弱光照條件、夜間或者受到強(qiáng)烈陽(yáng)光照射時(shí)會(huì)顯著下降。相反，像超聲傳感器這類成本較低的傳感器在這些條件下基本不受影響。因此，本文提出了首個(gè)端到端的多模態(tài)融合模型，其利用魚(yú)眼相機(jī)和超聲傳感器在鳥(niǎo)瞰圖（BEV）中實(shí)現(xiàn)高效的障礙物感知。最初，采用ResNeXt-50作為一組單模態(tài)編碼器，以提取每個(gè)模態(tài)特有的特征。隨后，與可見(jiàn)光譜相關(guān)聯(lián)的特征空間被轉(zhuǎn)換為BEV。這兩種模態(tài)的融合是通過(guò)級(jí)聯(lián)來(lái)實(shí)現(xiàn)的。同時(shí)，基于超聲頻譜的單模態(tài)特征圖通過(guò)內(nèi)容感知的空洞卷積，用于緩解融合特征空間中兩種傳感器之間的傳感器錯(cuò)誤對(duì)齊。最后，融合的特征被兩階段語(yǔ)義占用編碼器用來(lái)生成用于精確障礙物感知的逐網(wǎng)格預(yù)測(cè)。本文進(jìn)行了系統(tǒng)性研究，以確定兩種傳感器多模態(tài)融合的最優(yōu)策略。本文深入展示了數(shù)據(jù)集創(chuàng)建過(guò)程、標(biāo)注指南，并且進(jìn)行全面的數(shù)據(jù)分析，以確保充分覆蓋所有場(chǎng)景。當(dāng)應(yīng)用于本文數(shù)據(jù)集時(shí)，結(jié)果證明了本文所提出的多模態(tài)融合方法的魯棒性和有效性。

本文主要貢獻(xiàn)

• 引入了一種新型的多傳感器深度網(wǎng)絡(luò)，其專門為鳥(niǎo)瞰圖中的近場(chǎng)障礙物感知而設(shè)計(jì)。本文所提出的網(wǎng)絡(luò)結(jié)合了魚(yú)眼相機(jī)和超聲傳感器系統(tǒng)，這是首次朝著該方向努力；
• 建立了構(gòu)建包括魚(yú)眼相機(jī)和超聲傳感器數(shù)據(jù)的多傳感器數(shù)據(jù)集的策略。本文定義了標(biāo)注規(guī)則，并且提供了相關(guān)的數(shù)據(jù)統(tǒng)計(jì)，這對(duì)于構(gòu)建適用于類似應(yīng)用的多模態(tài)模型是至關(guān)重要的；
• 本文描述了一個(gè)實(shí)現(xiàn)非常高精度的端到端可訓(xùn)練網(wǎng)絡(luò)的實(shí)現(xiàn)過(guò)程。此外，本文還提出了對(duì)proposal進(jìn)行重構(gòu)，以支持具有單模態(tài)輸入的相同特征，從而對(duì)基于多模態(tài)解決方案的優(yōu)勢(shì)進(jìn)行深入分析；
• 本文進(jìn)行了全面的消融研究，涉及各種提出的網(wǎng)絡(luò)組件、不同的特征融合技術(shù)、不同的增強(qiáng)方法和各種損失函數(shù)。

原文鏈接：https://mp.weixin.qq.com/s/B0zQZ2_SapKuynG2qis1ug