本文經(jīng)自動駕駛之心公眾號授權轉載，轉載請聯(lián)系出處。

原標題：SupFusion: Supervised LiDAR-Camera Fusion for 3D Object Detection

論文鏈接：https://arxiv.org/pdf/2309.07084.pdf

作者單位：香港中文大學 NIO

代碼鏈接：https://github.com/IranQin/SupFusion

會議：ICCV 2023

論文思路

基于LiDAR-Camera融合的三維檢測是實現(xiàn)自動駕駛的關鍵技術之一。近年來，許多LiDAR-Camera的融合方法涌現(xiàn)出來，并取得了與單模態(tài)檢測器相比有前途的性能，但始終缺乏對融合過程的精心設計和有效的監(jiān)督。

本文提出了一種新的訓練策略SupFusion，該策略為有效的LiDAR-Camera融合提供了輔助特征級監(jiān)督，顯著提高了檢測性能。本文的策略涉及到一種稱為極坐標采樣(Polar Sampling)的數(shù)據(jù)增強方法，它對稀疏的目標進行加密，并訓練一個輔助模型生成高質量的特征作為監(jiān)督。然后利用這些特征訓練LiDAR-Camera融合模型，對融合特征進行優(yōu)化，以模擬生成的高質量特征。此外，本文提出了一種簡單而有效的深度融合模塊(deep fusion module)，與已有的基于SupFusion策略的融合方法相比，該模塊具有連續(xù)的優(yōu)越性能。這樣看來，本文的提出的方法有以下優(yōu)點。首先，SupFusion引入了輔助特征級監(jiān)督，可以在不引入額外推理成本的情況下提高LiDAR-Camera的檢測性能。其次，提出的深度融合可以不斷提高檢測器的能力。本文提出的SupFusion和deep fusion模塊是即插即用的，本文進行了大量的實驗來證明其有效性。具體來說，基于多個 LiDAR-Camera 3D 檢測器，本文在 KITTI 基準上獲得了約 2% 的 3D mAP 改進。

主要貢獻

本文提出了一種名為 SupFusion 的新型監(jiān)督融合訓練策略，該策略主要由高質量特征生成過程組成，并據(jù)本文所知，首先提出輔助特征級監(jiān)督損失，以實現(xiàn)魯棒融合特征提取和準確的 3D 檢測。

為了在SupFusion中獲得高質量的特征，本文提出了一種極坐標采樣的數(shù)據(jù)增強方法來對稀疏目標進行加密。此外，本文提出了一種高效的深度融合模塊，以提高連續(xù)檢測精度。

本文基于不同融合策略的多個檢測器進行了大量實驗，并在KITTI基準上獲得了約2%的mAP改進。

網(wǎng)絡設計

本文提出了一種名為 SupFusion 的有監(jiān)督 LiDAR-Camera 融合方法，以生成高質量的特征并為融合和特征提取過程提供有效的監(jiān)督，并進一步提高基于 LiDAR-Camera 融合的 3D 檢測性能。具體來說，本文首先訓練一個輔助模型來提供高質量的特征。為了實現(xiàn)這一目標，與以前利用更大模型或額外數(shù)據(jù)的方法不同，本文提出了一種稱為極坐標采樣(Polar Sampling)的新型數(shù)據(jù)增強方法。極坐標采樣可以從稀疏的激光雷達數(shù)據(jù)中動態(tài)增強物體的密度，從而更容易檢測并提高特征質量，例如特征可以得出準確的檢測結果。然后，本文通過引入輔助特征級監(jiān)督來簡單地訓練基于 LiDAR-Camera 融合的檢測器。在此步驟中，本文將原始 LiDAR 和攝像機輸入輸入到 3D/2D 主干和融合模塊中以獲得融合特征。一方面，融合特征被輸入檢測頭進行最終預測，即決策級監(jiān)督。另一方面，輔助監(jiān)督將融合特征模擬為高質量特征，這些特征是通過預訓練的輔助模型和增強的激光雷達數(shù)據(jù)獲得的。通過這種方式，所提出的特征級監(jiān)督可以使融合模塊生成更魯棒的特征，并進一步提高檢測性能。為了更好地融合 LiDAR 和攝像機特征，本文提出了一種簡單而有效的深度融合模塊，該模塊由堆疊的 MLP 塊和動態(tài)融合塊組成。SupFusion可以充分挖掘深度融合模塊能力，不斷提高檢測精度。

圖2:檢測器訓練過程。對于給定的LiDAR-Camera樣本，本文通過相應的3D/2D編碼器提取特征表示，并使用提出的深度融合模塊融合多模態(tài)特征。除了檢測損失的  外，本文 提出輔助特征級監(jiān)督 ，將融合的特征  模擬成高質量的特征 ，這是由輔助模型和增強數(shù)據(jù)生成的。

圖3:高質量的特征生成過程。對于任意給定的LiDAR樣本，本文通過 polar pasting 對稀疏目標進行加密，polar pasting計算從數(shù)據(jù)庫中查詢稠密目標的方向和旋轉，并通過粘貼向稀疏目標添加額外的點。本文首先通過增強的數(shù)據(jù)訓練輔助模型，并將增強的LiDAR數(shù)據(jù)輸入輔助模型中，以生成高質量的特征  ，直到它被收斂。

圖1:上圖:之前的LiDAR-Camera 3D檢測器，通過檢測損失對融合模塊進行優(yōu)化。底部:本文提出的SupFusion，本文提出了通過一個輔助模型提供的高質量特征的輔助監(jiān)督。

圖4:Polar grouping主要是建立一個數(shù)據(jù)庫，將每個組的密集目標存儲在每個類的方向和旋轉的極坐標系系統(tǒng)中。

實驗結果

引用

Qin, Y., Wang, C., Kang, Z., Ma, N., Li, Z., & Zhang, R. (2023). SupFusion: Supervised LiDAR-Camera Fusion for 3D Object Detection. ArXiv. /abs/2309.07084

原文鏈接：https://mp.weixin.qq.com/s/-pPUtrlfeo_09svMxk2qFA