本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

基于激光雷達(dá)相機(jī)融合的3D檢測(cè)是自動(dòng)駕駛的一項(xiàng)關(guān)鍵任務(wù)。近年來，與單模態(tài)檢測(cè)器相比，許多激光雷達(dá)相機(jī)融合方法涌現(xiàn)，并取得了良好的性能，但始終缺乏精心設(shè)計(jì)和有效監(jiān)督的融合過程。

本文提出了一種稱為SupFusion的新訓(xùn)練策略，該策略為激光雷達(dá)相機(jī)融合提供了輔助特征級(jí)監(jiān)督，并顯著提高了檢測(cè)性能。方法主要包括一種名為Polar Sampling的數(shù)據(jù)增強(qiáng)方法，該方法加密稀疏目標(biāo)并訓(xùn)練輔助模型以生成高質(zhì)量特征作為監(jiān)督。這些特征隨后被用于訓(xùn)練激光雷達(dá)相機(jī)融合模型，其中融合特征被優(yōu)化以模擬生成高質(zhì)量特征。此外，還提出了一種簡(jiǎn)單而有效的深度融合模塊，與以前使用SupFusion策略的融合方法相比，該模塊連續(xù)獲得了優(yōu)越的性能。通過這種方式，本文的方法具有以下優(yōu)點(diǎn)：首先，SupFusion引入了輔助特征級(jí)監(jiān)督，可以在不引入額外推理成本的情況下提高激光雷達(dá)相機(jī)的檢測(cè)性能。其次，所提出的深度融合可以不斷提高檢測(cè)器的能力。提出的SupFusion和深度融合模塊是即插即用的，論文進(jìn)行了大量實(shí)驗(yàn)來證明其有效性。在基于多個(gè)激光雷達(dá)相機(jī)3D檢測(cè)的KITTI基準(zhǔn)上獲得了約2%的3D mAP改進(jìn)！

圖1：頂部，以前的激光雷達(dá)相機(jī)3D檢測(cè)模型，融合模塊是通過檢測(cè)loss進(jìn)行優(yōu)化的。底部：本文提出的SupFusion，通過輔助模型提供的高質(zhì)量特征引入輔助監(jiān)督。

基于激光雷達(dá)相機(jī)融合的3D檢測(cè)是自動(dòng)駕駛和機(jī)器人技術(shù)的一項(xiàng)關(guān)鍵且具有挑戰(zhàn)性的任務(wù)，先前的方法總是通過內(nèi)參和外參將相機(jī)輸入投影到激光雷達(dá)BEV或體素空間，以對(duì)齊激光雷達(dá)和相機(jī)特征。然后，采用簡(jiǎn)單的級(jí)聯(lián)或求和來獲得用于最終檢測(cè)的融合特征。此外，一些基于深度學(xué)習(xí)的融合方法獲得了有希望的性能。然而，以往的融合方法總是通過檢測(cè)損失直接優(yōu)化3D/2D特征提取和融合模塊，這在特征層面缺乏精心設(shè)計(jì)和有效的監(jiān)督，限制了其性能。

近年來，蒸餾方式在用于3D檢測(cè)的特征級(jí)監(jiān)督方面顯示出很大的改進(jìn)。一些方法提供了激光雷達(dá)特征，以指導(dǎo)2D主干根據(jù)相機(jī)輸入估計(jì)深度信息。此外，一些方法提供了激光雷達(dá)相機(jī)融合功能，以監(jiān)督激光雷達(dá)主干從激光雷達(dá)輸入中學(xué)習(xí)全局和上下文表示。通過模擬更穩(wěn)健和高質(zhì)量的特征引入特征級(jí)輔助監(jiān)督，檢測(cè)器可以促進(jìn)邊際改進(jìn)。受此啟發(fā)，處理激光雷達(dá)相機(jī)特征融合的自然解決方案是提供更強(qiáng)、高質(zhì)量的特征，并為激光雷達(dá)相機(jī)3D檢測(cè)引入輔助監(jiān)督！

為此，本文提出了一種名為SupFusion的監(jiān)督式激光雷達(dá)相機(jī)融合方法，以生成高質(zhì)量的特征，并為融合和特征提取過程提供有效的監(jiān)督，進(jìn)一步提高基于激光雷達(dá)相機(jī)的融合3D檢測(cè)性能。首先訓(xùn)練一個(gè)輔助模型來提供高質(zhì)量的功能。為了實(shí)現(xiàn)這一點(diǎn)，與以前利用較大模型或額外數(shù)據(jù)的方法不同，本文提出了一種新的數(shù)據(jù)增強(qiáng)方法，稱為Polar Sampling。Polar Sampling可以從稀疏的激光雷達(dá)數(shù)據(jù)中動(dòng)態(tài)增強(qiáng)目標(biāo)的密度，這更容易檢測(cè)并提高特征質(zhì)量，例如，特征可以得出準(zhǔn)確的檢測(cè)結(jié)果。然后，簡(jiǎn)單地訓(xùn)練基于激光雷達(dá)相機(jī)融合的檢測(cè)器，并引入輔助特征級(jí)監(jiān)督。在這一步中，將原始激光雷達(dá)和相機(jī)輸入輸入到3D/2D主干和融合模塊中，以獲得融合特征。一方面，融合特征被饋送到檢測(cè)頭中用于最終預(yù)測(cè)，這是決策級(jí)監(jiān)督。另一方面，輔助監(jiān)督將融合特征模擬為高質(zhì)量特征，這些特征是通過預(yù)訓(xùn)練的輔助模型和增強(qiáng)的激光雷達(dá)數(shù)據(jù)獲得的。通過這種方式，所提出的特征級(jí)監(jiān)督可以使融合模塊生成更穩(wěn)健的特征，并進(jìn)一步提高檢測(cè)性能。為了更好地融合激光雷達(dá)和相機(jī)的特征，本文提出了一種簡(jiǎn)單而有效的深度融合模塊，該模塊由堆疊的MLP塊和動(dòng)態(tài)融合塊組成。SupFusion可以充分挖掘深度融合模塊的能力，并不斷提高探測(cè)精度！

本文的主要貢獻(xiàn)：

1. 提出了一種新的監(jiān)督融合訓(xùn)練策略SupFusion，該策略主要由高質(zhì)量的特征生成過程組成，并首次提出了用于魯棒融合特征提取和精確3D檢測(cè)的輔助特征級(jí)監(jiān)督損失。
2. 為了在SupFusion中獲得高質(zhì)量的特征，提出了一種名為“Polar Sampling”的數(shù)據(jù)增強(qiáng)方法來加密稀疏目標(biāo)。此外，還提出了一種有效的深度融合模塊，以連續(xù)提高檢測(cè)精度。
3. 基于具有不同融合策略的多個(gè)檢測(cè)器進(jìn)行了廣泛的實(shí)驗(yàn)，并在KITTI基準(zhǔn)上獲得了約2%的mAP改進(jìn)。

提出的方法

高質(zhì)量的特征生成過程如下圖所示，對(duì)于任何給定的LiDAR樣本，通過polar  pasting粘貼來加密稀疏目標(biāo)，極軸polar  pasting計(jì)算方向和旋轉(zhuǎn)以從數(shù)據(jù)庫中查詢密集目標(biāo)，并通過pasting為稀疏目標(biāo)添加額外的點(diǎn)。本文首先通過增強(qiáng)的數(shù)據(jù)訓(xùn)練輔助模型，并將增強(qiáng)的激光雷達(dá)數(shù)據(jù)饋送到輔助模型中，以在其收斂后生成高質(zhì)量特征f*。

高質(zhì)量的特征生成

為了在SupFusion中提供特征級(jí)監(jiān)督，采用了一個(gè)輔助模型來從增強(qiáng)的數(shù)據(jù)中捕獲高質(zhì)量的特征，如圖3所示。首先，訓(xùn)練一個(gè)輔助模型來提供高質(zhì)量的特征。對(duì)于D中的任何樣本，通過polar pasting來增強(qiáng)稀疏的激光雷達(dá)數(shù)據(jù)，以獲得增強(qiáng)的數(shù)據(jù)，該極性粘貼通過極性分組中生成的添加點(diǎn)集來加密備用目標(biāo)。然后，在輔助模型收斂之后，將增強(qiáng)的樣本輸入到優(yōu)化的輔助模型中，以捕獲高質(zhì)量特征，用于訓(xùn)練激光雷達(dá)相機(jī)3D檢測(cè)模型。為了更好地應(yīng)用于給定的激光雷達(dá)相機(jī)檢測(cè)器并更容易實(shí)現(xiàn)，這里簡(jiǎn)單地采用激光雷達(dá)分支探測(cè)器作為輔助模型！

檢測(cè)器訓(xùn)練

對(duì)于任何給定的激光雷達(dá)相機(jī)檢測(cè)器，在特征級(jí)別使用所提出的輔助監(jiān)督來訓(xùn)練模型。給定樣本，的情況下，首先將激光雷達(dá)和相機(jī)輸入到3D和2D編碼器和中，以捕獲相應(yīng)的特征和，這些特征被輸入到融合模型中以生成融合特征，并流到檢測(cè)頭中進(jìn)行最終預(yù)測(cè)。此外，采用所提出的輔助監(jiān)督來模擬具有高質(zhì)量特征的融合特征，該特征是由預(yù)先訓(xùn)練的輔助模型和增強(qiáng)的激光雷達(dá)數(shù)據(jù)生成的。上述過程可以公式化為：

Polar Sampling

為了在提出的SupFusion中通過輔助模型提供高質(zhì)量的特征，本文提出了一種新的數(shù)據(jù)增強(qiáng)方法，稱為Polar Sampling，以緩解經(jīng)常導(dǎo)致檢測(cè)失敗的稀疏問題。為此，用類似的密集目標(biāo)對(duì)激光雷達(dá)數(shù)據(jù)中的稀疏目標(biāo)進(jìn)行了密集處理。極坐標(biāo)采樣由兩部分組成，包括極坐標(biāo)分組和polar pasting。在極性分組中，主要建立一個(gè)數(shù)據(jù)庫來存儲(chǔ)密集目標(biāo)，該數(shù)據(jù)庫用于polar pasting以使稀疏目標(biāo)致密化。

考慮到激光雷達(dá)傳感器的特性，收集到的點(diǎn)云數(shù)據(jù)自然存在特定的密度分布，例如，物體在表面上有更多的點(diǎn)朝向激光雷達(dá)傳感器，而在相對(duì)兩側(cè)的點(diǎn)很少。密度分布主要受方向和旋轉(zhuǎn)的影響，而點(diǎn)的密度主要取決于距離，例如，離激光雷達(dá)傳感器更近的物體具有更密集的點(diǎn)。受此啟發(fā)，本文的目標(biāo)是根據(jù)稀疏目標(biāo)的方向和旋轉(zhuǎn)，將長(zhǎng)距離的稀疏目標(biāo)與短距離的密集目標(biāo)進(jìn)行密度化，以保持密度分布?；趫?chǎng)景中心和特定目標(biāo)為整個(gè)場(chǎng)景以及目標(biāo)建立極坐標(biāo)系，并將激光雷達(dá)傳感器的正方向定義為0度，以測(cè)量相應(yīng)的方向和旋轉(zhuǎn)。然后，收集具有相似密度分布（例如，具有相似方向和旋轉(zhuǎn)）的目標(biāo)，并為極性分組中的每組生成一個(gè)密集目標(biāo)，并在polar pasting中使用它來密集稀疏目標(biāo)。

Polar Grouping

如圖4所示，這里構(gòu)建了一個(gè)數(shù)據(jù)庫B，根據(jù)極性分組中的方向和旋轉(zhuǎn)來存儲(chǔ)生成的密集物點(diǎn)集l，在圖4中記為α和β！

首先，搜索整個(gè)數(shù)據(jù)集，通過位置計(jì)算所有目標(biāo)的極角，并在基準(zhǔn)中提供旋轉(zhuǎn)。其次，根據(jù)目標(biāo)的極角將它們分成幾組。手動(dòng)將方向和旋轉(zhuǎn)劃分為N組，對(duì)于任何目標(biāo)點(diǎn)集l，都可以根據(jù)索引將其放入相應(yīng)的組中：

Polar Pasting

如圖2所示，利用Polar Pasting來增強(qiáng)稀疏的激光雷達(dá)數(shù)據(jù)，以訓(xùn)練輔助模型并生成高質(zhì)量特征。給定LiDAR樣本，，，，包含個(gè)目標(biāo)，對(duì)于任何目標(biāo)，都可以計(jì)算與分組過程相同的方向和旋轉(zhuǎn)，并根據(jù)標(biāo)簽和索引從B查詢密集目標(biāo)，這可以從E.q.6中獲得增強(qiáng)樣本中的所有目標(biāo)并獲得增強(qiáng)的數(shù)據(jù)。

Deep Fusion

為了模擬增強(qiáng)型激光雷達(dá)數(shù)據(jù)生成的高質(zhì)量特征，融合模型旨在從相機(jī)輸入中豐富的顏色和上下文特征中提取稀疏目標(biāo)的缺失信息。為此，本文提出了深度融合模塊，以利用圖像特征并完成激光雷達(dá)演示。所提出的深度融合主要由3D學(xué)習(xí)器和2D-3D學(xué)習(xí)器組成。3D學(xué)習(xí)器是一個(gè)簡(jiǎn)單的卷積層，用于將3D呈現(xiàn)轉(zhuǎn)移到2D空間中。然后，連接2D特征和3D呈現(xiàn)（例如，在2D空間中），2D-3D學(xué)習(xí)器被用來融合LiDAR相機(jī)特征。最后，通過MLP和激活函數(shù)對(duì)融合特征進(jìn)行了加權(quán)，將其添加回原始激光雷達(dá)特征作為深度融合模塊的輸出。2D-3D學(xué)習(xí)器由深度為K的堆疊MLP塊組成，學(xué)習(xí)利用相機(jī)特征來完成稀疏目標(biāo)的激光雷達(dá)表示，以模擬密集激光雷達(dá)目標(biāo)的高質(zhì)量特征。

實(shí)驗(yàn)對(duì)比分析

實(shí)驗(yàn)結(jié)果(mAP@R40%）。這里列出了三個(gè)類別的簡(jiǎn)單、中等（mod.）和困難情況，以及總體性能。這里L(fēng)、LC、LC*表示相應(yīng)的激光雷達(dá)檢測(cè)器、激光雷達(dá)相機(jī)融合檢測(cè)器和本文提案的結(jié)果。?表示改進(jìn)。最佳結(jié)果以粗體顯示，預(yù)期L?是輔助模型，并在增強(qiáng)驗(yàn)證集上進(jìn)行測(cè)試。MVXNet是基于mmdetection3d重新進(jìn)行的。PV-RCNN-LC和Voxel RCNN LC是基于VFF的開源代碼重新進(jìn)行的。

整體性能。3DmAP@R40基于三個(gè)檢測(cè)器的比較如表1所示，三個(gè)類別和每個(gè)難度劃分的總體性能?？梢郧宄赜^察到，通過引入額外的相機(jī)輸入，激光雷達(dá)相機(jī)方法（LC）優(yōu)于基于激光雷達(dá)的檢測(cè)器（L）。通過引入極性采樣，輔助模型（L?）可以在增強(qiáng)的驗(yàn)證集上獲得令人欽佩的性能（例如超過90%的mAP）。有了高質(zhì)量特征的輔助監(jiān)督和提出的深度融合模塊，我們的proposal可以不斷提高檢測(cè)精度。例如，與基線（LC）模型相比，我們的proposal可以為中度和hard目標(biāo)獲得+1.54%和+1.24%的3D mAP改善。此外，還對(duì)基于SECOND-LC的nuScenes基準(zhǔn)進(jìn)行了實(shí)驗(yàn)，如表2所示，NDS和mAP分別提高了+2.01%和+1.38%。

class感知改進(jìn)分析。與基線模型相比，SupFusion和深度融合不僅可以提高整體性能，還可以提高包括Pedestrian在內(nèi)的每個(gè)類別的檢測(cè)性能，比較三個(gè)類別的平均改善（例如中等情況），可以獲得以下觀察結(jié)果：騎自行車的人獲得最大的改善（+2.41%），而行人和汽車分別獲得+1.35%和+0.86%的改善。原因很明顯：（1） 與行人和騎自行車的人相比，汽車更容易被發(fā)現(xiàn)，并獲得最佳效果，因此更難改進(jìn)。（2） 與行人相比，騎自行車的人獲得了更多的改進(jìn)，因?yàn)樾腥耸欠蔷W(wǎng)格的，生成的密集目標(biāo)與騎自行車的相比不那么好，因此獲得的性能改進(jìn)較低！

原文鏈接：https://mp.weixin.qq.com/s/vWew2p9TrnzK256y-A4UFw