本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

寫在前面&筆者的個(gè)人理解

基于激光雷達(dá)的稀疏3D目標(biāo)檢測(cè)因其計(jì)算效率優(yōu)勢(shì)在自動(dòng)駕駛應(yīng)用中起著至關(guān)重要的作用?，F(xiàn)有的方法要么使用單個(gè)中心體素的特征作為目標(biāo)代理，要么將前景點(diǎn)的聚合視為目標(biāo)agent。然而，前者缺乏聚合上下文信息的能力，導(dǎo)致目標(biāo)代理中的信息表達(dá)不足。后者依賴于多級(jí)流水線和輔助任務(wù)，降低了推理速度。為了在充分聚合上下文信息的同時(shí)保持稀疏框架的效率，在這項(xiàng)工作中，我們提出了SparseDet，它將稀疏查詢?cè)O(shè)計(jì)為目標(biāo)代理。它引入了兩個(gè)關(guān)鍵模塊，即局部多尺度特征聚合（LMFA）模塊和全局特征聚合（GFA）模塊，旨在充分捕獲上下文信息，從而增強(qiáng)代理表示目標(biāo)的能力。其中LMFA子模塊通過(guò)坐標(biāo)變換和使用最近鄰關(guān)系來(lái)捕獲目標(biāo)級(jí)細(xì)節(jié)和局部上下文信息，實(shí)現(xiàn)稀疏關(guān)鍵體素在不同尺度上的特征融合，GFA子模塊使用self-att來(lái)選擇性地聚合整個(gè)場(chǎng)景中關(guān)鍵體素的特征，以捕獲場(chǎng)景級(jí)上下文信息。在nuScenes和KITTI上的實(shí)驗(yàn)證明了我們方法的有效性。具體來(lái)說(shuō)，在nuScene上，SparseDet以13.5 FPS的幀率超越VoxelNeXt 2.2% mAP，在KITTI上，它以17.9 FPS的幀率超越VoxelNelXt 1.12% AP3D。

為了在稀疏框架中有效地聚合上下文信息的同時(shí)實(shí)現(xiàn)高效的檢測(cè)，在這項(xiàng)研究中，我們提出了一種簡(jiǎn)單有效的全稀疏3D目標(biāo)檢測(cè)框架SparseDet。SparseDet使用3D稀疏卷積網(wǎng)絡(luò)從點(diǎn)云中提取特征，并將其轉(zhuǎn)換為2D稀疏特征，以便通過(guò)檢測(cè)n頭進(jìn)行進(jìn)一步預(yù)測(cè)。如圖2（c）所示，SparseDet將稀疏查詢?cè)O(shè)計(jì)為目標(biāo)代理，允許靈活和選擇性地聚合點(diǎn)云以獲得場(chǎng)景中的目標(biāo)代理。與之前的稀疏聚合范式相比，首先，SparseDet將局部上下文信息的聚合擴(kuò)展到多尺度特征空間，從而獲得更豐富的局部信息。此外，與僅關(guān)注聚合前景點(diǎn)特征的現(xiàn)有方法相比，SparseDet可以聚合每個(gè)實(shí)例的場(chǎng)景級(jí)上下文，以促進(jìn)場(chǎng)景和實(shí)例特征之間的潛在協(xié)作。最后，SparseDet不需要任何額外的輔助任務(wù)。

相關(guān)工作回顧

LiDAR-based Dense Detectors

盡管點(diǎn)云數(shù)據(jù)與2D圖像數(shù)據(jù)相比表現(xiàn)出不同的稀疏特性，但3D目標(biāo)檢測(cè)器通常是通過(guò)參考2D檢測(cè)器來(lái)設(shè)計(jì)的。大多數(shù)工作都使用了2D dense檢測(cè)頭來(lái)解決3D檢測(cè)問(wèn)題。這些方法通常被稱為基于激光雷達(dá)的dense detectors。

作為先驅(qū)，VoxelNet將點(diǎn)云劃分為規(guī)則網(wǎng)格，并使用3D骨干網(wǎng)絡(luò)進(jìn)行特征提取。然后，它應(yīng)用dense head進(jìn)行預(yù)測(cè)?；赩oxelNet，SECOND實(shí)現(xiàn)了稀疏卷積和子流形卷積算子的高效計(jì)算，通過(guò)構(gòu)建哈希表來(lái)獲得快速的推理速度。然而，SECOND仍然需要dense的鳥瞰圖（BEV）特征圖和dense的檢測(cè)頭進(jìn)行檢測(cè)。在SECOND的影響下，大多數(shù)后續(xù)網(wǎng)絡(luò)都遵循利用3D稀疏骨干與2D dense檢測(cè)頭相結(jié)合的范式。

盡管基于激光雷達(dá)的dense detectors在多個(gè)基準(zhǔn)數(shù)據(jù)集上表現(xiàn)出了出色的性能，但它們對(duì)dense的鳥瞰圖（BEV）特征圖和dense的探測(cè)頭的依賴使其難以擴(kuò)展到long-range檢測(cè)。這是因?yàn)閐ense BEV特征圖的計(jì)算成本隨著檢測(cè)距離的增加呈二次方增長(zhǎng)。這一缺點(diǎn)嚴(yán)重限制了基于激光雷達(dá)的dense detectors在現(xiàn)實(shí)世界場(chǎng)景中的實(shí)際應(yīng)用。

LiDAR-based Sparse Detectors

目前，稀疏檢測(cè)器包括基于點(diǎn)的方法和基于部分體素的方法?；邳c(diǎn)的方法使用點(diǎn)云中的關(guān)鍵點(diǎn)進(jìn)行特征聚合和檢測(cè)。這些方法不需要在整個(gè)空間內(nèi)進(jìn)行dense的采樣和計(jì)算，使其具有固有的稀疏檢測(cè)器。FSD和FSDV2是這一系列方法的代表。FSD通過(guò)對(duì)分割的前景點(diǎn)進(jìn)行聚類來(lái)表示單個(gè)目標(biāo)。然后，它將PointNet提取的特征輸入檢測(cè)頭進(jìn)行校準(zhǔn)和預(yù)測(cè)。在FSDv2中，實(shí)例聚類步驟被虛擬體素化模塊所取代，該模塊旨在消除手動(dòng)構(gòu)建的實(shí)例級(jí)表示所引入的固有偏差。盡管充分聚合了前景信息，但對(duì)額外輔助任務(wù)和眾多超參數(shù)的依賴導(dǎo)致推理速度差。

在基于體素的稀疏方法中，VoxelNeXt引入了額外的下采樣層，將體素放置在目標(biāo)中心附近，隨后對(duì)關(guān)鍵體素進(jìn)行特征擴(kuò)散，將特征傳播到目標(biāo)中心。SAFDNet通過(guò)提出自適應(yīng)特征擴(kuò)散策略來(lái)解決缺失中心特征的問(wèn)題。盡管SAFDNet和VoxelNeXt取得了令人印象深刻的效率，但它們僅依賴單中心體素特征進(jìn)行檢測(cè)，這大大削弱了目標(biāo)代理的信息表示能力，最終導(dǎo)致模型性能下降。如前所述，僅將中心體素特征視為目標(biāo)代理會(huì)導(dǎo)致圖2（a）所示的同一實(shí)例中的一些點(diǎn)云信息丟失。在這項(xiàng)工作中，我們使用稀疏查詢和注意力機(jī)制通過(guò)LMFA和GFA模塊獲取目標(biāo)代理，從而能夠動(dòng)態(tài)捕獲不同粒度的上下文信息。這促進(jìn)了場(chǎng)景級(jí)和實(shí)例級(jí)特征之間的協(xié)作，從而使模型能夠獲得更豐富、更準(zhǔn)確的目標(biāo)表示。

SPARSEDET詳解

在本節(jié)中，我們提出了一種簡(jiǎn)單高效的基于激光雷達(dá)的稀疏檢測(cè)框架SparseDet。圖3展示了其結(jié)構(gòu)，該結(jié)構(gòu)遵循完全稀疏網(wǎng)絡(luò)VoxelNeXt的流水線。但不同的是，為了充分聚合點(diǎn)云中的上下文信息以增強(qiáng)稀疏目標(biāo)代理的信息表達(dá)能力，我們?cè)O(shè)計(jì)了兩個(gè)子模塊，LMFA（局部多尺度特征聚合）模塊和GFA（全局特征聚合）模型。這兩個(gè)模塊旨在自適應(yīng)地聚合點(diǎn)云上的多級(jí)上下文信息，并使SparseDet能夠強(qiáng)烈增強(qiáng)目標(biāo)代理的信息表示能力，從而以較低的計(jì)算成本提高3D檢測(cè)的性能。

Local Multi-scale Feature Aggregation

大多數(shù)基于激光雷達(dá)的稀疏檢測(cè)方法利用中心體素特征作為檢測(cè)的目標(biāo)代理。雖然使用中心特征作為目標(biāo)代理可以提供準(zhǔn)確的位置信息，但單個(gè)中心體素特征不足以完全捕獲目標(biāo)的全部信息。這嚴(yán)重削弱了目標(biāo)代理的表達(dá)能力。因此，我們提出了LMFA模塊來(lái)彌補(bǔ)這些缺點(diǎn)。在LMFA模塊中，我們專注于學(xué)習(xí)目標(biāo)周圍的局部上下文信息，這有助于理解目標(biāo)目標(biāo)的形狀、大小和相對(duì)位置等細(xì)節(jié)。如圖4所示，我們通過(guò)K個(gè)最近鄰（KNN）位置關(guān)系動(dòng)態(tài)聚合關(guān)鍵體素的鄰域信息，以增強(qiáng)其特征表示能力。然后，聚合的關(guān)鍵體素特征將用于初始化稀疏目標(biāo)查詢。值得注意的是，考慮到3D目標(biāo)尺度的分布差異，我們將LMFA擴(kuò)展到多尺度空間。因此，LMFA主要由兩個(gè)步驟組成，稀疏關(guān)鍵體素選擇和不同尺度體素特征的融合。

1）稀疏關(guān)鍵體素選擇：首先，我們將點(diǎn)云體素化，并將其輸入到3D稀疏卷積骨干網(wǎng)絡(luò)中。參考VoxelNeXt，我們?cè)?D稀疏骨干網(wǎng)絡(luò)中添加了兩個(gè)額外的下采樣層。這一步有兩個(gè)關(guān)鍵目的。首先，它通過(guò)額外的下采樣過(guò)程構(gòu)建多尺度特征空間，以促進(jìn)LMFA模塊中的后續(xù)特征聚合。其次，通過(guò)額外的采樣和高度壓縮操作，我們可以將體素特征放置在空白的目標(biāo)中心，以更準(zhǔn)確地構(gòu)建鄰域關(guān)系。通過(guò)上述操作，原始稀疏3D卷積骨干從{Fs1、Fs2、Fs3、Fs4}轉(zhuǎn)換為{Fs1，F(xiàn)s2，F(xiàn)s3，F(xiàn)s4，F(xiàn)s5{Fs6}，特征步長(zhǎng)為{1,2,4,8,16,32}。然后，我們將Fs5和Fs6變換到Fs4的特征空間，并將Fs4、Fs5和Fs 6連接在一起以獲得FF融合。然后，我們對(duì)FFusion、Fs4、Fs5和Fs6進(jìn)行高壓縮，以獲得。具體來(lái)說(shuō)，遵循VoxelNeXt，我們替換地平面上的所有體素特征，并在相同的位置對(duì)其進(jìn)行求和。

為了選擇關(guān)鍵體素，我們使用heatmap操作，該操作基于稀疏體素特征F2D預(yù)測(cè)Cls類的體素得分Score。我們將最靠近目標(biāo)中心的體素指定為陽(yáng)性樣本，并使用Focal Loss進(jìn)行監(jiān)督。這意味著得分較高的體素屬于前景的概率較高。隨后，我們將top-分?jǐn)?shù)操作應(yīng)用于，以獲得Nkey稀疏體素候選。這里，被設(shè)置為默認(rèn)值500。

2）不同尺度體素特征的融合：在本節(jié)中，我們構(gòu)建了一個(gè)K近鄰圖，以獲取不同尺度下稀疏候選體素的鄰域信息，從而獲得更全面的局部上下文，解決了稀疏特征信息表示能力不足的問(wèn)題。

在稀疏關(guān)鍵體素選擇之后，我們得到了稀疏體素的特征，記為。相應(yīng)的坐標(biāo)位置索引被定義為Ikey，形狀為（，2），表示2D位置索引。我們首先將體素在S4尺度上的位置坐標(biāo)（表示為Is4）分別除以2和4，將其轉(zhuǎn)換為{S5，S6}的低分辨率體素空間。然后，我們將相應(yīng)的空間坐標(biāo)索引保存為Is5、Is6。給定Nkey稀疏體素在不同尺度空間中的位置坐標(biāo)信息，我們的目標(biāo)是為每個(gè)關(guān)鍵體素找到K個(gè)最近的體素。的值隨著縮放空間的變化而減半，這可以使用以下公式確定。

為了提高LMFA的效率，我們采用KD樹算法來(lái)獲得特定尺度Si下每個(gè)關(guān)鍵體素的鄰居的索引。環(huán)視的鄰域體素具有特征。然后，利用MLP來(lái)聚合相鄰體素特征的特征，這是通過(guò)以下公式實(shí)現(xiàn)：

給定稀疏體素的編碼多尺度特征，一種樸素的融合方法是將多尺度特征連接起來(lái)形成一個(gè)特征。然而，我們觀察到，一些目標(biāo)檢測(cè)更多地依賴于來(lái)自特定尺度的信息，而不是來(lái)自所有尺度的信息。例如，低分辨率特征映射了關(guān)于小目標(biāo)的漆信息。因此，與小目標(biāo)相關(guān)的關(guān)鍵體素應(yīng)該更有效地僅從高分辨率特征圖中收集信息。

我們建議使用可學(xué)習(xí)的比例權(quán)重來(lái)自動(dòng)選擇每個(gè)關(guān)鍵體素Fkey的比例，如下所示

通過(guò)這種比例選擇機(jī)制，與每個(gè)關(guān)鍵體素最相關(guān)的比例被柔和地選擇，而來(lái)自其他比例的視覺(jué)特征被抑制。然后，我們根據(jù)Fkey的位置索引將Fkey放入中，得到增強(qiáng)的。我們的自適應(yīng)融合的整個(gè)過(guò)程如圖5所示。

Global Feature Aggregation

LMFA模塊旨在通過(guò)使用最近鄰位置關(guān)系動(dòng)態(tài)聚合關(guān)鍵體素的鄰域信息來(lái)學(xué)習(xí)目標(biāo)周圍的局部上下文信息。

盡管鄰域體素特征的融合增強(qiáng)了前景稀疏體素特征表達(dá)能力，但LMFA模塊在處理稀疏檢測(cè)場(chǎng)景時(shí)仍然存在局限性。1）對(duì)于大目標(biāo)，使用單個(gè)聚合稀疏體素作為目標(biāo)檢測(cè)的代理仍然會(huì)丟失信息，因?yàn)槟繕?biāo)代理應(yīng)該包含整個(gè)目標(biāo)的信息，而不僅僅是局部區(qū)域的信息。2）LMFA忽略了整個(gè)場(chǎng)景和實(shí)例特征之間的潛在協(xié)作。例如，場(chǎng)景中的假陰性目標(biāo)可以通過(guò)與共享相似語(yǔ)義信息的實(shí)例交互來(lái)增強(qiáng)其特征，從而得到潛在的糾正。因此，我們提出了GFA（全局特征聚合）模塊，通過(guò)學(xué)習(xí)整個(gè)場(chǎng)景的全局結(jié)構(gòu)和語(yǔ)義信息，進(jìn)一步解決了LMFA模塊的局限性。這使得SparseDet能夠以局部和全局的方式利用目標(biāo)的上下文信息來(lái)消除歧義，從而提高檢測(cè)精度。

實(shí)驗(yàn)

1）LMFA和GFA模塊的影響：本節(jié)討論了在基線detectorsVoxelNeXt上進(jìn)行的消融實(shí)驗(yàn)的結(jié)果，以評(píng)估SparseDet中每個(gè)組件的性能。表VI和表VII分別報(bào)告了KITTI和nuScenes 14子集的結(jié)果。表VI顯示了KITTI上AP3D和APBEV的初始AP評(píng)分，分別為78.44%和87.10%。如表六所示，LMFA和GFA模塊顯著提高了硬級(jí)KITTI任務(wù)的性能，AP3D和APBEV分別提高了4.27%和3.35%。所有的改進(jìn)都沒(méi)有顯著增加模型的參數(shù)或降低推理速度。

如表七所示，當(dāng)使用LMFA模塊時(shí)，SparseDet實(shí)現(xiàn)了出色的性能提升，這表明有效地聚合上下文信息可以更好地增強(qiáng)稀疏特征的表示能力，從而提高稀疏3D目標(biāo)檢測(cè)器的性能。這促進(jìn)了場(chǎng)景和實(shí)例特征之間的協(xié)作，從而產(chǎn)生了更豐富、更準(zhǔn)確的目標(biāo)表示。當(dāng)LMFA和GFA結(jié)合時(shí)，這種增強(qiáng)效果進(jìn)一步增強(qiáng)，導(dǎo)致mAP改善2.4%，NDS改善1.3%?？傊?，我們的消融實(shí)驗(yàn)表明，SparseDet在具有挑戰(zhàn)性的數(shù)據(jù)集上有效地提高了基線的性能。研究結(jié)果強(qiáng)調(diào)了上下文信息聚合在稀疏檢測(cè)框架中的重要性，并為設(shè)計(jì)有效的聚合策略提供了寶貴的見(jiàn)解。

2）M數(shù)量的影響：選擇相鄰體素特征，以增強(qiáng)關(guān)鍵位置的特征表示，是LMFA模塊的關(guān)鍵組成部分。在本節(jié)中，我們將討論相鄰體素?cái)?shù)量M的選擇及其相應(yīng)的有效性。因此，我們?yōu)槌瑓?shù)M（相鄰體素的數(shù)量）配置了不同的值，包括4、8、16和32。如表八所示，M值的變化對(duì)模型的性能沒(méi)有顯著影響。值得注意的是，當(dāng)M設(shè)置為8時(shí)，我們的SparseDet模型達(dá)到了最高的mAP，而將M設(shè)置為16則可獲得最佳的NDS性能?？紤]到整體模型性能、推理時(shí)間、訓(xùn)練記憶和模型參數(shù)，我們最終將M設(shè)置為8作為默認(rèn)值。

3）Nkey數(shù)量的影響：如表IX所示，我們對(duì)nuScenes驗(yàn)證數(shù)據(jù)集中LMFA模塊內(nèi)關(guān)鍵體素Nkey的數(shù)量進(jìn)行了消融研究。我們?cè)?00、1000、1500和2000之間配置超參數(shù)Nkey的值。綜上所述，隨著Nkey值的增加，SparseDet的性能相應(yīng)有不同程度的提高。從表中可以看出，模型的性能對(duì)Nkey的變化沒(méi)有表現(xiàn)出很強(qiáng)的敏感性。雖然簡(jiǎn)單地增加Nkey的值可以提高模型的性能，但這是以降低推理速度為代價(jià)的。在權(quán)衡了模型的準(zhǔn)確性和推理延遲后，我們最終選擇500作為Nkey的默認(rèn)值。

4）數(shù)量的影響：如表X所示，我們對(duì)nuScenes驗(yàn)證集GFA模塊中的超參數(shù)NK，V進(jìn)行了消融研究。我們?cè)?000、8000、10000和12000之間配置超參數(shù)的值。值得注意的是，當(dāng)?shù)闹翟O(shè)置為12000時(shí)，SparseDet的mAP和NDS得分最高，但推理速度最低。在權(quán)衡了模型的準(zhǔn)確性和推理延遲后，我們最終將NK，V設(shè)置為10000作為默認(rèn)值。

5）模型在不同距離下的性能：與dense檢測(cè)器相比，稀疏檢測(cè)器的一個(gè)關(guān)鍵優(yōu)勢(shì)是它們能夠擴(kuò)展模型的遠(yuǎn)程檢測(cè)能力，而不會(huì)顯著增加推理延遲。因此，對(duì)遠(yuǎn)距離目標(biāo)的穩(wěn)定檢測(cè)是評(píng)估稀疏檢測(cè)器性能的關(guān)鍵指標(biāo)。為了更好地了解我們的SparseDet在長(zhǎng)距離下的卓越性能，我們?cè)诒鞽I和表XII中提供了不同距離范圍的性能指標(biāo)。具體來(lái)說(shuō)，與VoxelNeXt相比，我們的指標(biāo)顯示出更顯著的改善，特別是在20-40m和40m-inf的距離范圍內(nèi)。例如，在KITTI 40m-inf下的3D檢測(cè)中，我們的SparseDet將AP3D提高了9.28%。在40m-inf的BEV檢測(cè)中，我們的SparseDet將APBEV提高了9.40%。在nuScenes數(shù)據(jù)集上，在40m-inf的檢測(cè)中，我們的SparseDet在mAP和NDS上分別提高了4.1%和3.6%。這些結(jié)果清楚地反映了我們的SparseDet模型在遠(yuǎn)程檢測(cè)方面的優(yōu)勢(shì)。

在圖6中，與VoxelNeXt相比，我們以KITTI中汽車類0-70.4m的檢測(cè)范圍為例，說(shuō)明了我們的SparseDet在遠(yuǎn)程/遠(yuǎn)距離目標(biāo)檢測(cè)方面的優(yōu)越性。根據(jù)該圖，我們的SparseDet有一個(gè)假陽(yáng)性結(jié)果，但沒(méi)有遺漏實(shí)例。其中，VoxelNeXt存在遠(yuǎn)距離目標(biāo)丟失的問(wèn)題。這可以歸因于Our SparseDet充分利用了點(diǎn)云中的多尺度上下文語(yǔ)義信息，這對(duì)于稀疏點(diǎn)云中的遠(yuǎn)程目標(biāo)至關(guān)重要，因?yàn)檫@些目標(biāo)通常因缺乏信息而較弱?？傮w而言，我們的方法在遠(yuǎn)程目標(biāo)檢測(cè)的精度方面有了顯著提高。

結(jié)論

在這項(xiàng)工作中，我們提出了SparseDet，這是一個(gè)簡(jiǎn)單有效的全稀疏3D目標(biāo)檢測(cè)框架。具體來(lái)說(shuō)，基于VoxelNeXt，我們?cè)O(shè)計(jì)了一個(gè)高效的稀疏檢測(cè)框架，更合理地使用實(shí)例級(jí)和場(chǎng)景級(jí)點(diǎn)云上下文信息。這顯著增強(qiáng)了目標(biāo)代理的表達(dá)能力，從而大大提高了稀疏檢測(cè)器的檢測(cè)性能。綜合實(shí)驗(yàn)結(jié)果表明，與KITTI和nuScenes數(shù)據(jù)集上的基線相比，SparseDet顯著提高了性能。我們希望我們的工作能夠?yàn)樽詣?dòng)駕駛的稀疏檢測(cè)器提供新的見(jiàn)解。

目前，稀疏3D檢測(cè)器的研究工作還不足以滿足多模態(tài)3D檢測(cè)等其他方向的需求。這使得3D稀疏框架的比較方法受到限制。然而，對(duì)于現(xiàn)實(shí)世界的應(yīng)用程序，模型的延遲非常重要。因此，對(duì)全稀疏快速detectors的研究需要更多的關(guān)注和重點(diǎn)。