本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

原標題：GraphAlign: Enhancing Accurate Feature Alignment by Graph matching for Multi-Modal 3D Object Detection

論文鏈接: https://arxiv.org/pdf/2310.08261.pdf

作者單位：北京交通大學(xué) 河北科技大學(xué) 清華大學(xué)

論文思路：

LiDAR 和camera是自動駕駛中 3D 目標檢測的互補傳感器。然而，探索點云和圖像之間的非自然交互(unnatural interaction)具有挑戰(zhàn)性，關(guān)鍵因素是如何進行異構(gòu)模態(tài)的特征對齊。目前，許多方法僅通過投影校準來實現(xiàn)特征對齊，沒有考慮傳感器之間的坐標轉(zhuǎn)換精度誤差問題，導(dǎo)致性能次優(yōu)。本文提出了 GraphAlign，這是一種通過圖匹配(graph matching)進行 3D 目標檢測的更準確的特征對齊策略。具體來說，本文融合圖像分支中語義分割編碼器的圖像特征和 LiDAR 分支中 3D 稀疏 CNN 的點云特征。為了節(jié)省計算量，本文通過計算劃分為點云特征的子空間內(nèi)的歐氏距離來構(gòu)造最近鄰關(guān)系。通過圖像和點云之間的投影校準，將點云特征的最近鄰?fù)队暗綀D像特征上。然后，通過將單個點云的最近鄰與多個圖像進行匹配，本文搜索更合適的特征對齊。此外，本文提供了一個自注意力模塊來增強重要關(guān)系的權(quán)重，以微調(diào)異構(gòu)模態(tài)之間的特征對齊。 nuScenes 基準上的大量實驗證明了本文的 GraphAlign 的有效性和效率。

主要貢獻：

本文提出了 GraphAlign，一種基于圖匹配(graph matching)的特征對齊框架，來解決多模態(tài) 3D 目標檢測中的未對齊問題。

本文提出圖特征對齊(Graph Feature Alignment)（GFA）和自注意力特征對齊(Self-Attention Feature Alignment)（SAFA）模塊來實現(xiàn)圖像特征和點云特征的精確對齊，這可以進一步增強點云和圖像模態(tài)之間的特征對齊，從而提高檢測精度。

使用 KITTI [12] 和 nuScenes [2] 基準進行實驗，證明 GraphAlign 可以提高點云檢測精度，特別是對于遠距離目標檢測。

網(wǎng)絡(luò)設(shè)計：

圖 1. 特征對齊策略的比較

(a) 基于投影的方法可以快速建立模態(tài)特征之間的關(guān)系，但可能會因傳感器誤差而出現(xiàn)未對齊的情況。 (b) 基于注意力的方法通過學(xué)習(xí)對齊來保留語義信息，但計算成本較高。 (c) 本文提出的 GraphAlign 使用基于圖的特征對齊來匹配模態(tài)之間更合理的對齊，從而減少計算量并提高準確性。

圖 2. GraphAlign 的框架。

它由圖特征對齊（GFA）模塊和自注意力特征對齊（SAFA）模塊組成。 GFA模塊以圖像和點云特征作為輸入，使用投影校準矩陣將3D位置轉(zhuǎn)換為2D像素位置，構(gòu)造局部鄰域信息以查找最近鄰，并結(jié)合圖像和點云特征。 SAFA模塊通過自注意力機制對K近鄰之間的上下文關(guān)系進行建模，從而增強融合特征的重要性，最終選擇最具代表性的特征。

圖 3. GFA 處理流程

(a) 傳感器精度誤差導(dǎo)致未對齊。 (b) GFA通過點云特征中的圖建立鄰近關(guān)系。 (c) 本文將點云特征投影到圖像特征上，并獲得圖像特征的 K 個最近鄰。 (d) 本文執(zhí)行一對多融合，具體來說，通過將每個單獨的點云特征與 K 個相鄰圖像特征融合來實現(xiàn)更好的對齊。

圖 4.SAFA 模塊流程

這里簡化了head和max模塊，SAFA模塊旨在通過改善K鄰域之間的全局上下文信息來增強融合特征的表示。

實驗結(jié)果：

引用：

Song, Z., Wei, H., Bai, L., Yang, L., & Jia, C. (2023). GraphAlign: Enhancing Accurate Feature Alignment by Graph matching for Multi-Modal 3D Object Detection. ArXiv. /abs/2310.08261

原文鏈接：https://mp.weixin.qq.com/s/eN6THT2azHvoleT1F6MoSw