本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

原標(biāo)題：Multi-Modal Sensor Fusion and Object Tracking for Autonomous Racing

論文鏈接：https://arxiv.org/pdf/2310.08114.pdf

代碼鏈接：https://github.com/TUMFTM/FusionTracking

作者單位：慕尼黑工業(yè)大學(xué)

期刊：IEEE TRANSACTIONS ON INTELLIGENT VEHICLES

論文思路：

對(duì)周圍目標(biāo)的可靠檢測(cè)和跟蹤是自動(dòng)駕駛車輛綜合運(yùn)動(dòng)預(yù)測(cè)和規(guī)劃必不可少的。由于單個(gè)傳感器的局限性，需要多傳感器模態(tài)融合來提高整體檢測(cè)能力。此外，魯棒運(yùn)動(dòng)跟蹤對(duì)于降低傳感器噪聲的影響，提高狀態(tài)估計(jì)精度至關(guān)重要。自動(dòng)駕駛汽車軟件的可靠性在復(fù)雜、競(jìng)爭(zhēng)激烈的高速場(chǎng)景下變得更加重要。本文提出了一種適用于高速應(yīng)用的模塊化多模態(tài)傳感器融合與跟蹤方法。該方法基于擴(kuò)展卡爾曼濾波器(Extended Kalman Filter) (EKF)，能夠融合異構(gòu)檢測(cè)輸入來一致地跟蹤周圍物體。一種新穎的延遲補(bǔ)償方法能夠減少感知軟件延遲的影響，并輸出一個(gè)更新的目標(biāo)列表。這是第一個(gè)在Indy Autonomous Challenge 2021和CES (AC@CES) 2022的高速現(xiàn)實(shí)場(chǎng)景中驗(yàn)證的融合和跟蹤方法，證明了它在嵌入式系統(tǒng)上的魯棒性和計(jì)算效率。它不需要任何標(biāo)記數(shù)據(jù)，實(shí)現(xiàn)0.1 m以下的位置跟蹤殘差(residuals)。

主要貢獻(xiàn)：

一種用于多模態(tài)異構(gòu)檢測(cè)的模塊化后期融合方法

一種通過運(yùn)動(dòng)學(xué)前后積分(kinematic backward-forward integration)進(jìn)行延遲補(bǔ)償?shù)母兄浖?/p>

跟蹤算法在完整的自動(dòng)駕駛軟件中的實(shí)際應(yīng)用中得到驗(yàn)證，用于速度高達(dá) 270  的自動(dòng)駕駛賽車 [4]、[5]。

網(wǎng)絡(luò)設(shè)計(jì)：

基于這些問題，將本文的問題表述如下：本文希望提供一種魯棒的融合和跟蹤方法，該方法能夠可靠地處理多種異構(gòu)傳感器模態(tài)，并一致且準(zhǔn)確地跟蹤周圍物體的運(yùn)動(dòng)。該方法應(yīng)在現(xiàn)實(shí)世界中適用于高速自動(dòng)駕駛的軟件堆棧，這需要低延遲并考慮感知軟件延遲。此外，無需標(biāo)注數(shù)據(jù)即可適用。本文解決這個(gè)問題的后期融合和目標(biāo)跟蹤方法的構(gòu)建如下。多模態(tài)后期融合可以處理來自多個(gè)異構(gòu)檢測(cè) pipeline 的輸入。原始輸入會(huì)被過濾以查找偏離軌道的目標(biāo)以及每個(gè)目標(biāo)的多次檢測(cè)。然后，基于距離的匹配將過濾后的目標(biāo)列表與當(dāng)前跟蹤的目標(biāo)按時(shí)間順序關(guān)聯(lián)起來。如果匹配成功，則將擴(kuò)展卡爾曼濾波器 (EKF) 應(yīng)用于運(yùn)動(dòng)模型以進(jìn)行狀態(tài)估計(jì)。該方法的一個(gè)重要特征是延遲補(bǔ)償：由于檢測(cè)輸入的延遲，在觀測(cè)存儲(chǔ)中應(yīng)用向后搜索來獲取傳感器時(shí)間戳處的跟蹤目標(biāo)。然后，歷史狀態(tài)的優(yōu)化狀態(tài)估計(jì)與運(yùn)動(dòng)學(xué)模型前向集成，以將所有存儲(chǔ) entries 更新到當(dāng)前時(shí)間戳。通過這種方式，運(yùn)動(dòng)預(yù)測(cè)和自我運(yùn)動(dòng)規(guī)劃接收周圍目標(biāo)的更新、優(yōu)化的軌跡。圖 1 顯示了 2022 年 CES (AC@CES) 自動(dòng)駕駛挑戰(zhàn)賽上記錄的所提出方法的典型場(chǎng)景，包括脫軌濾波器（黑色）、延遲感知（橙色虛線）和補(bǔ)償優(yōu)化狀態(tài)估計(jì)（橙色立方體）。

圖 1. AC@CES 2022 上提出的多模態(tài)目標(biāo)融合和跟蹤方法的真實(shí)場(chǎng)景（行駛方向：左）。

圖2.多模態(tài)傳感器融合和目標(biāo)跟蹤方法的接口（黑色）和結(jié)構(gòu)。

圖 3. AC@CES 2022 上的示例高速現(xiàn)實(shí)場(chǎng)景。ego 速度為 255 ，物體速度為 233  。

圖 4. LiDAR（藍(lán)色）和 RADAR（橙色）檢測(cè)輸入數(shù)據(jù)的數(shù)據(jù)分析。

實(shí)驗(yàn)結(jié)果：

圖 5. 從傳感器時(shí)間戳到 LiDAR（藍(lán)色）和 RADAR（橙色）跟蹤 subscription 的延遲分布（以毫秒為單位）（左）和移動(dòng)距離（以米為單位）（右）。

圖 6. 融合系統(tǒng)（黑色）、LiDAR（藍(lán)色）和 RADAR（橙色）檢測(cè)輸入在不同觀測(cè)時(shí)間的殘差(Residual error)。

引用：

Karle, P., Fent, F., Huch, S., Sauerbeck, F., & Lienkamp, M. (2023). Multi-Modal Sensor Fusion and Object Tracking for Autonomous Racing. ArXiv. https://doi.org/10.1109/TIV.2023.3271624

原文鏈接：https://mp.weixin.qq.com/s/v4Mmghz-g5iKSQ4S4oSM_A