本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

自主駕駛在復(fù)雜場(chǎng)景下的目標(biāo)檢測(cè)任務(wù)至關(guān)重要，而毫米波雷達(dá)和視覺(jué)融合是確保障礙物精準(zhǔn)檢測(cè)的主流解決方案。本論文詳細(xì)介紹了基于毫米波雷達(dá)和視覺(jué)融合的障礙物檢測(cè)方法，從任務(wù)介紹、評(píng)估標(biāo)準(zhǔn)和數(shù)據(jù)集三方面展開(kāi)。

并對(duì)毫米波雷達(dá)和視覺(jué)融合過(guò)程的傳感器部署、傳感器標(biāo)定和傳感器融合（融合方法分為數(shù)據(jù)級(jí)、決策級(jí)和特征級(jí)融合方法）三個(gè)部分進(jìn)行了匯總討論。

此外，還介紹了三維（3D）目標(biāo)檢測(cè)、自動(dòng)駕駛中的激光雷達(dá)和視覺(jué)融合以及多模態(tài)信息融合，并進(jìn)行了展望。

背景介紹

較高level的自動(dòng)駕駛車輛面臨的挑戰(zhàn)之一是復(fù)雜場(chǎng)景中的精確目標(biāo)檢測(cè)，當(dāng)前的視覺(jué)目標(biāo)檢測(cè)算法已經(jīng)達(dá)到了性能上限，因?yàn)闄z測(cè)算法在實(shí)踐中面臨非常復(fù)雜的情況。

對(duì)于自動(dòng)駕駛場(chǎng)景，障礙物主要包括行人、汽車、卡車、自行車和摩托車，視覺(jué)范圍內(nèi)的障礙物具有不同的尺度和長(zhǎng)寬比。此外，障礙物之間可能存在不同程度的遮擋，并且由于暴雨、大雪和大霧等極端天氣，障礙物的外觀可能會(huì)模糊，從而導(dǎo)致檢測(cè)性能大大降低[13]。研究表明，CNN對(duì)未經(jīng)訓(xùn)練的場(chǎng)景泛化能力較差[14]。

camera不足以獨(dú)立完成自動(dòng)駕駛感知任務(wù)，與視覺(jué)傳感器相比，毫米波雷達(dá)的檢測(cè)性能受極端天氣的影響較小[15]、[16]。此外，毫米波雷達(dá)不僅測(cè)量距離，還可以利用運(yùn)動(dòng)物體反射信號(hào)的多普勒效應(yīng)測(cè)量速度矢量[17]、[18]。然而，毫米波雷達(dá)無(wú)法提供目標(biāo)的輪廓信息，并且難以區(qū)分相對(duì)靜止的目標(biāo)。從這個(gè)方面看，視覺(jué)傳感器和毫米波雷達(dá)的探測(cè)能力可以相互補(bǔ)充。基于毫米波雷達(dá)和視覺(jué)融合的檢測(cè)算法可以顯著提高自主車輛的感知能力，幫助車輛更好地應(yīng)對(duì)復(fù)雜場(chǎng)景中的目標(biāo)檢測(cè)任務(wù)。

基于毫米波雷達(dá)和視覺(jué)融合的目標(biāo)檢測(cè)過(guò)程如下圖所示，毫米波雷達(dá)與視覺(jué)融合過(guò)程包括三個(gè)部分：傳感器選擇、傳感器標(biāo)定和傳感器融合，為了實(shí)現(xiàn)毫米波雷達(dá)和視覺(jué)融合目標(biāo)檢測(cè)的預(yù)期性能，需要解決以下挑戰(zhàn)：

1. 同一時(shí)間和空間的標(biāo)定校準(zhǔn)；
2. 融合不同傳感器的數(shù)據(jù)以實(shí)現(xiàn)best性能的目標(biāo)檢測(cè)；

最近幾年，大部分綜述集中在視覺(jué)檢測(cè)上，很少有radar-camera融合相關(guān)的paper，對(duì)雷達(dá)和視覺(jué)融合缺乏深入分析，本論文將重點(diǎn)介紹低成本毫米波雷達(dá)和視覺(jué)融合解決方案。

檢測(cè)任務(wù)定義

二維（2D）目標(biāo)檢測(cè)使用2D box在車輛的視覺(jué)圖像中選擇檢測(cè)到的障礙物目標(biāo)，然后對(duì)目標(biāo)進(jìn)行分類和定位。這里的定位指的是圖像中目標(biāo)的定位，而不是真實(shí)世界中目標(biāo)相對(duì)于車輛的定位。

在三維（3D）目標(biāo)檢測(cè)中，使用3D box定位目標(biāo)，不僅是圖像中確定目標(biāo)的位置，而且還確定了現(xiàn)實(shí)世界中目標(biāo)的姿態(tài)和位置。

評(píng)價(jià)標(biāo)準(zhǔn)

主要使用AP和AR權(quán)衡目標(biāo)檢測(cè)中的準(zhǔn)確度和召回率，通過(guò)將召回值和精度值分別作為水平軸和垂直軸，可以獲得精度召回（PR）曲線，平均精度（mAP）表示檢測(cè)模型的合并結(jié)果，可通過(guò)計(jì)算所有類別的平均AP值獲得。

以自動(dòng)駕駛KITTI數(shù)據(jù)集為例，對(duì)于2D對(duì)象檢測(cè)，通過(guò)比較檢測(cè)邊界框和gt邊界框之間的IoU是否大于閾值來(lái)確定目標(biāo)定位的正確性[22]。然而在自主駕駛的研究中，三維目標(biāo)檢測(cè)目前更具吸引力。KITTI正式規(guī)定，對(duì)于車輛，正確預(yù)測(cè)要求預(yù)測(cè)的3D框與真實(shí)3D框重疊70%以上，而對(duì)于行人和自行車，則要求3D框重疊50%[24]。

相關(guān)數(shù)據(jù)集

相關(guān)數(shù)據(jù)集主要包括：Apolloscape、KITTI、Cityscapes、Waymo Open Dataset、nuScenes等；

Apolloscape

百度在2017年創(chuàng)建的阿波羅開(kāi)放平臺(tái)的part，它使用Reigl激光雷達(dá)收集點(diǎn)云，Reigl生成的三維點(diǎn)云比Velodyne生成的點(diǎn)云更精確、密度更高。目前，ApolloScape已經(jīng)打開(kāi)了147000幀像素級(jí)語(yǔ)義標(biāo)注圖像，包括感知分類和道路網(wǎng)絡(luò)數(shù)據(jù)等。

KITTI

KITTI數(shù)據(jù)集[22]，由德國(guó)卡爾斯魯厄理工學(xué)院和美國(guó)豐田學(xué)院建立，是目前最常用的自動(dòng)駕駛數(shù)據(jù)集。該團(tuán)隊(duì)使用了一輛配備camera和Velodyne激光雷達(dá)的大眾汽車在德國(guó)卡爾斯魯厄開(kāi)車6小時(shí)，記錄交通信息。數(shù)據(jù)集為每個(gè)序列提供原始圖像和精確的三維box以及類標(biāo)簽。類主要包括汽車、面包車、卡車、行人、自行車和電車。

Cityscapes

由三個(gè)德國(guó)實(shí)驗(yàn)室聯(lián)合提供：戴姆勒、馬克斯·普朗克信息研究所和達(dá)姆施塔特科技大學(xué)。它是一個(gè)語(yǔ)義理解圖像-城市街道場(chǎng)景數(shù)據(jù)集，主要包含來(lái)自50多個(gè)城市的5000張城市環(huán)境中駕駛場(chǎng)景的高質(zhì)量像素級(jí)標(biāo)注圖像（2975張用于training，500張用于val，1525張用于test，共19個(gè)類別）。此外，它還有20000張粗略的標(biāo)注圖像。

Waymo Open Dataset

Waymo數(shù)據(jù)集是Alphabet股份有限公司旗下自動(dòng)駕駛公司W(wǎng)aymo的開(kāi)源項(xiàng)目。它由Waymo自動(dòng)駕駛汽車在各種條件下收集的標(biāo)定數(shù)據(jù)組成，包括覆蓋25個(gè)城市的1000多萬(wàn)英里自動(dòng)駕駛里程數(shù)據(jù)。數(shù)據(jù)集中包括激光雷達(dá)點(diǎn)云和視覺(jué)圖像。車輛、行人、騎自行車的人和標(biāo)志都經(jīng)過(guò)了精心標(biāo)記，該團(tuán)隊(duì)完成了1200多萬(wàn)條3D標(biāo)注和120萬(wàn)條2D標(biāo)注。

nuScenes

nuTonomy建立的Nuscene數(shù)據(jù)集[29]是現(xiàn)有最大的自動(dòng)駕駛數(shù)據(jù)集，這是第一個(gè)配備全自動(dòng)車輛傳感器的數(shù)據(jù)集。該數(shù)據(jù)集不僅提供相機(jī)和激光雷達(dá)數(shù)據(jù)，還包含radar數(shù)據(jù)，是目前唯一一個(gè)包含雷達(dá)數(shù)據(jù)的數(shù)據(jù)集。nuScenes提供的三維邊界框標(biāo)注不僅包含23個(gè)類，還包含8個(gè)屬性，包括行人姿勢(shì)、車輛狀態(tài)等。

傳感器部署

絕大多數(shù)汽車制造商采用了radar和攝像頭相結(jié)合的傳感器配置方案，除了特斯拉，其他制造商也使用了融合傳感技術(shù)，將激光雷達(dá)、毫米波雷達(dá)和camera結(jié)合起來(lái)。可以得出結(jié)論，使用radar和視覺(jué)融合的傳感解決方案是當(dāng)前自主駕駛車輛障礙物檢測(cè)領(lǐng)域的主流趨勢(shì)，主要因?yàn)閞adar和camera具有互補(bǔ)的特性。

領(lǐng)域方案?jìng)鞲衅鞑渴饏R總：

Lidar、Radar、Camera三類傳感器性能對(duì)比：

毫米波雷達(dá)作為自動(dòng)駕駛車輛上常見(jiàn)和必要的傳感器，具有遠(yuǎn)距離探測(cè)、低成本和動(dòng)態(tài)目標(biāo)可探測(cè)性的特點(diǎn)。由于這些優(yōu)點(diǎn)，車輛的感應(yīng)能力和安全性得到了提高[37]。與激光雷達(dá)相比，毫米波雷達(dá)的優(yōu)勢(shì)主要體現(xiàn)在應(yīng)對(duì)惡劣天氣和低部署成本方面[36]。此外，它還有以下優(yōu)點(diǎn)：

• 毫米波雷達(dá)可以探測(cè)250米范圍內(nèi)的障礙物，這對(duì)自主駕駛的安全至關(guān)重要，而激光雷達(dá)的探測(cè)范圍在150米范圍內(nèi)[41]。
• 毫米波雷達(dá)可以基于多普勒效應(yīng)測(cè)量目標(biāo)車輛的相對(duì)速度，分辨率為0.1m/s，這對(duì)于自主駕駛中的車輛決策至關(guān)重要[41]。

與毫米波雷達(dá)相比，激光雷達(dá)具有以下優(yōu)點(diǎn)[38]、[39]：

• 激光雷達(dá)比毫米波雷達(dá)具有相對(duì)較高的角度分辨率和檢測(cè)精度。此外，毫米波雷達(dá)數(shù)據(jù)更稀疏；
• 激光雷達(dá)的測(cè)量包含語(yǔ)義信息，并滿足先進(jìn)自主駕駛的感知要求，而毫米波雷達(dá)缺乏這一點(diǎn)；
• 無(wú)法從毫米波雷達(dá)測(cè)量中完全濾除雜波，導(dǎo)致雷達(dá)信號(hào)處理中出現(xiàn)錯(cuò)誤；

radar是探測(cè)距離和徑向速度的最佳傳感器。它具有“全天候”功能，特別是考慮到它在夜間仍能正常工作。然而，雷達(dá)無(wú)法區(qū)分顏色，目標(biāo)分類能力較差[36]。camera具有良好的顏色感知和分類能力，角度分辨率能力不弱于激光雷達(dá)[36]。然而，它們?cè)诠烙?jì)速度和距離方面受到限制[40]。此外，圖像處理依賴于車載芯片算力，而不需要毫米波雷達(dá)的信息處理。充分利用雷達(dá)感應(yīng)信息可以大大節(jié)省計(jì)算資源[36]。通過(guò)比較radar和攝像機(jī)的特性，可以發(fā)現(xiàn)它們之間有許多互補(bǔ)的特性。因此，將radar和視覺(jué)融合感知技術(shù)應(yīng)用于障礙物檢測(cè)領(lǐng)域，可以有效提高感知精度，增強(qiáng)自主車輛的目標(biāo)檢測(cè)能力。毫米波雷達(dá)或激光雷達(dá)和視覺(jué)融合都很有用。

傳感器標(biāo)定

不同傳感器的空間位置和采樣頻率不同，同一目標(biāo)的不同傳感器的傳感信息可能不匹配。因此，校準(zhǔn)不同傳感器的傳感信息非常必要，毫米波雷達(dá)返回的檢測(cè)信息是雷達(dá)點(diǎn)，camera接收視覺(jué)圖像。以nuScenes[29]的相機(jī)和毫米波雷達(dá)數(shù)據(jù)作為示例。該數(shù)據(jù)集提供的數(shù)據(jù)已通過(guò)幀同步處理，因此不需要時(shí)間同步，下圖效果可通過(guò)空間坐標(biāo)變換獲得。雷達(dá)點(diǎn)的RGB值由橫向速度、縱向速度和距離這三個(gè)物理量轉(zhuǎn)換而來(lái)，雷達(dá)點(diǎn)的顏色表示與雷達(dá)點(diǎn)對(duì)應(yīng)的對(duì)象的物理狀態(tài)。一般而言，傳感器校準(zhǔn)包括坐標(biāo)標(biāo)定[42]–[48]、雷達(dá)點(diǎn)濾波[43]、[45]和誤差校準(zhǔn)[49]–[51]。

坐標(biāo)系標(biāo)定

坐標(biāo)標(biāo)定的目的是將雷達(dá)點(diǎn)與圖像中的目標(biāo)進(jìn)行匹配。對(duì)于坐標(biāo)標(biāo)定，最常用的方法分為坐標(biāo)變換方法[45]、[46]、傳感器驗(yàn)證方法[42]、[44]、[47]和基于視覺(jué)的方法[43]、[52]。

坐標(biāo)變換法通過(guò)矩陣運(yùn)算將同一坐標(biāo)系下的雷達(dá)信息和視覺(jué)信息統(tǒng)一起來(lái)。[46]根據(jù)毫米波雷達(dá)和視覺(jué)傳感器的空間位置坐標(biāo)，通過(guò)坐標(biāo)變換方法完成空間校準(zhǔn)。針對(duì)不同傳感器采樣率引起的時(shí)間不一致性，采用線程同步方法實(shí)現(xiàn)圖像幀和毫米波雷達(dá)數(shù)據(jù)的同時(shí)采集。[45]使用了基于偽逆的點(diǎn)對(duì)齊方法，該方法使用最小二乘法獲得坐標(biāo)變換矩陣。傳統(tǒng)的坐標(biāo)變換無(wú)法生成目標(biāo)的精確位置，給最終結(jié)果帶來(lái)誤差。[53]Wang等人提出了一個(gè)校準(zhǔn)實(shí)驗(yàn)，在不使用專用工具和雷達(dá)反射強(qiáng)度的情況下，將真實(shí)坐標(biāo)投影到雷達(dá)探測(cè)圖中，這削弱了對(duì)校準(zhǔn)誤差的依賴性。

傳感器驗(yàn)證方法利用同一物體上不同傳感器的檢測(cè)信息相互校準(zhǔn)多個(gè)傳感器。在[42]中，傳感器驗(yàn)證包括兩個(gè)步驟。首先通過(guò)雷達(dá)生成目標(biāo)列表，然后通過(guò)視覺(jué)信息對(duì)列表進(jìn)行驗(yàn)證。[47]經(jīng)過(guò)radar坐標(biāo)變換后，首先粗略搜索圖像，然后與雷達(dá)信息進(jìn)行比較。比較結(jié)果將目標(biāo)分為兩類：匹配目標(biāo)和非匹配目標(biāo)。在[44]中，Streubel等人設(shè)計(jì)了一種融合時(shí)隙方法，匹配雷達(dá)和視覺(jué)在同一時(shí)隙中檢測(cè)到的對(duì)象。

基于視覺(jué)的方法：[52]使用運(yùn)動(dòng)立體技術(shù)實(shí)現(xiàn)雷達(dá)目標(biāo)和圖像目標(biāo)的匹配。[43]Huang等人使用自適應(yīng)背景減法來(lái)檢測(cè)圖像中的運(yùn)動(dòng)目標(biāo)，生成候選區(qū)域，并通過(guò)判斷目標(biāo)是否存在來(lái)驗(yàn)證目標(biāo)雷達(dá)點(diǎn)是否位于候選區(qū)域。

Radar點(diǎn)濾波

雷達(dá)點(diǎn)濾波的目的是濾除噪聲和無(wú)用的檢測(cè)結(jié)果，以避免這些雷達(dá)點(diǎn)造成的誤判。[45]Guo等人提出了一種利用幀內(nèi)聚類和幀間跟蹤信息進(jìn)行噪聲濾波和有效目標(biāo)提取的方法。在[43]中，通過(guò)毫米波雷達(dá)獲得的速度和角速度信息對(duì)雷達(dá)點(diǎn)進(jìn)行濾波。然后對(duì)無(wú)效雷達(dá)點(diǎn)進(jìn)行濾波，從而減少樹(shù)木和橋梁等固定目標(biāo)對(duì)毫米波雷達(dá)的影響。

誤差校準(zhǔn)

由于傳感器或數(shù)學(xué)計(jì)算中的誤差，校準(zhǔn)的雷達(dá)點(diǎn)可能存在誤差。一些文章提出了糾正這些錯(cuò)誤的方法。在[50]中，提出了一種基于交互式微調(diào)的方法，對(duì)投影在視覺(jué)圖像上的雷達(dá)點(diǎn)進(jìn)行最終校正。[51]中的作者提出了一種改進(jìn)的擴(kuò)展卡爾曼濾波（EKF）算法，用于建模不同傳感器的測(cè)量誤差。在[49]中，分析了各種坐標(biāo)對(duì)檢測(cè)結(jié)果的影響，并提出了一種半積分笛卡爾坐標(biāo)表示方法，將所有信息轉(zhuǎn)換為隨宿主車輛移動(dòng)的坐標(biāo)系。目前使用開(kāi)源數(shù)據(jù)集時(shí)，不需要進(jìn)行誤差校準(zhǔn)。然而，如果數(shù)據(jù)集是自制的，則雷達(dá)濾波和糾錯(cuò)是必要的技術(shù)步驟。

基于傳感器融合的檢測(cè)任務(wù)

一般來(lái)說(shuō)，毫米波雷達(dá)和視覺(jué)融合分為三個(gè)層次，包括數(shù)據(jù)層、決策層和特征層。數(shù)據(jù)級(jí)融合是毫米波雷達(dá)和攝像機(jī)檢測(cè)到的數(shù)據(jù)的融合，具有最小的數(shù)據(jù)丟失和最高的可靠性。決策級(jí)融合是毫米波雷達(dá)和攝像機(jī)檢測(cè)結(jié)果的融合。特征級(jí)融合需要提取雷達(dá)特征信息，然后將其與圖像特征融合。

數(shù)據(jù)層融合

數(shù)據(jù)級(jí)融合是一種成熟的融合方案，目前還不是主流的研究趨勢(shì)。然而，其融合不同傳感器信息的想法仍有參考價(jià)值。如下表所示，數(shù)據(jù)級(jí)融合首先基于雷達(dá)點(diǎn)[42]、[45]、[54]、[55]生成感興趣區(qū)域（ROI）。然后根據(jù)ROI提取視覺(jué)圖像的對(duì)應(yīng)區(qū)域。最后，使用特征提取器和分類器對(duì)這些圖像進(jìn)行目標(biāo)檢測(cè)[45]、[47]、[53]、[55]–[61]。

一些文獻(xiàn)使用神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)和分類[61]、[62]。對(duì)于數(shù)據(jù)級(jí)融合，有效雷達(dá)點(diǎn)的數(shù)量直接影響最終的檢測(cè)結(jié)果。如果圖像的某一部分中沒(méi)有雷達(dá)點(diǎn)，則該部分將被忽略。該方案縮小了目標(biāo)檢測(cè)的搜索空間，節(jié)省了計(jì)算資源，同時(shí)留下了安全隱患。數(shù)據(jù)級(jí)融合過(guò)程如圖4所示。

ROI的生成

ROI是圖像中的選定區(qū)域，與純圖像處理方案相比，數(shù)據(jù)級(jí)融合方案使用雷達(dá)點(diǎn)生成ROI，這可以顯著提高ROI生成的速度[42]。初始ROI的大小由障礙物和毫米波雷達(dá)之間的距離決定[45]。

目標(biāo)檢測(cè)

由于圖像中目標(biāo)位置和大小的不確定性，基于視覺(jué)的目標(biāo)檢測(cè)通常采用滑動(dòng)窗口和多尺度策略，產(chǎn)生大量候選框，導(dǎo)致檢測(cè)效率低。毫米波雷達(dá)與視覺(jué)融合方案避免了滑動(dòng)窗口方法，降低了計(jì)算成本，提高了檢測(cè)效率。

決策層融合

決策級(jí)融合是目前主流的融合方案，該過(guò)程如下表所示：

雷達(dá)的優(yōu)勢(shì)在于縱向距離，視覺(jué)傳感器的優(yōu)勢(shì)在于水平視野。決策級(jí)融合可以兼顧這兩方面的優(yōu)點(diǎn)，充分利用傳感信息。決策級(jí)融合濾波算法的挑戰(zhàn)是建模兩種檢測(cè)信息的聯(lián)合概率密度函數(shù)，決策級(jí)融合主要包括兩個(gè)步驟：傳感信息處理[65]–[69]、[71]和決策融合[66]、[72]–[78]、[84]。

傳感信息處理

傳感信息的處理包括雷達(dá)信息和視覺(jué)信息。雷達(dá)探測(cè)結(jié)果生成一個(gè)物體列表，并包含物體的速度和距離等信息[65]、[66]；視覺(jué)信息處理對(duì)圖像執(zhí)行目標(biāo)檢測(cè)算法，定位2D位置。

決策融合

車輛檢測(cè)的決策級(jí)融合融合不同傳感器的檢測(cè)結(jié)果，主流濾波算法應(yīng)用貝葉斯理論[72]、[73]、卡爾曼濾波框架[74]–[76]和Dempster-Shafer理論[66]。在一些文獻(xiàn)中，雷達(dá)檢測(cè)目標(biāo)列表用于驗(yàn)證視覺(jué)檢測(cè)結(jié)果[77]、[78]，此外，參考文獻(xiàn)[84]提出了運(yùn)動(dòng)立體算法來(lái)調(diào)整和細(xì)化最終檢測(cè)結(jié)果。

基于貝葉斯理論的融合方法

參考文獻(xiàn)[72]提出了一種基于貝葉斯理論的方法，通過(guò)使用概率推理方法來(lái)解決多傳感器數(shù)據(jù)融合問(wèn)題，稱為貝葉斯規(guī)劃。當(dāng)添加新的傳感器時(shí)，傳統(tǒng)的多傳感器融合算法不再適用。融合算法在[73]中進(jìn)行了模塊化和推廣，并提出了一種基于貝葉斯網(wǎng)絡(luò)的動(dòng)態(tài)融合方案，以提高每個(gè)融合算法的可重用性。

基于卡爾曼濾波的融合方法

[74]基于李群的EKF框架，提出了一種使用特殊歐幾里德群的決策級(jí)融合濾波器。參考文獻(xiàn)[75]提出了一種融合框架，可以在3D空間和2D圖像平面中同時(shí)跟蹤檢測(cè)對(duì)象。類似于卡爾曼濾波器的不確定性驅(qū)動(dòng)機(jī)制用于均衡不同質(zhì)量的傳感結(jié)果。在[76]中，雷達(dá)首先檢測(cè)到給定圖像，以粗略搜索目標(biāo)。然后使用經(jīng)過(guò)訓(xùn)練的點(diǎn)檢測(cè)器來(lái)獲得對(duì)象的邊界框。采用基于卡爾曼濾波的信息融合方法，證明了集中式和分散式信息融合方案的功能等價(jià)性。

基于Dempster-Shafer理論的融合方法

參考文獻(xiàn)[66]提出了基于Dempster-Shafer理論的決策級(jí)融合，將多個(gè)傳感器的檢測(cè)列表作為輸入，使用其中一個(gè)作為臨時(shí)evidence 網(wǎng)格，并將其與當(dāng)前evidence 網(wǎng)格融合，最后執(zhí)行聚類處理，在evidence 網(wǎng)格中確定了目標(biāo)。

基于雷達(dá)驗(yàn)證的融合方法

參考文獻(xiàn)[77]將視覺(jué)檢測(cè)和雷達(dá)檢測(cè)生成的目標(biāo)列表重疊，以生成唯一的車輛列表。雷達(dá)數(shù)據(jù)用于驗(yàn)證視覺(jué)檢測(cè)結(jié)果，如果存在與雷達(dá)數(shù)據(jù)中的視覺(jué)檢測(cè)結(jié)果匹配的目標(biāo)，則藍(lán)色框?qū)⒈粯?biāo)記為強(qiáng)假設(shè)。否則，如果沒(méi)有目標(biāo)，它不會(huì)被丟棄：一個(gè)綠框?qū)⒈粯?biāo)記為弱假設(shè)。參考文獻(xiàn)[78]提出了一種多目標(biāo)跟蹤（MTT）算法，該算法可以通過(guò)評(píng)估雷達(dá)散射中心的跟蹤分?jǐn)?shù)來(lái)實(shí)時(shí)校正被跟蹤目標(biāo)列表。利用立體視覺(jué)信息擬合目標(biāo)車輛的輪廓，并利用與目標(biāo)車輛匹配的雷達(dá)目標(biāo)校正其位置。

特征級(jí)融合

特征級(jí)融合是近年來(lái)出現(xiàn)的一種新方案，該過(guò)程如下表所示：

在特征級(jí)融合方法[79]–[83]中，使用額外的雷達(dá)輸入分支是一種常見(jiàn)的方法，基于CNN的目標(biāo)檢測(cè)模型可以有效地學(xué)習(xí)圖像特征信息。通過(guò)將雷達(dá)檢測(cè)信息轉(zhuǎn)化為圖像形式，檢測(cè)模型可以同時(shí)學(xué)習(xí)雷達(dá)和視覺(jué)特征信息，實(shí)現(xiàn)特征級(jí)融合，特征級(jí)融合過(guò)程如下圖所示：

基于CNN的融合框架

雷達(dá)特征提取的目的是變換雷達(dá)信息，因?yàn)槔走_(dá)信息不能與圖像信息直接融合。雷達(dá)特征提取主要采用將雷達(dá)點(diǎn)轉(zhuǎn)換到圖像平面生成雷達(dá)圖像的方法。多通道變換后的雷達(dá)圖像包含雷達(dá)檢測(cè)到的所有環(huán)境特征，每個(gè)通道表示一個(gè)物理量，如距離、縱向速度、橫向速度等。參考文獻(xiàn)[83]提出了一種新的條件多生成器生成對(duì)抗網(wǎng)絡(luò)（CMGGAN），該網(wǎng)絡(luò)利用雷達(dá)傳感器的測(cè)量數(shù)據(jù)生成類似camera圖像，包括雷達(dá)傳感器檢測(cè)到的所有環(huán)境特征。[80]提出了一種新的雷達(dá)特征描述方法，稱為雷達(dá)稀疏圖像，雷達(dá)稀疏圖像是416×416三通道圖像，其大小直接對(duì)應(yīng)于視覺(jué)圖像的大小，這三個(gè)通道包含雷達(dá)點(diǎn)速度和深度特征信息。在[82]中，Chang等人將雷達(dá)點(diǎn)處的深度、水平和垂直信息轉(zhuǎn)換為不同通道的真實(shí)像素值。對(duì)于沒(méi)有雷達(dá)點(diǎn)的區(qū)域，他們將像素值設(shè)置為0，并使用以雷達(dá)點(diǎn)為中心的圓圈渲染雷達(dá)圖像。在[81]中，考慮到雷達(dá)檢測(cè)結(jié)果中缺乏高度信息，Nobis等人在垂直方向上拉伸投影雷達(dá)點(diǎn)，以便更好地將其與圖像整合。雷達(dá)信息的特征以像素值的形式存儲(chǔ)在增強(qiáng)圖像中。此外，還提出了一種地面真值噪聲濾波器來(lái)濾除無(wú)效雷達(dá)點(diǎn)。

特征融合

基本特征融合方法可分為兩類：級(jí)聯(lián)和元素相加。前者將雷達(dá)特征矩陣和圖像特征矩陣連接成多通道矩陣，而后者將兩個(gè)矩陣合并成一個(gè)矩陣。

[79]設(shè)置了兩種融合方法：級(jí)聯(lián)和逐元素相加，實(shí)驗(yàn)結(jié)果表明這兩種融合方式都提高了檢測(cè)性能。按逐元素添加方法在手動(dòng)標(biāo)注的測(cè)試集上性能更好，而級(jí)聯(lián)方法在生成的測(cè)試集中性能更好。[82]中提出了一種用于傳感器特征融合的新塊，稱為空間注意融合（SAF）。使用SAF塊生成注意力權(quán)重矩陣，以融合雷達(dá)和視覺(jué)特征。同時(shí)，[82]將SAF方法與三種逐元素加法、乘法和級(jí)聯(lián)方法進(jìn)行了比較，結(jié)果表明，SAF具有最佳性能。此外，[82]在Faster R-CNN上進(jìn)行了泛化實(shí)驗(yàn)，SAF模型也提高了檢測(cè)性能。

挑戰(zhàn)和未來(lái)趨勢(shì)

Challenges

對(duì)于目標(biāo)檢測(cè)任務(wù)，目前的研究成果已經(jīng)取得了優(yōu)異的性能，然而，這些成果大多是二維目標(biāo)檢測(cè)。在真實(shí)的自動(dòng)駕駛場(chǎng)景中，復(fù)雜的交通環(huán)境通常需要3D目標(biāo)檢測(cè)來(lái)更準(zhǔn)確地感知環(huán)境信息，當(dāng)前3D對(duì)象檢測(cè)網(wǎng)絡(luò)的性能遠(yuǎn)低于2D檢測(cè)的水平。因此，提高三維目標(biāo)檢測(cè)的精度不僅是自動(dòng)駕駛領(lǐng)域的一項(xiàng)挑戰(zhàn)，也是目標(biāo)檢測(cè)任務(wù)中的一項(xiàng)重大挑戰(zhàn)。

毫米波雷達(dá)和視覺(jué)的融合仍然存在挑戰(zhàn)，這是本文的重點(diǎn)。毫米波雷達(dá)的最大缺點(diǎn)是雷達(dá)特征稀疏，與視覺(jué)圖像相比，毫米波雷達(dá)提供的信息非常少，無(wú)法帶來(lái)顯著的性能改進(jìn)。此外，毫米波雷達(dá)和視覺(jué)的特征信息是否可以進(jìn)一步整合，以及它們之間的相關(guān)互信息是否已經(jīng)挖掘出來(lái)，還有待研究。因此，毫米波雷達(dá)視覺(jué)融合仍然面臨兩大挑戰(zhàn)：稀疏感知信息和更有效的融合，這也是多傳感器融合領(lǐng)域的兩大挑戰(zhàn)！

Future Trends

作者認(rèn)為有三個(gè)主要趨勢(shì)，其中之一是3D對(duì)象檢測(cè)：提高三維目標(biāo)檢測(cè)的精度將是一個(gè)主要的研究趨勢(shì)。其余兩個(gè)趨勢(shì)涉及雷達(dá)視覺(jué)融合。一方面，有必要整合新的傳感信息，即增加新的傳感器，如激光雷達(dá)，它在自動(dòng)駕駛方面取得了優(yōu)異的性能；另一方面，有必要探索傳感信息融合的新方法，如多模態(tài)融合。

基于多傳感器融合的三維目標(biāo)檢測(cè)還在基于視覺(jué)的目標(biāo)檢測(cè)網(wǎng)絡(luò)的基礎(chǔ)上增加了雷達(dá)輸入分支和信息融合模塊。參考文獻(xiàn)[91]使用了一種類似于特征級(jí)融合的方案，首先通過(guò)2D檢測(cè)將雷達(dá)點(diǎn)繪制成矩形區(qū)域，然后執(zhí)行3D檢測(cè)。此外，由于激光雷達(dá)具有豐富的特征，可以重建物體輪廓，更容易估計(jì)三維box，因此，利用激光雷達(dá)進(jìn)行多傳感器融合三維物體檢測(cè)的研究較多。

隨著激光雷達(dá)成本的降低，配備激光雷達(dá)的自動(dòng)駕駛車輛已成為一種趨勢(shì)。然而，激光雷達(dá)不能替代毫米波雷達(dá)，毫米波雷達(dá)有其獨(dú)特的優(yōu)勢(shì)。激光雷達(dá)具有更高的探測(cè)精度，它們相輔相成，激光雷達(dá)和視覺(jué)的融合在自動(dòng)駕駛中正變得很有價(jià)值。無(wú)論是毫米波雷達(dá)還是激光雷達(dá)，其傳感信息在不同模式下都是相同的環(huán)境信息。雷達(dá)感測(cè)信息和視覺(jué)信息也是不同模態(tài)的信息。將雷達(dá)視覺(jué)融合視為多模態(tài)信息融合，可能有更好的解決方案。此外，在自動(dòng)駕駛領(lǐng)域，數(shù)據(jù)集提供的毫米波雷達(dá)數(shù)據(jù)是后處理數(shù)據(jù)。然而，從信息保護(hù)的角度來(lái)看，后處理雷達(dá)數(shù)據(jù)中包含的信息量必須相對(duì)于原始數(shù)據(jù)丟失。如果將原始雷達(dá)檢測(cè)數(shù)據(jù)和視覺(jué)圖像視為兩種不同的傳感信息模式進(jìn)行融合，則可以獲得更豐富的傳感信息。多模態(tài)信息融合的挑戰(zhàn)在于如何完美地組合不同模態(tài)的信息及其攜帶的噪聲，以及如何挖掘相關(guān)信息以幫助理解同一事物。

原文鏈接：https://mp.weixin.qq.com/s/Oc_rKRgxiYdA8JkJGILHVg