本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

大規(guī)模4D radar數(shù)據(jù)集

近年來，毫米波雷達因其在惡劣條件下的魯棒性而被用于里程計和建圖。常用的雷達類型有兩種：

• 掃描雷達，它們通過旋轉(zhuǎn)捕獲360°視野的掃描
• 固態(tài)單芯片雷達，通常具有大約120°的水平視野。

單芯片雷達頻率更高且不如掃描雷達笨重。通過多普勒速度，單芯片雷達可以輕松檢測移動物體，從而解決基于攝像頭或激光雷達里程計方法中遇到的重要挑戰(zhàn)。然而，傳統(tǒng)汽車雷達的垂直分辨率較差，導致低高物體在同一視野中的混淆。

近期的單芯片4D成像雷達進展，使得垂直分辨率提高，能精確測量高度，同時具備距離、方位角和多普勒速度（因此稱為4D）。利用毫米波，4D雷達能輕松區(qū)分移動物體，并在霧、雨和雪等惡劣條件下正常感知。這些特性使4D雷達對需要在動態(tài)和惡劣環(huán)境中可靠運行的自主系統(tǒng)（如機器人和汽車）具有吸引力。

現(xiàn)有的公共4D雷達數(shù)據(jù)集在參考軌跡的準確性、數(shù)據(jù)采集平臺的多樣性、地理范圍以及同一路線的數(shù)據(jù)采集重復性等方面常常有所欠缺。

武漢大學SNAIL小組從2022年8月開始的數(shù)據(jù)采集計劃的精心制作的數(shù)據(jù)集Snail-Radar[1]。該數(shù)據(jù)集包含了在一年內(nèi)使用手持設備、電動自行車和SUV等多種平臺采集的各種數(shù)據(jù)序列。雖然每個平臺的傳感器配置略有不同，但每個傳感器架通常包括立體攝像頭、一到兩個4D雷達、一個3D激光雷達、一到兩個IMU和一個GNSS/INS系統(tǒng)。發(fā)布的序列數(shù)據(jù)覆蓋了從密集植被的大學校園到高速公路隧道等多種環(huán)境，在晴天或雨天和夜間進行采集。

考慮到在同步定位與地圖構(gòu)建（SLAM）中的應用，我們提供了使用地面激光掃描儀（TLS）數(shù)據(jù)生成的參考軌跡?；谝羊炞C的技術進行同步和精心校準，確保了我們數(shù)據(jù)的可靠性。我們相信這一數(shù)據(jù)集將大大有助于評估基于4D雷達點云的里程計、建圖和位置識別算法。數(shù)據(jù)集和配套工具可在我們的網(wǎng)站上獲取。

• 數(shù)據(jù)集鏈接：https://snail-radar.github.io/
• 數(shù)據(jù)集工具：https://github.com/snail-radar/dataset_tools

該數(shù)據(jù)集的貢獻總結(jié)如下：

• 發(fā)布了一個大規(guī)模多樣化的4D雷達數(shù)據(jù)集，覆蓋多種環(huán)境條件下由三種不同平臺在選定路線多次采集的數(shù)據(jù)，包括雨天和夜晚、校園道路和高速公路。提供了數(shù)據(jù)在ROS包和文件夾格式之間轉(zhuǎn)換的工具及校準結(jié)果。
• 提出了嚴格的程序，同步所有傳感器的運動相關信息，并校準它們之間的外部參數(shù)。同步程序從激光雷達和GNSS的硬件同步開始，然后所有傳感器時間映射到GNSS時間，以激光雷達時間為橋梁，最后估計所有運動相關信息類型之間的恒定時間偏差。外部參數(shù)通過手動測量初始化并通過相關方法優(yōu)化。
• 提出了一個定位流水線，用于生成提供序列的參考位姿。流水線從使用TLS捕獲測試區(qū)域的點云開始，這些拼接的點云在定位模式下被用作LIO方法中的子地圖。為了便于在序列末尾生成參考位姿，還提出了一種反向處理激光雷達里程計信息的方法。

雷達信號處理背景

如圖1頂部所示，發(fā)射天線發(fā)送頻率遞增的射頻信號。接收天線檢測由物體反射的波，并通過將信號與發(fā)射載波混頻來獲得中頻信號。這些信號然后通過模數(shù)轉(zhuǎn)換器（ADC）采樣，得到復數(shù)（同相和正交分量，I/Q）ADC樣本。這些ADC樣本被傳送到數(shù)字信號處理器（DSP）進行進一步處理。

數(shù)字信號處理，如圖1底部所示，包括四個基本組件：距離處理、多普勒處理、恒虛警率（CFAR）檢測和2D到達角（AoA）處理。每個組件在TI mmwave SDK文檔中有詳細說明。這些組件的數(shù)學原理在Iovescu和Rao（2017）中解釋。這里我們提供這些組件的功能性高層描述，并省略了高級選項以便清晰。

以下是一些符號表示：

• ：每幀的多普勒脈沖數(shù)
• ：接收天線數(shù)
• $N_{T_x}：發(fā)射天線數(shù)
• ：每脈沖的ADC樣本數(shù)
• $N_{D_b}：快速傅里葉變換（FFT）中的多普勒頻譜數(shù)
• ：FFT中的距離頻譜數(shù)

距離處理過程以ADC脈沖樣本I/Q值為輸入，在活動幀時間內(nèi)執(zhí)行1D距離FFT和可選的直流距離校準，輸出一個雷達立方體。ADC數(shù)據(jù)的大小為 ·  ·  · 。雷達立方體的大小為 ·  ·  · 。

多普勒處理過程以先前的雷達立方體為輸入，在幀間時間內(nèi)執(zhí)行2D多普勒FFT和能量求和，輸出一個大小為 · 的檢測矩陣。

CFAR過程從檢測矩陣開始，執(zhí)行CFAR檢測和峰值分組，輸出范圍-多普勒域中的CFAR檢測列表。

2D AoA處理過程以雷達立方體和CFAR檢測列表為輸入，對檢測到的物體的相關條目進行2D多普勒FFT，隨后進行2D角度FFT和CFAR選擇峰值，以確定檢測物體的方位角和仰角，生成具有1D多普勒速度的3D點云。

圖1描述了典型的德州儀器（TI）4D雷達的工作原理（Iovescu和Rao，2017）。發(fā)射天線發(fā)射的射頻信號被物體反射，并由接收天線接收。信號被下變頻為中頻信號，通過模數(shù)轉(zhuǎn)換器（ADC）進行采樣，得到復數(shù)（同相和正交分量，I/Q）ADC樣本。這些樣本被傳送到數(shù)字信號處理器（DSP）進行進一步處理。

數(shù)字信號處理過程包括距離處理、多普勒處理、恒虛警率（CFAR）檢測和2D到達角（AoA）處理。每個步驟的詳細說明可以在TI mmwave SDK文檔中找到。這些組件的數(shù)學原理在Iovescu和Rao（2017）中解釋。

距離處理過程包括對ADC樣本進行1D距離FFT變換，并在活動幀時間內(nèi)進行可選的直流距離校準，最終生成一個雷達立方體。多普勒處理過程則是在幀間時間內(nèi)對雷達立方體進行2D多普勒FFT變換和能量求和，生成檢測矩陣。CFAR過程基于檢測矩陣進行CFAR檢測和峰值分組，生成CFAR檢測列表。最后，2D AoA處理過程對CFAR檢測列表中的相關條目進行2D多普勒FFT和2D角度FFT，確定檢測物體的方位角和仰角，生成3D點云。

數(shù)據(jù)集

傳感器設置

數(shù)據(jù)集使用了三個平臺：手持設備、電動自行車和SUV。這些平臺的傳感器配置幾乎相同，包括一個Hesai Pandar XT32激光雷達、一個Oculii Eagle雷達、一個ZED2i立體攝像頭和一個Bynav X36D GNSS/INS系統(tǒng)。電動自行車和SUV還配備了Continental ARS548雷達和XSens MTi3DK IMU。數(shù)據(jù)通過一臺運行Ubuntu 20.04的ThinkPad P53筆記本實時預處理和記錄。

文件格式

每個序列的數(shù)據(jù)以一個整體的rosbag文件和一個包含單獨消息的文件夾形式提供。傳感器數(shù)據(jù)類型包括點云、圖像、IMU數(shù)據(jù)和GNSS/INS解決方案。文件夾內(nèi)的點云數(shù)據(jù)以pcd文件保存，壓縮圖像以jpg格式保存，其他類型數(shù)據(jù)以txt文件保存。

數(shù)據(jù)集提供了每個序列的參考軌跡，這些軌跡是在TLS地圖幀中以10Hz生成的。然而，對于大規(guī)模的SUV序列，僅提供起始子序列和結(jié)束子序列的參考位姿，這些子序列在TLS覆蓋范圍內(nèi)。所有TLS點云及其優(yōu)化后的位姿也提供在數(shù)據(jù)集中。數(shù)據(jù)還包括實時GNSS/INS解決方案及其相應的UTM50N坐標轉(zhuǎn)換結(jié)果。

Ground truth

在數(shù)據(jù)集中，Bynav GNSS RTK/INS系統(tǒng)的解決方案在高度上經(jīng)常會出現(xiàn)跳躍現(xiàn)象，誤差可達幾米。因此，我們使用精確的地面激光掃描儀（TLS）點云來生成參考位姿，類似于Ramezani等（2020）的方法，但我們采用的是逐幀對齊未失真的激光雷達幀到TLS地圖。

TLS掃描使用Leica RTC360掃描儀在晴天捕獲，覆蓋了“星湖”和“星湖塔”路線。這些掃描首先通過Cyclone Register 360程序處理，并在Open3D中進一步通過點到平面ICP進行優(yōu)化。最終的TLS地圖由93個掃描拼接而成，期望精度在5厘米以內(nèi)。

對于完全覆蓋在TLS地圖內(nèi)的序列，我們通過兩步法將激光雷達掃描相對于TLS地圖進行定位：首先獲取初始位姿，然后在定位模式下運行LIO方法。對于大型序列，由于TLS地圖僅覆蓋序列的開始和結(jié)束部分，我們僅生成起始和結(jié)束子序列的參考軌跡。為了實現(xiàn)反向LIO處理，我們提出了數(shù)據(jù)反向技術，通過時間反轉(zhuǎn)處理序列信息，從而在序列末端生成參考位姿。

反向處理還提供了一種驗證參考精度的方法，通過比較前向和反向處理結(jié)果，我們確認參考位置的精度通常在10厘米以內(nèi)。這一技術保證了數(shù)據(jù)集的高參考精度，有助于評估和開發(fā)基于4D雷達的SLAM算法。

同步

由于在硬件上同步所有傳感器具有挑戰(zhàn)性，我們提出了一種方案，確保所有傳感器消息由同一個虛擬時鐘標記。該方案首先使用激光雷達數(shù)據(jù)作為橋梁，將所有傳感器消息的時間戳映射到GNSS時間，以消除抖動和長期漂移。然后，使用里程計和相關算法估算傳感器數(shù)據(jù)與GNSS/INS解決方案之間的恒定時間偏差：

1. 激光雷達同步：對所有傳感器消息的主機時間進行平滑處理，以消除傳輸抖動。XT32激光雷達通過GNSS時間同步，因此可以通過主機時間將所有消息時間戳映射到GNSS時間。
2. 時間偏差估算：使用相關算法估算不同傳感器消息流之間的恒定時間偏差。對于激光雷達數(shù)據(jù)，使用KISS-ICP方法計算3D激光雷達位姿，并通過中心差分法計算INS位姿和LO位姿之間的角速度，從而確定時間偏差。對于4D雷達，通過GNC方法估算其自我速度，并與INS解進行比較來確定時間偏差。對于IMU，直接計算IMU數(shù)據(jù)的角速度，并與INS解進行比較來確定時間偏差。
3. ZED2i同步：使用Swift-VIO方法估算ZED2i IMU和攝像頭之間的時間偏差。雖然在挑戰(zhàn)性序列中Swift-VIO的軌跡可能會漂移，但時間偏差通常能迅速穩(wěn)定下來，精度在1ms以內(nèi)。

整體同步精度預計在10ms以內(nèi)，這得益于GNSS/INS解的高頻率（100Hz）和相關算法的精細優(yōu)化，以及ZED2i曝光時間的合理設置（不超過5ms）。

最終，發(fā)布的數(shù)據(jù)集中的所有消息時間戳都已經(jīng)補償了與GNSS時間的時間偏差，確保了數(shù)據(jù)的高精度同步。

傳感器剛體標定

為了確保數(shù)據(jù)集的準確性，定義了基于激光雷達（XT32）的機體坐標系，其x軸指向前方，y軸指向左側(cè)，z軸指向上方。所有傳感器的外參相對于機體坐標系進行標定。

初始標定

• 傳感器的相對位置通過手動測量獲得。
• 相對方向通過CAD圖紙確定。

精細標定

• 使用激光雷達IMU校準工具對ZED2i IMU或MTi3DK與XT32激光雷達之間的外部參數(shù)進行優(yōu)化。
• 通過Swift-VIO方法獲取ZED2i攝像頭和IMU的時間偏差及其外部參數(shù)。
• 使用相關算法對Bynav系統(tǒng)的激光雷達與IMU之間的相對方向進行校準。
• 使用相關算法對Oculii Eagle和ARS548雷達與X36D IMU之間的相對方向進行優(yōu)化。

每個傳感器的外部參數(shù)都經(jīng)過多種方法優(yōu)化，并提供在數(shù)據(jù)集中，以確保傳感器數(shù)據(jù)的準確性和一致性。

總結(jié)一下

Snail-Radar是一個大規(guī)模的4D雷達數(shù)據(jù)集，專為基于多傳感器融合的定位和建圖應用而設計。該數(shù)據(jù)集使用三種平臺在各種環(huán)境條件下進行采集，包括雨天、夜晚、校園道路和隧道，共采集了44個序列，遍布八條路線的多次重復采集。

參考位置（對于大規(guī)模序列僅在開始和結(jié)束部分）是使用LIO方法生成的，該方法依次將去失真的Hesai激光雷達幀定位到TLS地圖上。數(shù)據(jù)反向處理技術實現(xiàn)了時間上的反向LIO。傳感器數(shù)據(jù)通過兩步方案同步：

• 首先使用硬件同步的激光雷達數(shù)據(jù)將消息主機時間映射到GNSS時間，以消除抖動和長期漂移
• 使用里程計和相關算法估算傳感器數(shù)據(jù)與GNSS/INS解之間的恒定時間偏差。

所有傳感器之間的外部參數(shù)通過多種方法進行優(yōu)化，并隨數(shù)據(jù)集一同提供。