本文經(jīng)自動(dòng)駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

純視覺的標(biāo)注方案，主要是利用視覺加上一些GPS、IMU和輪速計(jì)傳感器的數(shù)據(jù)進(jìn)行動(dòng)靜態(tài)標(biāo)注。當(dāng)然面向量產(chǎn)場景的話，不一定非要是純視覺，有一些量產(chǎn)的車輛里面，會(huì)有像固態(tài)雷達(dá)（AT128）這樣的傳感器。如果從量產(chǎn)的角度做數(shù)據(jù)閉環(huán)，把這些傳感器都用上，可以有效地解決動(dòng)態(tài)物體的標(biāo)注問題。但是我們的方案里面，是沒有固態(tài)雷達(dá)的。所以，我們就介紹這種最通用的量產(chǎn)標(biāo)注方案。

純視覺的標(biāo)注方案的核心在于高精度的pose重建。我們采用Structure from motion (SFM) 的pose重建方案，來保證重建精度。但是傳統(tǒng)的SFM，尤其是增量式的SFM，效率非常慢，計(jì)算復(fù)雜度是O(n^4)，n是圖像的數(shù)量。這種重建的效率，對于大規(guī)模的數(shù)據(jù)標(biāo)注，是沒有辦法接受的，我們對SFM的方案進(jìn)行了一些改進(jìn)。

改進(jìn)后的clip重建主要分為三個(gè)模塊：1）利用多傳感器的數(shù)據(jù)，GNSS、IMU和輪速計(jì)，構(gòu)建pose_graph優(yōu)化，得到初始的pose，這個(gè)算法我們稱為Wheel-Imu-GNSS-Odometry (WIGO)；2）圖像進(jìn)行特征提取和匹配，并直接利用初始化的pose進(jìn)行三角化，得到初始的3D點(diǎn)；3）最后進(jìn)行一次全局的BA（Bundle Adjustment）。我們的方案一方面避免了增量式SFM，另一方面不同的clip之間可以實(shí)現(xiàn)并行運(yùn)算，從而大幅度的提升了pose重建的效率，比起現(xiàn)有的增量式的重建，可以實(shí)現(xiàn)10到20倍的效率提升。

在單次重建的過程中，我們的方案也做了一些優(yōu)化。例如我們采用了Learning based features（Superpoint和Superglue），一個(gè)是特征點(diǎn)，一個(gè)是匹配方式，來替代傳統(tǒng)的SIFT關(guān)鍵點(diǎn)。用學(xué)習(xí)NN-Features的優(yōu)勢就在于，一方面可以根據(jù)數(shù)據(jù)驅(qū)動(dòng)的方式去設(shè)計(jì)規(guī)則，滿足一些定制化的需求，提升在一些弱紋理以及暗光照的情況下的魯棒性；另一方面可以提升關(guān)鍵點(diǎn)檢測和匹配的效率。我們做了一些對比的實(shí)驗(yàn)，在夜晚場景下NN-features的成功率會(huì)比SFIT提升大概4倍，從20%提升至80%。

得到單個(gè)Clip的重建結(jié)果之后，我們會(huì)進(jìn)行多個(gè)clips的聚合。與現(xiàn)有的HDmap建圖采用矢量結(jié)構(gòu)匹配的方案不同，為了保證聚合的精度，我們采用特征點(diǎn)級別的聚合，也就是通過特征點(diǎn)的匹配進(jìn)行clip之間的聚合約束。這個(gè)操作類似于SLAM中的回環(huán)檢測，首先采用GPS來確定一些候選的匹配幀；之后，利用特征點(diǎn)以及描述進(jìn)行圖像之間的匹配；最后，結(jié)合這些回環(huán)約束，構(gòu)造全局的BA（Bundle Adjustment）并進(jìn)行優(yōu)化。目前我們這套方案的精度，RTE指標(biāo)遠(yuǎn)超于現(xiàn)在的一些視覺SLAM或者建圖方案。

實(shí)驗(yàn)：采用colmap cuda版，使用180張圖，3848* 2168分辨率，手動(dòng)設(shè)置內(nèi)參，其余使用默認(rèn)設(shè)置，sparse重建耗時(shí)約15min，整個(gè)dense重建耗時(shí)極長（1-2h）

重建結(jié)果統(tǒng)計(jì)

特征點(diǎn)示意圖

sparse重建效果

直行路段整體效果

地面錐桶效果

高處限速牌效果

路口斑馬線效果

容易不收斂，另外試了一組圖像就沒有收斂：靜止ego過濾，根據(jù)自車運(yùn)動(dòng)每50-100m形成一個(gè)clip；高動(dòng)態(tài)場景動(dòng)態(tài)點(diǎn)濾除、隧道場景位姿

利用周視和環(huán)視多攝像頭：特征點(diǎn)匹配圖優(yōu)化、內(nèi)外參優(yōu)化項(xiàng)、利用已有的odom。

https://github.com/colmap/colmap/blob/main/pycolmap/custom_bundle_adjustment.py

pyceres.solve(solver_options, bundle_adjuster.problem, summary)

3DGS加速密集重建，否則時(shí)間太長無法接受