SLAM概述

SLAM：SimultaneousLocalizationandMapping，即時(shí)定位與地圖構(gòu)建技術(shù)。它指的是：機(jī)器人從未知環(huán)境的未知地點(diǎn)出發(fā)，在運(yùn)動(dòng)過(guò)程中通過(guò)重復(fù)觀測(cè)到的環(huán)境特征定位自身位置和姿態(tài)，再根據(jù)自身位置構(gòu)建周圍環(huán)境的增量式地圖，從而達(dá)到同時(shí)定位和地圖構(gòu)建的目的。

SLAM技術(shù)的發(fā)展推動(dòng)了定位(Localization)、跟蹤(Tracking)以及路徑規(guī)劃(PathPlanning)技術(shù)的發(fā)展，進(jìn)而對(duì)無(wú)人機(jī)、無(wú)人駕駛、機(jī)器人等熱門研究領(lǐng)域產(chǎn)生重大影響。

我們來(lái)看看SLAM技術(shù)都在哪些領(lǐng)域發(fā)揮作用吧。 

圖1SLAM應(yīng)用領(lǐng)域

VR/AR方面：輔助增強(qiáng)視覺(jué)效果。SLAM技術(shù)能夠構(gòu)建視覺(jué)效果更為真實(shí)的地圖，從而針對(duì)當(dāng)前視角渲染虛擬物體的疊加效果，使之更真實(shí)沒(méi)有違和感。VR/AR代表性產(chǎn)品中微軟Hololens、谷歌ProjectTango以及MagicLeap都應(yīng)用了SLAM作為視覺(jué)增強(qiáng)手段。

無(wú)人機(jī)領(lǐng)域及機(jī)器人定位導(dǎo)航領(lǐng)域：地圖建模。SLAM可以快速構(gòu)建局部3D地圖，并與地理信息系統(tǒng)（GIS）、視覺(jué)對(duì)象識(shí)別技術(shù)相結(jié)合，可以輔助無(wú)人機(jī)識(shí)別路障并自動(dòng)避障規(guī)劃路徑，還可以輔助機(jī)器人執(zhí)行路徑規(guī)劃、自主探索、導(dǎo)航等任務(wù)。曾經(jīng)刷爆美國(guó)朋友圈的Hovercamera無(wú)人機(jī)，正是應(yīng)用SLAM技術(shù)。國(guó)內(nèi)的科沃斯、塔米掃地機(jī)通過(guò)用SLAM算法結(jié)合激光雷達(dá)或者攝像頭的方法，讓掃地機(jī)可以高效繪制室內(nèi)地圖，智能分析和規(guī)劃掃地環(huán)境，從而成功讓自己步入了智能導(dǎo)航的陣列。

無(wú)人駕駛領(lǐng)域：視覺(jué)里程計(jì)。SLAM技術(shù)可以提供視覺(jué)里程計(jì)功能，并與GPS等其他定位方式相融合，從而滿足無(wú)人駕駛精準(zhǔn)定位的需求。例如，應(yīng)用了基于激光雷達(dá)技術(shù)LidarSlam的Google無(wú)人駕駛車以及牛津大學(xué)MobileRoboticsGroup11年改裝的無(wú)人駕駛汽車野貓(Wildcat)均已成功路測(cè)。

SLAM框架

自從上世紀(jì)80年代SLAM概念的提出到現(xiàn)在，SLAM技術(shù)已經(jīng)走過(guò)了30多年的歷史。SLAM技術(shù)采用的硬件、算法也在“與時(shí)俱進(jìn)”，SLAM技術(shù)框架逐漸豐富。在硬件方面，SLAM系統(tǒng)使用的傳感器從早期的聲吶，逐漸演變到后來(lái)的2D/3D激光雷達(dá)，再到單目、雙目攝像機(jī)，RGBD、ToF等深度攝像機(jī)，以及與慣性測(cè)量單元（IMU）等傳感器的融合。在軟件算法方面，也從開始的基于濾波器的方法，如擴(kuò)展卡爾曼濾波器（EKF）、粒子濾波器（PF）等，向基于優(yōu)化的方法轉(zhuǎn)變。

SLAM系統(tǒng)一般分為五個(gè)模塊，系統(tǒng)框架如圖2所示，包括：

• 傳感器數(shù)據(jù)：主要用于采集實(shí)際環(huán)境中的各類型原始數(shù)據(jù)。包括激光掃描數(shù)據(jù)、視頻圖像數(shù)據(jù)、點(diǎn)云數(shù)據(jù)等。
• 視覺(jué)里程計(jì)：主要用于不同時(shí)刻間移動(dòng)目標(biāo)相對(duì)位置的估算。包括特征匹配、直接配準(zhǔn)等算法的應(yīng)用。
• 后端：主要用于優(yōu)化視覺(jué)里程計(jì)帶來(lái)的累計(jì)誤差。包括濾波器、圖優(yōu)化等算法應(yīng)用。
• 建圖：用于三維地圖構(gòu)建。
• 回環(huán)檢測(cè)：主要用于空間累積誤差消除

圖2SLAM系統(tǒng)框架

其工作流程大致為：

傳感器讀取數(shù)據(jù)后，視覺(jué)里程計(jì)估計(jì)兩個(gè)時(shí)刻的相對(duì)運(yùn)動(dòng)（Ego-motion），后端處理視覺(jué)里程計(jì)估計(jì)結(jié)果的累積誤差，建圖則根據(jù)前端與后端得到的運(yùn)動(dòng)軌跡來(lái)建立三維地圖[1]，回環(huán)檢測(cè)考慮了同一場(chǎng)景不同時(shí)刻的圖像，提供了空間上約束來(lái)消除累積誤差。

SLAM技術(shù)的發(fā)展

依據(jù)傳感器的特點(diǎn)不同，SLAM技術(shù)也分為激光和視覺(jué)兩個(gè)技術(shù)路線，其特點(diǎn)如圖4所示。

• 激光雷達(dá)傳感器

激光雷達(dá)利用激光在同一空間參考系下獲取物體表面每個(gè)采樣點(diǎn)的空間坐標(biāo)，可得到一系列表達(dá)目標(biāo)空間分布和目標(biāo)表面特性的海量點(diǎn)的集合。由于激光雷達(dá)距離測(cè)量比較準(zhǔn)確，誤差模型簡(jiǎn)單，在強(qiáng)光直射以外的環(huán)境中運(yùn)行穩(wěn)定，因此點(diǎn)云的處理也比較容易。同時(shí)，點(diǎn)云信息本身包含直接的幾何關(guān)系，使得機(jī)器人的路徑規(guī)劃和導(dǎo)航變得直觀。激光SLAM理論研究也相對(duì)成熟，落地產(chǎn)品更豐富。

• 視覺(jué)傳感器

早期的視覺(jué)SLAM基于濾波理論，其非線性的誤差模型和巨大的計(jì)算量成為了它實(shí)用落地的障礙。近年來(lái)，隨著具有稀疏性的非線性優(yōu)化理論（BundleAdjustment）以及相機(jī)技術(shù)、計(jì)算性能的進(jìn)步，實(shí)時(shí)運(yùn)行的視覺(jué)SLAM已經(jīng)不再是夢(mèng)想。

圖3SLAM兩大類傳感器

圖4SLAM兩大傳感器特點(diǎn)

1、激光雷達(dá)SLAM發(fā)展

基于激光雷達(dá)的SLAM（LidarSLAM）采用2D或3D激光雷達(dá)（也叫單線或多線激光雷達(dá)）。在室內(nèi)機(jī)器人（如掃地機(jī)器人）上，一般使用2D激光雷達(dá)，在無(wú)人駕駛領(lǐng)域，一般使用3D激光雷達(dá)。

現(xiàn)任Udacity創(chuàng)始人CEO、前Google副總裁、谷歌無(wú)人車領(lǐng)導(dǎo)者SebastianThrun在他2005年的經(jīng)典著作《ProbabilisticRobotics》一書中詳細(xì)闡述了利用2D激光雷達(dá)基于概率方法進(jìn)行地圖構(gòu)建和定位的理論基礎(chǔ)，并闡述了基于RBPF（Rao-blackwellizedparticlefilter）粒子濾波器的FastSLAM方法，成為后來(lái)2D激光雷達(dá)建圖的標(biāo)準(zhǔn)方法之一GMapping的基礎(chǔ)，該算法也被集成到機(jī)器人操作系統(tǒng)（RobotOperationSystem，ROS）中。2013年，對(duì)ROS中的幾種2DSLAM的算法HectorSLAM，KartoSLAM，CoreSLAM，LagoSLAM和GMapping做了比較評(píng)估[2]。2016年，Google開源其激光雷達(dá)SLAM算法庫(kù)Cartographer，它與GMapping相比，能夠有效處理閉環(huán)，達(dá)到了較好的效果。

2、視覺(jué)SLAM發(fā)展

現(xiàn)在主流的視覺(jué)SLAM系統(tǒng)的特性主要體現(xiàn)在前端和后端，如圖5所示。

前端對(duì)應(yīng)視覺(jué)里程計(jì)，主要用于數(shù)據(jù)關(guān)聯(lián)，研究幀與幀之間變換關(guān)系，完成實(shí)時(shí)的位姿跟蹤，對(duì)輸入的圖像進(jìn)行處理，計(jì)算姿態(tài)變化。由于與后端還存在反饋，因此也檢測(cè)并處理閉環(huán)，當(dāng)有慣性測(cè)量單元（IMU）信息時(shí)，還可以參與融合計(jì)算。

后端主要對(duì)前端的輸出結(jié)果進(jìn)行優(yōu)化，利用濾波理論，如擴(kuò)展卡爾曼濾波（EKF）、粒子濾波（PF）等優(yōu)化理論進(jìn)行樹或圖的優(yōu)化，得到最優(yōu)的位姿估計(jì)和地圖。

圖5典型SLAM的前端和后端

2007年，第一個(gè)成功基于單目攝像頭的純視覺(jué)SLAM系統(tǒng)MonoSLAM[3]誕生。同年，Murray和Klein提出了實(shí)時(shí)SLAM系統(tǒng)PTAM（ParallelTrackingandMapping）[4],PTAM實(shí)現(xiàn)了架構(gòu)創(chuàng)新，它將姿態(tài)跟蹤（Tracking）和建圖（Mapping）兩個(gè)線程分開并行進(jìn)行，這在當(dāng)時(shí)是一個(gè)創(chuàng)舉，第一次讓大家覺(jué)得對(duì)地圖的優(yōu)化可以整合到實(shí)時(shí)計(jì)算中。這種設(shè)計(jì)為后來(lái)的實(shí)時(shí)SLAM（如ORB-SLAM）所效仿，成為了現(xiàn)代SLAM系統(tǒng)的標(biāo)配。

圖6PTAM系統(tǒng)與EKF-SLAM系統(tǒng)產(chǎn)生結(jié)果對(duì)比

2015年，Mur-Artal等提出了開源的單目ORB-SLAM[6]，并于2016年拓展為支持雙目和RGBD傳感器的ORB-SLAM2[7]，它是目前支持傳感器最全且性能最好的視覺(jué)SLAM系統(tǒng)之一，也是所有在KITTI數(shù)據(jù)集上提交結(jié)果的開源系統(tǒng)中排名最靠前的一個(gè)[8]。

如圖7所示，ORB-SLAM主要分為三個(gè)線程進(jìn)行，即跟蹤（Tracking）、建圖（LocalMapping）和閉環(huán)檢測(cè)（LoopClosing）。跟蹤部分是主要是從圖像中提取ORB特征，根據(jù)上一幀進(jìn)行姿態(tài)估計(jì)，或者進(jìn)行通過(guò)全局重定位初始化位姿，然后跟蹤已經(jīng)重建的局部地圖，優(yōu)化位姿，再根據(jù)一些規(guī)則確定新的關(guān)鍵幀。建圖部分主要完成局部地圖構(gòu)建。包括對(duì)關(guān)鍵幀的插入，驗(yàn)證最近生成的地圖點(diǎn)并進(jìn)行篩選，然后生成新的地圖點(diǎn)，使用局部捆集調(diào)整（LocalBA），最后再對(duì)插入的關(guān)鍵幀進(jìn)行篩選，去除多余的關(guān)鍵幀。閉環(huán)檢測(cè)部分主要分為兩個(gè)過(guò)程，分別是閉環(huán)探測(cè)和閉環(huán)校正。閉環(huán)檢測(cè)先使用二進(jìn)制詞典匹配檢測(cè)（WOB）進(jìn)行探測(cè)，然后通過(guò)Sim3算法計(jì)算相似變換。閉環(huán)校正，主要是閉環(huán)融合和EssentialGraph的圖優(yōu)化。由于ORB-SLAM系統(tǒng)是基于特征點(diǎn)的SLAM系統(tǒng)，故其能夠?qū)崟r(shí)計(jì)算出相機(jī)的軌線，并生成場(chǎng)景的稀疏三維重建結(jié)果。

圖7ORB-SLAM2的三線程結(jié)構(gòu)

2016年，TUM機(jī)器視覺(jué)組的Engel等人又提出了DSO系統(tǒng)[9]，該系統(tǒng)是一種新的基于直接法和稀疏法的視覺(jué)里程計(jì)，它將最小化光度誤差模型和模型參數(shù)聯(lián)合優(yōu)化方法相結(jié)合。為了滿足實(shí)時(shí)性，不對(duì)圖像進(jìn)行光滑處理，而是對(duì)整個(gè)圖像均勻采樣（如圖8）。該系統(tǒng)在TUMmonoVO、EuRoCMAV和ICL-NUIM三個(gè)數(shù)據(jù)集上進(jìn)行了測(cè)試，達(dá)到了很高的跟蹤精度和魯棒性。

圖8DSO系統(tǒng)

2017年，香港科技大學(xué)的沈紹劼老師課題組提出了融合慣性測(cè)量單元（IMU）和視覺(jué)信息的VINS系統(tǒng)[10]，同時(shí)開源手機(jī)和Linux兩個(gè)版本的代碼，這是首個(gè)直接開源手機(jī)平臺(tái)代碼的視覺(jué)IMU融合SLAM系統(tǒng)。這個(gè)系統(tǒng)可以運(yùn)行在iOS設(shè)備上，為手機(jī)端的增強(qiáng)現(xiàn)實(shí)應(yīng)用提供精確的定位功能，同時(shí)該系統(tǒng)也在應(yīng)用在了無(wú)人機(jī)控制上，并取得了較好的效果。

SLAM未來(lái)展望

SLAM前20年（1986-2004）可稱之為“古典年代”。古典年代時(shí)期，引入了SLAM概率論推導(dǎo)方法，包括基于擴(kuò)展卡爾曼濾波、粒子濾波和最大似然估計(jì)；這里的第一個(gè)挑戰(zhàn)是效率和數(shù)據(jù)關(guān)聯(lián)的魯棒性問(wèn)題。

接下來(lái)的年代，我們稱之為“算法分析”年代（2004-2015），在算法分析的年代，有許多SLAM基本特性的研究，包括可觀測(cè)性，收斂性和一致性。在這一時(shí)期，研究者們理解了稀疏特征在高效SLAM解決方案中的重要角色，開發(fā)了主要開源SLAM庫(kù)。

現(xiàn)在我們正進(jìn)入SLAM的第三個(gè)時(shí)代，從魯棒性覺(jué)醒的時(shí)代，它具有以下特征：

1.魯棒性能：這一時(shí)期SLAM系統(tǒng)在任意環(huán)境總運(yùn)行的失效率較低；系統(tǒng)具有失效保護(hù)機(jī)制且具有自動(dòng)調(diào)整的功能可以根據(jù)應(yīng)用場(chǎng)景自動(dòng)選擇系統(tǒng)參數(shù)；

2.高層次的理解力：SLAM系統(tǒng)已經(jīng)除了基本的幾何重建還能夠在更高層次上理解環(huán)境信息（比如，語(yǔ)義、可供性、高層幾何意義、物理意義等）；

3.資源敏感：SLAM系統(tǒng)可以進(jìn)行裁剪以滿足現(xiàn)有傳感器和計(jì)算資源，也可以根據(jù)現(xiàn)有資源調(diào)整計(jì)算負(fù)載；

4.對(duì)任務(wù)驅(qū)動(dòng)的判斷：SLAM系統(tǒng)可以自適應(yīng)地表示地圖，其復(fù)雜度可以根據(jù)機(jī)器人執(zhí)行的任務(wù)而改變。

地理信息在視頻監(jiān)控中有著廣泛的應(yīng)用，傳統(tǒng)的二維地理信息數(shù)據(jù)無(wú)法與平安城市監(jiān)控系統(tǒng)的業(yè)務(wù)數(shù)據(jù)進(jìn)行有效的集成和關(guān)聯(lián)，無(wú)法提供深層次數(shù)據(jù)服務(wù)，已經(jīng)不能適應(yīng)城市發(fā)展的需要與人民對(duì)優(yōu)質(zhì)生活的要求。若將SLAM三維稠密地圖構(gòu)建用于視頻監(jiān)控領(lǐng)域，可以更好地實(shí)現(xiàn)對(duì)監(jiān)控?cái)z像頭的搜索定位和視頻決策與分析。在三維地圖內(nèi)模擬云臺(tái)操作也可直接查看三維內(nèi)效果和視頻效果，這便于在三維地圖內(nèi)進(jìn)行可視調(diào)整，調(diào)試出最佳監(jiān)控點(diǎn)位，便于攝像頭的安裝及后期維護(hù)。

參考文獻(xiàn)：

[1]S?renRiisgaardandMortenRufusBlas：SLAMforDummies，ATutorialApproachtoSimultaneousLocalizationandMapping

[2]JoaoMachadoSantos,DavidPortugalandRuiP.Rocha.AnEvaluationof2DSLAMTechniquesAvailableinRobotOperatingSystem

[3]AJDavison,IDReid,NDMolton.MonoSLAM:Real-timesinglecameraSLAM.IEEETransactionsonPatternAnalysisandMachineIntelligence,June2007

[4]KleinG,MurrayD.ParalleltrackingandmappingforsmallARworkspaces.ProceedingsofIEEEandACMInternationalSymposiumonMixedandAugmentedReality.2007

[5]KleinG,MurrayD.Paralleltrackingandmappingonacameraphone.ProceedingsofIEEEandACMInternationalSymposiumonMixedandAugmentedReality.2009

[6]Mur-ArtalR,MontielJMM,TardosJD.ORB-SLAM:aversatileandaccuratemonocularSLAMsystem.IEEETransactionsonRobotics,2015,31(5):1147-1163

[7]RaúlMur-Artal,andJuanD.Tardós.ORB-SLAM2:anOpen-SourceSLAMSystemforMonocular,StereoandRGB-DCameras.ArXivpreprintarXiv:1610.06475,2016

[8]http://www.cvlibs.net/datasets/kitti/eval_odometry.php

[9]JakobEngelandVladlenKoltunandDanielCremers.DirectSparseOdometry.IEEETRANSACTIONSONPATTERNANALYSISANDMACHINEINTELLIGENCE.2017

[10]PeiliangLi,TongQin,BotaoHu,FengyuanZhuandShaojieShen.MonocularVisual-InertialStateEstimationforMobileAugmentedReality.ISMAR2017

【本文為51CTO專欄作者“中國(guó)保密協(xié)會(huì)科學(xué)技術(shù)分會(huì)”原創(chuàng)稿件，轉(zhuǎn)載請(qǐng)聯(lián)系原作者】

戳這里，看該作者更多好文