匯聚感知、定位、規(guī)劃控制的自動(dòng)駕駛系統(tǒng)超詳細(xì)綜述文章!
本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請(qǐng)聯(lián)系出處。
自動(dòng)駕駛技術(shù)在應(yīng)用到車輛上之后可以通過提高吞吐量來緩解道路擁堵,通過消除人為錯(cuò)誤來提高道路安全性,并減輕駕駛員的駕駛負(fù)擔(dān),從而提高工作效率和休息時(shí)間等諸多好處。在過去的30年間,隨著傳感器和技術(shù)的進(jìn)步使得必要硬件的規(guī)模和價(jià)格不斷減小,在工業(yè)界和學(xué)術(shù)界對(duì)于自動(dòng)駕駛汽車技術(shù)的研究力度穩(wěn)步加大,目前已經(jīng)取得了諸多的實(shí)質(zhì)性進(jìn)步。
因此,本文旨在概述自動(dòng)駕駛汽車軟件系統(tǒng)領(lǐng)域的最新發(fā)展。本文回顧了自動(dòng)駕駛汽車軟件的基本組成部分,并討論了各個(gè)領(lǐng)域的最新發(fā)展。自動(dòng)駕駛汽車軟件系統(tǒng)的核心能力大致可分為三類,即感知、規(guī)劃和控制,這些能力與車輛與環(huán)境的交互如下圖所示。此外,可以利用車對(duì)車 (V2V) 通信,通過車輛協(xié)作進(jìn)一步改善感知以及規(guī)劃領(lǐng)域。

自動(dòng)駕駛汽車軟件和硬件的基本組成部分
通過上圖可以看出,自動(dòng)駕駛汽車的軟件主要包括感知,規(guī)劃和控制三個(gè)大方向。
- 感知:感知是指自主系統(tǒng)從環(huán)境中收集信息和提取相關(guān)知識(shí)的能力。環(huán)境感知是指發(fā)展對(duì)環(huán)境的情境理解,例如障礙物的位置、道路標(biāo)志以及標(biāo)記的檢測(cè)以及根據(jù)語義對(duì)數(shù)據(jù)進(jìn)行分類。定位是指自動(dòng)駕駛汽車確定其相對(duì)于環(huán)境的位置的能力。
- 規(guī)劃:規(guī)劃是指為了實(shí)現(xiàn)自動(dòng)駕駛汽車更高階的目標(biāo)而做出有目的的決策的過程,通常是將車輛從起始位置帶到目標(biāo)位置,同時(shí)避開障礙物并優(yōu)化設(shè)計(jì)的啟發(fā)式方法。
- 控制:控制能力是指自動(dòng)駕駛汽車執(zhí)行由更高級(jí)別流程生成的計(jì)劃動(dòng)作的能力。
文章鏈接:https://www.mdpi.com/2075-1702/5/1/6
感知部分
環(huán)境感知
環(huán)境感知是自動(dòng)駕駛汽車的一項(xiàng)基本功能,它為汽車提供有關(guān)駕駛環(huán)境的重要信息,包括可自由駕駛區(qū)域和周圍障礙物的位置、速度,甚至未來狀態(tài)的預(yù)測(cè)。一般而言自動(dòng)駕駛汽車上都會(huì)配置激光雷達(dá)、攝像頭、毫米波雷達(dá)、超聲波雷達(dá)等信息采集傳感器來實(shí)現(xiàn)更高效、準(zhǔn)確的周圍環(huán)境感知。無論采用哪種傳感器,感知任務(wù)的兩個(gè)關(guān)鍵要素是路面提取和道路物體檢測(cè)。
激光雷達(dá)傳感器
激光雷達(dá)是一種光檢測(cè)和測(cè)距設(shè)備,它以精心設(shè)計(jì)的模式每秒發(fā)送數(shù)百萬個(gè)光脈沖。借助其旋轉(zhuǎn)軸,它能夠創(chuàng)建環(huán)境的動(dòng)態(tài)三維地圖。激光雷達(dá)是大多數(shù)現(xiàn)有自動(dòng)駕駛汽車物體檢測(cè)的核心。下圖顯示了3D激光雷達(dá)的理想檢測(cè)結(jié)果,所有移動(dòng)物體均被識(shí)別。

3D激光雷達(dá)檢測(cè)到所有移動(dòng)物體的理想檢測(cè)結(jié)果
在真實(shí)場(chǎng)景中,激光雷達(dá)返回的點(diǎn)從來都不是完美的。處理激光雷達(dá)點(diǎn)的困難在于掃描點(diǎn)稀疏、缺失點(diǎn)和無組織的模式。周圍環(huán)境也給感知帶來了更多挑戰(zhàn),因?yàn)楸砻婵赡苁侨我夂筒环€(wěn)定的。有時(shí)甚至很難從掃描點(diǎn)的可視化中感知到有用的信息。激光雷達(dá)的輸出是從物體反射回來的稀疏3D點(diǎn),每個(gè)點(diǎn)代表物體相對(duì)于激光雷達(dá)的3D位置。點(diǎn)的三種主要表示形式通常包括點(diǎn)云、特征和網(wǎng)格。因此,很多學(xué)術(shù)界的算法都在研究如何實(shí)現(xiàn)對(duì)于點(diǎn)云特征的更準(zhǔn)確表達(dá)。
為了要感知3D點(diǎn)云信息,通常涉及兩個(gè)步驟:分割和分類。有些可能包括第三步,即在時(shí)間維度上的積分,以提高準(zhǔn)確性和一致性。點(diǎn)云的分割是將點(diǎn)進(jìn)行聚類的過程,而分類是識(shí)別分割的點(diǎn)群的類別,例如自行車、汽車、行人、路面等。3D點(diǎn)云分割算法可分為五類:基于邊緣、基于區(qū)域、基于屬性、基于模型和基于圖的各類算法。但隨著如今技術(shù)的快速發(fā)展和迭代,又出現(xiàn)了基于深度學(xué)習(xí)算法的類別。
在進(jìn)行點(diǎn)云的分割之后,每個(gè)點(diǎn)云簇需要分類為不同的對(duì)象類別。每個(gè)點(diǎn)云簇中嵌入的信息主要來自空間關(guān)系和點(diǎn)的激光雷達(dá)強(qiáng)度,這在對(duì)象識(shí)別中的用途非常有限。因此,大多數(shù)算法將通過一些融合機(jī)制來實(shí)現(xiàn)視覺檢測(cè)問題。
視覺
自動(dòng)駕駛汽車環(huán)境感知中的視覺系統(tǒng)通常涉及道路檢測(cè)和道路物體檢測(cè)。道路檢測(cè)也包括兩類:車道線標(biāo)記檢測(cè)和路面檢測(cè)。
- 車道線標(biāo)記檢測(cè):車道線標(biāo)記檢測(cè)是識(shí)別道路上的車道線標(biāo)記并估計(jì)車輛相對(duì)于檢測(cè)到車道線的姿態(tài)。這條信息可以作為車輛位置反饋給車輛控制系統(tǒng)。近年來,人們?cè)谶@個(gè)領(lǐng)域進(jìn)行了大量的研究工作,并取得了較為不錯(cuò)的成績(jī)。
- 路面檢測(cè):路面檢測(cè)可告知自動(dòng)駕駛汽車可在不發(fā)生碰撞的情況下行駛的自由空間位置。這是任何在線路徑規(guī)劃和控制操作的先決條件。一般來說,方法可分為三類:基于特征、線索的檢測(cè)、基于特征、線索的學(xué)習(xí)和深度學(xué)習(xí)。
對(duì)這部分感興趣的讀者可以在論文原文的第2.1.2小節(jié)中找到相關(guān)的學(xué)術(shù)論文和研究成果。
傳感器融合
不同的傳感器各有優(yōu)缺點(diǎn)。需要傳感器融合技術(shù)才能充分利用每個(gè)傳感器的優(yōu)勢(shì)。在自動(dòng)駕駛汽車環(huán)境感知方面,激光雷達(dá)能夠進(jìn)行3D 測(cè)量,并且不受環(huán)境照明的影響,但它提供的物體外觀信息很少;相反,攝像頭能夠提供豐富的外觀數(shù)據(jù),其中包含有關(guān)物體的更多細(xì)節(jié),但其性能在不同照明條件下并不一致;此外,攝像頭不會(huì)隱式提供3D信息??紤]到上述的問題,目前基于工業(yè)界和學(xué)術(shù)界對(duì)于各類傳感器融合算法開展了大量的研究并且取得了諸多出色的研究進(jìn)展。相關(guān)的學(xué)術(shù)論文及研究成果可以詳見論文原文的第2.1.3小節(jié)。
定位
定位是確定自車姿態(tài)并測(cè)量其自身運(yùn)動(dòng)的問題。這是實(shí)現(xiàn)自動(dòng)駕駛的基本能力之一。然而,確定車輛的準(zhǔn)確姿態(tài)(位置和方向)通常很困難,因此定位問題通常被表述為姿態(tài)估計(jì)問題。估計(jì)自車姿態(tài)的問題通常可以分為兩個(gè)子問題,即姿態(tài)固定問題和航位推算問題。在姿態(tài)固定問題中,測(cè)量值與姿態(tài)通過代數(shù)或者超越方程相關(guān)聯(lián)。姿態(tài)固定需要能夠根據(jù)姿態(tài)(例如地圖)預(yù)測(cè)測(cè)量值。在航位推算問題中,狀態(tài)與觀察值通過一組微分方程相關(guān)聯(lián),并且必須將這些方程積分才能導(dǎo)航。在這種情況下,傳感器測(cè)量值不一定可以從給定的姿態(tài)推斷出來。從這個(gè)意義上講,姿態(tài)固定和航位推算相輔相成。
在定位問題上目前也有諸多的解決方案,定位車輛的最流行方法之一是衛(wèi)星導(dǎo)航系統(tǒng)和慣性導(dǎo)航系統(tǒng)的融合。衛(wèi)星導(dǎo)航系統(tǒng),如GPS可以定期定位車輛的全球位置。它們的精度可以從幾十米到幾毫米不等,具體取決于信號(hào)強(qiáng)度和所用設(shè)備的質(zhì)量。慣性導(dǎo)航系統(tǒng)使用加速度計(jì)、陀螺儀和信號(hào)處理技術(shù)來估計(jì)車輛的姿態(tài),不需要外部基礎(chǔ)設(shè)施。然而,如果不添加其他傳感器,慣性導(dǎo)航系統(tǒng)的啟動(dòng)可能會(huì)很困難,并且誤差會(huì)隨著時(shí)間的推移而無限增長。有關(guān)于其它相關(guān)的定位解決方案可以閱讀論文中第2.2節(jié)相關(guān)的技術(shù)細(xì)節(jié)。
規(guī)劃部分
早期的自動(dòng)駕駛汽車通常只是半自動(dòng)駕駛,因?yàn)樗鼈兊脑O(shè)計(jì)功能通常僅限于執(zhí)行車道跟蹤、自適應(yīng)巡航控制和一些其他基本功能。隨著自動(dòng)駕駛規(guī)劃技術(shù)的快速發(fā)展,更全面的規(guī)劃框架可以使自動(dòng)駕駛汽車處理各種復(fù)雜的城市駕駛場(chǎng)景。任務(wù)規(guī)劃(或路線規(guī)劃)考慮的是高級(jí)的目標(biāo),例如接送任務(wù)的分配以及應(yīng)走哪條路來完成任務(wù)。行為規(guī)劃做出臨時(shí)決策,以便與其他交通智能體正確交互并遵守規(guī)則限制,從而生成局部目標(biāo),例如,變道、超車或通過交叉路口。運(yùn)動(dòng)規(guī)劃(或局部規(guī)劃)生成適當(dāng)?shù)穆窂交蛘邉?dòng)作集以實(shí)現(xiàn)局部目標(biāo),最典型的目標(biāo)是到達(dá)目標(biāo)區(qū)域同時(shí)避免與障礙物碰撞。接下來,我們對(duì)此分別進(jìn)行介紹。
任務(wù)規(guī)劃
任務(wù)規(guī)劃通常通過對(duì)反映道路或者路徑網(wǎng)絡(luò)連通性的有向圖網(wǎng)絡(luò)進(jìn)行圖形搜索來執(zhí)行。Dijkstra算法或者A*算法等算法都是任務(wù)規(guī)劃中的經(jīng)典算法,感興趣的讀者也可以看下針對(duì)路線規(guī)劃為主的綜述性論文。
行為規(guī)劃
行為規(guī)劃器負(fù)責(zé)做出決策,以確保車輛遵守任何規(guī)定的道路規(guī)則,并以常規(guī)、安全的方式與其他交通智能體進(jìn)行交互,同時(shí)沿著任務(wù)規(guī)劃器規(guī)定的路線逐步前進(jìn)。這可以通過結(jié)合本地目標(biāo)設(shè)定、虛擬障礙物放置、可駕駛區(qū)域邊界調(diào)整或者區(qū)域啟發(fā)式成本調(diào)整來實(shí)現(xiàn)。
運(yùn)動(dòng)規(guī)劃
運(yùn)動(dòng)規(guī)劃是一個(gè)非常廣泛的研究領(lǐng)域,應(yīng)用于移動(dòng)機(jī)器人和操縱臂,應(yīng)用范圍廣泛,包括制造、醫(yī)療、應(yīng)急響應(yīng)、安全監(jiān)視、農(nóng)業(yè)和運(yùn)輸。在自動(dòng)駕駛汽車這一研究領(lǐng)域,運(yùn)動(dòng)規(guī)劃是指決定一系列動(dòng)作以達(dá)到指定目標(biāo)的過程,通常同時(shí)避免與障礙物發(fā)生碰撞。運(yùn)動(dòng)規(guī)劃器通常根據(jù)其計(jì)算效率和完整性進(jìn)行比較和評(píng)估。計(jì)算效率是指過程運(yùn)行時(shí)間以及它如何根據(jù)配置空間的維數(shù)進(jìn)行擴(kuò)展。如果算法在有限的時(shí)間內(nèi)終止,當(dāng)存在解決方案時(shí)始終返回解決方案,否則指示不存在解決方案,則認(rèn)為該算法是完整的。
運(yùn)動(dòng)規(guī)劃的核心思想是通過將連續(xù)空間模型轉(zhuǎn)換為離散模型,目前常用的一般是如下兩類轉(zhuǎn)換方法:
- 組合規(guī)劃方法:組合規(guī)劃器旨在通過構(gòu)建一個(gè)離散表示來找到完整的解決方案,該方法準(zhǔn)確地表示原始問題,但其特點(diǎn)是對(duì)于特殊情況求解器具有方便的屬性。
- 基于采樣的方法:基于采樣的方法依賴于連續(xù)空間的隨機(jī)采樣,以及可行軌跡圖(也稱為樹或路線圖)的生成,其中通過檢查節(jié)點(diǎn)和連接這些節(jié)點(diǎn)的邊的碰撞來驗(yàn)證可行性。理想情況下,生成的路線圖應(yīng)提供所有無障礙空間的良好覆蓋和連通性。然后使用路線圖上的路徑來構(gòu)建原始運(yùn)動(dòng)規(guī)劃問題的解決方案。
但是,在日常的自動(dòng)駕駛汽車行駛過程中,許多操作環(huán)境并非靜態(tài)的,因此無法預(yù)先知道。在城市環(huán)境中,行人以及周圍的汽車會(huì)移動(dòng),道路會(huì)因施工或事故清理而繞行和封閉,視野也會(huì)經(jīng)常受阻。自動(dòng)駕駛汽車必須不斷感知環(huán)境中的新變化,并能夠在考慮多種不確定性的同時(shí)做出反應(yīng)。不確定性來自感知傳感器的精度、定位精度、環(huán)境變化和控制策略的執(zhí)行,因此在實(shí)際的應(yīng)用過程中,如何實(shí)現(xiàn)準(zhǔn)確、舒適和高效的規(guī)劃依舊是非常重要的挑戰(zhàn)。
控制
自主系統(tǒng)的執(zhí)行能力(通常也稱為運(yùn)動(dòng)控制)是將意圖轉(zhuǎn)化為行動(dòng)的過程;其主要目的是通過向硬件級(jí)別提供必要的輸入來執(zhí)行計(jì)劃的意圖,從而產(chǎn)生所需的運(yùn)動(dòng)??刂破鲝牧湍芰康慕嵌扔成洮F(xiàn)實(shí)世界中的交互,而自主系統(tǒng)中的認(rèn)知導(dǎo)航和規(guī)劃算法通常與車輛相對(duì)于其環(huán)境的速度和位置有關(guān)??刂葡到y(tǒng)內(nèi)部的測(cè)量可用于確定系統(tǒng)運(yùn)行情況,因此控制器可以做出反應(yīng)以消除干擾并將系統(tǒng)的動(dòng)態(tài)改變?yōu)樗锠顟B(tài)。系統(tǒng)模型可用于更詳細(xì)地描述所需的運(yùn)動(dòng),這對(duì)于令人滿意的運(yùn)動(dòng)執(zhí)行至關(guān)重要。
反饋控制是許多應(yīng)用中最常見的控制器結(jié)構(gòu)。反饋控制使用測(cè)量的系統(tǒng)響應(yīng)并主動(dòng)補(bǔ)償與期望行為的任何偏差。反饋控制可以減少參數(shù)變化、建模錯(cuò)誤以及不必要的干擾的負(fù)面影響。反饋控制還可以修改系統(tǒng)的瞬態(tài)行為以及測(cè)量噪聲的影響。然而,在控制器中僅使用反饋項(xiàng)可能會(huì)受到一些限制。僅反饋控制器的第一個(gè)重要限制是它對(duì)錯(cuò)誤的響應(yīng)延遲,因?yàn)樗辉阱e(cuò)誤發(fā)生時(shí)才做出響應(yīng)。純反饋控制器還存在耦合響應(yīng)的問題,因?yàn)閷?duì)干擾、建模誤差和測(cè)量噪聲的響應(yīng)都是由同一機(jī)制計(jì)算的。有關(guān)于控制相關(guān)的更多研究和解決方案可以參考論文中的第四節(jié)內(nèi)容。
結(jié)論
近年來,隨著自動(dòng)駕駛技術(shù)的快速發(fā)展和迭代,各個(gè)自動(dòng)駕駛系統(tǒng)的子模塊也取得了日新月異的發(fā)展,本文就針對(duì)自動(dòng)駕駛系統(tǒng)中的感知、規(guī)劃和控制等軟件系統(tǒng)進(jìn)行了較為詳細(xì)的總結(jié)和歸納,以幫助自動(dòng)駕駛領(lǐng)域的從業(yè)者進(jìn)行更好的學(xué)習(xí)。



































