從自動駕駛的架構(gòu)出發(fā)往往最能夠理解自動駕駛的原理，大眾對自動駕駛最淺顯易懂的理解就是感知，決策，執(zhí)行。所有機器人都是這樣的架構(gòu)。

• 感知回答周圍有什么的問題，類似人的眼睛，耳朵。通過攝像頭，雷達，地圖等手段獲得周圍障礙物和道路的信息。 
• 決策回答我要如何做的問題，類似大腦。通過分析感知得來的信息，生成路徑和車速。 
• 執(zhí)行則類似于手腳，將決策獲得信息轉(zhuǎn)化成剎車、油門和轉(zhuǎn)向信號，控制車輛按照預期行駛。

接下來我們深入一層，問題開始有一些復雜。

我們在日常生活中可能會直覺的認為，我每時每刻在根據(jù)當下眼睛看到信息決定我下一步的決策，但情況往往并不是如此。從眼睛到腦袋再到手腳總是存在一個時間的延遲，自動駕駛也是如此。但我們不曾感受到影響是因為大腦會自動處理“預測”這件事情。哪怕只有幾毫秒，我們的決策也是根據(jù)對所見之物的預測來指導手腳運作的，這是我們維持正常機能的基礎(chǔ)。因此我們會在自動駕駛決策之前增加預測這個模塊。  

感知過程同樣內(nèi)藏乾坤，仔細推敲也分為兩個階段“傳感”和“感知”?！皞鞲小鲍@得的是傳感器的原始數(shù)據(jù)比如圖片，而“感知”是從圖片里處理出的有用信息（諸如圖里有幾個人）。古語常說“眼見為實，耳聽為虛”。“感知”的有用信息又可以繼續(xù)分為自車感知與外部感知，人亦或是自動駕駛汽車在處理這兩大類信息時往往有不同的策略。

• 自車感知-由感受器官每時每刻獲得的信息（包括攝像頭，雷達，GPS等） 
• 外部感知-由外部智能體或過往記憶，收集處理后轉(zhuǎn)告的信息（包括定位，地圖，車聯(lián)信息等），前提需要自車定位感知（GPS）的輸入。

另外各類傳感器經(jīng)由算法處理后的障礙物，車道等信息往往存在矛盾。雷達看到了前方有一個障礙物而攝像頭告訴你沒有，這時候就需要增加“融合”模塊。對不一致的信息作進一步的關(guān)聯(lián)和判斷。  

這里我們也常常把“融合與預測”歸納為“世界模型”。這個詞非常生動，無論你是唯物主義還是唯心主義?！笆澜纭倍疾豢赡苋咳M你的腦子里，而指導我們工作生活的是“世界”的“模型”，也就是通過對我們出生后的所見所謂加以處理，在腦中逐步構(gòu)建的對世界的理解，道家稱之為“內(nèi)景”。世界模型的核心職責就是通過“融合”來理解當下環(huán)境要素的屬性和關(guān)系，并配合“先驗的規(guī)律”作出“預測”為決策執(zhí)行提供更從容的判斷，這個時間跨度可以從幾毫秒到幾小時。  

由于世界模型的加入，整個架構(gòu)變得更加豐滿，但這里還一個細節(jié)常常被忽略。也就是信息的流向。簡單的理解，人是通過眼睛感知再到大腦處理最后交給手腳執(zhí)行的單向過程，可實際的情況往往更加復雜。這里有兩個典型的行為構(gòu)成了一個完全相反的信息流，那就是“目標達成的預案”以及“注意力的轉(zhuǎn)移”。  

“目標達成的預案”如何理解？實際上思考的伊始并非感知而是“目標”。有目標才可以觸發(fā)一個有意義的“感知-決策-執(zhí)行”過程，比方說你希望開車去一個目的地，可能你知道有幾個路線，而你最后會權(quán)衡擁堵情況選擇其中一個線路。擁堵情況屬于世界模型，而“到達目的地”屬于決策。這是一個決策向世界模型傳遞的過程。  

“注意力的轉(zhuǎn)移”又如何理解？哪怕是一張圖片，無論是人類還是機器都無法獲取內(nèi)部隱含的所有信息。從一個需求和上下文出發(fā)，我們往往會把注意力放在一個有限范圍和有限的品類上。這些信息無法從圖片本身獲得，而是來源于“世界模型”和“目標”，是一個從決策到世界模型再向感知傳遞的過程。  

我們補充一些必要的信息，重新整理下整個架構(gòu)，它變成了如下的模樣，是不是又復雜了一些。還沒完我們繼續(xù)看。

自動駕駛算法和大腦一樣，有一個對處理時間的要求。一般的周期在10ms-100ms之間，可以滿足對環(huán)境變化的反應(yīng)要求。但環(huán)境有時簡單有時卻非常復雜。很多算法模塊無法達成這個時間要求。比如思考一遍人生的意義可能不是100ms可以搞定的事情，如果每走一步路都要思考一遍人生，對大腦一定是一種摧殘。計算機也是如此，存在算力和運算速度的物理限制。解決方法就是引入分層框架。  

這種分層機制越往上處理周期一般會縮短3-10倍，當然并不一定需要完整出現(xiàn)在實際框架當中，工程上根據(jù)板上資源以及算法使用情況可以靈活調(diào)整?；旧?，感知是上行過程，根據(jù)注意力不斷精細化特定要素，提供有“縱深和指向”的感知信息。決策是下行過程，根據(jù)不同層次的世界模型逐層從目標分解動作到每個執(zhí)行單元。世界模型一般沒有特定流向，用于構(gòu)建不同粒度尺度的環(huán)境信息。  

根據(jù)處理任務(wù)的復雜度，人員分工以及通訊環(huán)境也會進行適當?shù)拈幐钆c合并。比如低階ADAS功能(ACC)，算力較少，可以只設(shè)計一層。高階ADAS功能（AutoPilot）一般會有兩層的配置。而自動駕駛功能，復雜算法較多，三層的設(shè)計有時是必須的。在軟件架構(gòu)設(shè)計中，也存在同一層的世界模型與感知或是決策模塊合并的情況。

各類自動駕駛公司或者行業(yè)標準都會發(fā)布自己的軟件架構(gòu)設(shè)計，但往往都是根據(jù)現(xiàn)狀閹割后的結(jié)果，并不具有普適性，但為了方便大家理解，我還是把當下主流的功能模塊代入進來，大家來看看對照關(guān)系，對理解原理更有幫助。

這里需要提前注意下，雖然這已經(jīng)有點軟件架構(gòu)的意味，但仍然是一種對原理的描述，實際的軟件架構(gòu)設(shè)計相較于此還要更為復雜，這里并沒有展開所有細節(jié)，而是把容易混淆的部分重點做了展開。下面我們重點梳理下。

環(huán)境感知-ALL IN深度學習

為了確保無人車對環(huán)境的理解和把握，無人駕駛系統(tǒng)的環(huán)境感知部分通常需要獲取周圍環(huán)境的大量信息，包括障礙物的位置，速度，前方車道的精確形狀，標志牌的位置類型等。通常是通過融合激光雷達（Lidar），周視/環(huán)視相機（Camera），毫米波雷達（Millimeter Wave Radar）等多種傳感器的數(shù)據(jù)來獲取這些信息。  

深度學習的發(fā)展，使得通過神經(jīng)網(wǎng)絡(luò)算法完成自動駕駛搭建成為全行業(yè)共識。感知模塊的算法是整個深度學習化的“馬前卒”，是最早完成轉(zhuǎn)型的軟件模塊。

定位地圖與V2X-自車感知與外部感知之間的關(guān)聯(lián)與差異

傳統(tǒng)意義上理解，外部感知是以GPS定位信號為基礎(chǔ)，將高精地圖和車聯(lián)網(wǎng)消息（V2X）等絕對坐標系下的信息轉(zhuǎn)化到自車坐標系下，供車輛使用的感知源。和人使用的高德導航儀類似。配合原本就在自車坐標系下的“自車感知”信息綜合為自動駕駛提供環(huán)境信息。  

但實際的設(shè)計往往更為復雜，由于GPS不可靠，IMU需要持續(xù)修正，可量產(chǎn)的自動駕駛定位往往使用感知地圖的匹配來精確獲得精確的絕對位置，利用感知結(jié)果來修正IMU獲得精確的相對位置，和GPS-IMU組成的INS系統(tǒng)形成冗余。因此“外部感知”所必須的定位信號，往往依賴于“自車感知”信息。  

另外雖然地圖嚴格意義上屬于“世界模型”的組成部分，但受限于GPS的敏感性，在國內(nèi)進行軟件實施的過程中，會把定位模塊和地圖模塊進行整合，并加偏所有GPS數(shù)據(jù)，確保沒有敏感定位信息的外泄。

融合預測模塊-核心關(guān)注兩者的差異

融合的核心是解決兩個問題，一個是時空同步問題，利用坐標系轉(zhuǎn)換算法和軟硬協(xié)同的時間同步算法，首先將激光雷達，相機和毫米波雷達等感知測量結(jié)果對齊到一個時空點上，確保整個環(huán)境感知原始數(shù)據(jù)的統(tǒng)一。另一個是解決關(guān)聯(lián)（Association）與異常剔除的問題，處理不同傳感器映射到同一個“世界模型”元素（一個人/一根車道等）的關(guān)聯(lián)，并且剔除可能由于單一傳感器誤檢導致的異常。但融合區(qū)別于預測的根本是其只處理過去以及當前時刻的信息，并不會對外來時刻做處理。  

而預測會基于融合的結(jié)果做出對未來時刻的判斷，這個未來的時刻從10ms-5分鐘皆有。其中包括對信號燈的預測，對周圍障礙物行駛路徑的預測或者是對遠處的過彎位置做出預測。不同周期的預測會給到對應(yīng)周期的規(guī)劃，做不同粒度的預判，從而為規(guī)劃的調(diào)整提供更大的空間。

規(guī)劃控制-層次化策略分解  

規(guī)劃是無人車為了某一目標而作出一些有目的性的決策的過程，對于無人駕駛車輛而言，這個目標通常是指從出發(fā)地到達目的地，同時避免障礙物，并且不斷優(yōu)化駕駛軌跡和行為以保證乘客的安全舒適。規(guī)劃的結(jié)構(gòu)總結(jié)就是根據(jù)不同粒度的環(huán)境融合信息，從外部目標出發(fā)進行逐層的評估與分解，最終傳遞到執(zhí)行器，形成完整的一次決策。  

細分來看，規(guī)劃模塊一般會分成三層：任務(wù)規(guī)劃（Mission Planning），行為規(guī)劃（Behavioral Planning）和動作規(guī)劃（Motion Planning）三層，任務(wù)規(guī)劃核心是基于路網(wǎng)和離散路徑搜索算法獲得全局路徑被給出大尺度的任務(wù)類型，往往周期較長，行為規(guī)劃是基于有限狀態(tài)機判斷在一個中周期上，車輛應(yīng)該采取的具體行為（左換道，繞行避讓，E-STOP）并設(shè)定一些邊界參數(shù)和大致的路徑范圍。運動規(guī)劃層往往會基于采樣或是最優(yōu)化的方法最終獲得滿足舒適性，安全性要求的唯一路徑。最后交由控制模塊通過前饋預測和反饋控制算法完成對唯一路徑的跟隨，并操縱制動，轉(zhuǎn)向，油門，車身等執(zhí)行器最終執(zhí)行命令。  

不知道各位看官姥爺理解到了第幾層，但以上這些也只是自動駕駛原理的入門內(nèi)容，當下自動駕駛的理論，算法和架構(gòu)發(fā)展都非?？?，雖然上述內(nèi)容是比較本源的知識點，很長時間內(nèi)不會過時。但新增的需求給自動駕駛的架構(gòu)和原理都帶來了很多全新的認知。