本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

End to End methods for Autonomous Driving

近幾年，自動(dòng)駕駛技術(shù)的發(fā)展可謂是日新月異。從2021年的BEV+Transformer范式到2022年的Occupancy網(wǎng)絡(luò)，再到2023年以來(lái)，“端到端”思路被炒得火熱，如今各大廠商幾乎都推出了自己的做端到端系統(tǒng)：2023年8月特斯拉發(fā)布FSD V12；2024年4月商湯絕影發(fā)布面向量產(chǎn)的端到端自動(dòng)駕駛解決方法UniAD；2024年5月，百度發(fā)布Apollo ADFM作為支持L4級(jí)別自動(dòng)駕駛的大模型；2024年5月，小鵬汽車(chē)也發(fā)布自己的端到端大模型包含感知大模型XNet+規(guī)控大模型XPlanner+大語(yǔ)言模型XBrain三個(gè)部分……

不論是主機(jī)廠還是智駕解決方案供應(yīng)商，每一家都有自己的端到端算法，但是到底什么是端到端？業(yè)內(nèi)一直在討論，沒(méi)有一個(gè)明確的定義。但是筆者認(rèn)為，來(lái)自大佬王乃巖的知乎回答，可能可以給讀者們提供一些思考。簡(jiǎn)單總結(jié)就是：輸入各種傳感器的數(shù)據(jù)，可以直接輸出控制信號(hào)的或者行駛軌跡的，可以稱之為狹義端到端；而廣義端到端可以認(rèn)為是提供了一種對(duì)于感知信息（也許是隱式）的全面表示，能夠自動(dòng)地無(wú)損地作用于PnC的模型。

對(duì)于我們自動(dòng)駕駛從業(yè)人員來(lái)說(shuō)，follow新的技術(shù)，一直是我們的工作之一。今天筆者就帶來(lái)一份詳細(xì)的端到端自動(dòng)駕駛論文的總結(jié)，供大家學(xué)習(xí)入門(mén)。

ST-P3: End-to-end Vision-based Autonomous Driving via Spatial-Temporal Feature Learning

論文鏈接：https://arxiv.org/pdf/2207.07601
論文時(shí)間：2022.7
論文作者：Shengchao Hu， Li Chen, Penghao Wu, et al.
所屬團(tuán)隊(duì)：上海交通大學(xué)人工智能實(shí)驗(yàn)室，上海市人工智能實(shí)驗(yàn)室，加利福尼亞州圣地亞哥分校，et al.

這篇論文提出了一個(gè)名為ST-P3的端到端視覺(jué)基礎(chǔ)自動(dòng)駕駛系統(tǒng)，旨在通過(guò)空間-時(shí)間特征學(xué)習(xí)來(lái)提升自動(dòng)駕駛?cè)蝿?wù)中的感知、預(yù)測(cè)和規(guī)劃性能?，F(xiàn)有的自動(dòng)駕駛范式通常采用多階段分散的流水線任務(wù)，但這種方法的缺點(diǎn)在于各個(gè)階段間可能存在信息損失和不一致性。為了克服這些問(wèn)題，ST-P3采用了一種一體化的方法，直接從原始傳感器數(shù)據(jù)生成規(guī)劃路徑或控制信號(hào)，從而在整個(gè)網(wǎng)絡(luò)中同時(shí)優(yōu)化特征表示。ST-P3系統(tǒng)的核心在于其空間-時(shí)間特征學(xué)習(xí)方案，該方案通過(guò)三個(gè)主要的技術(shù)改進(jìn)來(lái)增強(qiáng)特征學(xué)習(xí)：自我中心對(duì)齊累積技術(shù)（Ego-centric Aligned Accumulation）：在感知階段，該技術(shù)通過(guò)預(yù)測(cè)深度信息將多視角相機(jī)輸入的特征轉(zhuǎn)換到3D空間，并在變換到鳥(niǎo)瞰圖（BEV）之前，將過(guò)去和當(dāng)前的3D特征進(jìn)行累積，以保留幾何信息。雙通道建模（Dual Pathway Modelling）：在預(yù)測(cè)階段，ST-P3不僅考慮當(dāng)前狀態(tài)的不確定性，還結(jié)合了過(guò)去的運(yùn)動(dòng)變化，通過(guò)兩個(gè)通道來(lái)增強(qiáng)對(duì)未來(lái)場(chǎng)景的預(yù)測(cè)能力。先驗(yàn)知識(shí)精細(xì)化單元（Prior-Knowledge Refinement）：在規(guī)劃階段，ST-P3利用從早期網(wǎng)絡(luò)階段獲得的中間表示來(lái)規(guī)劃安全舒適的軌跡，并引入一個(gè)精細(xì)化模塊來(lái)進(jìn)一步優(yōu)化軌跡，考慮如交通信號(hào)燈等視覺(jué)元素。

Planning-oriented Autonomous Driving

論文鏈接：https://arxiv.org/pdf/2212.10156
論文時(shí)間：2023.3
論文作者：Yihan Hu, Jiazhi Yang, Li Chen, Keyu Li, et al.
所屬團(tuán)隊(duì)：OpenDriveLab, OpenGVLab，上海人工智能實(shí)驗(yàn)室, 武漢大學(xué), 商湯科技研究院

在傳統(tǒng)的自動(dòng)駕駛系統(tǒng)中，感知、預(yù)測(cè)和規(guī)劃任務(wù)通常由獨(dú)立的模型分別處理，這種模塊化的方法雖然簡(jiǎn)化了研發(fā)流程，卻存在著信息在模塊間傳遞時(shí)丟失、誤差累積以及特征對(duì)齊問(wèn)題。UniAD通過(guò)一個(gè)統(tǒng)一的網(wǎng)絡(luò)將這些任務(wù)整合在一起，優(yōu)化了任務(wù)間的信息流通和協(xié)調(diào)，從而顯著提升了整個(gè)系統(tǒng)的性能和可靠性。UniAD的核心是其端到端的設(shè)計(jì)，它將多個(gè)關(guān)鍵任務(wù)——包括目標(biāo)檢測(cè)、多目標(biāo)跟蹤、在線地圖構(gòu)建、運(yùn)動(dòng)預(yù)測(cè)、占用預(yù)測(cè)和規(guī)劃——封裝在一個(gè)網(wǎng)絡(luò)中。這種設(shè)計(jì)允許系統(tǒng)從全局視角捕獲駕駛場(chǎng)景的語(yǔ)義和幾何信息，并通過(guò)統(tǒng)一的查詢接口實(shí)現(xiàn)不同任務(wù)間的有效通信。例如，感知模塊的輸出可以直接用于預(yù)測(cè)模塊，而預(yù)測(cè)結(jié)果又可以指導(dǎo)規(guī)劃器制定安全有效的行駛策略。從實(shí)現(xiàn)的角度說(shuō)，UniAD采用了Transformer解碼器結(jié)構(gòu)，利用自注意力機(jī)制來(lái)處理感知和預(yù)測(cè)任務(wù)中的序列化數(shù)據(jù)。它通過(guò)TrackFormer進(jìn)行目標(biāo)的檢測(cè)和跟蹤，通過(guò)MapFormer實(shí)現(xiàn)在線地圖構(gòu)建，通過(guò)MotionFormer預(yù)測(cè)其他車(chē)輛和行人的未來(lái)運(yùn)動(dòng)軌跡，通過(guò)OccFormer預(yù)測(cè)未來(lái)場(chǎng)景的占用網(wǎng)格圖。最終，規(guī)劃器結(jié)合這些信息，使用非線性優(yōu)化策略生成最終的行駛軌跡，確保自動(dòng)駕駛車(chē)輛能夠安全地導(dǎo)航。

ReasonNet: End-to-End Driving with Temporal and Global Reasoning

論文鏈接：https://arxiv.org/pdf/2305.10507
論文時(shí)間：2023.5
論文作者：Hao Shao, Letian Wang, Ruobing Chen, et al.
所屬團(tuán)隊(duì)：商湯科技研究院, 多倫多大學(xué), 香港中文大學(xué) MMLab, 上海人工智能實(shí)驗(yàn)室

ReasonNet是為解決自動(dòng)駕駛車(chē)輛在城市密集交通場(chǎng)景中部署的挑戰(zhàn)而設(shè)計(jì)的端到端駕駛框架。該框架特別關(guān)注于預(yù)測(cè)場(chǎng)景的未來(lái)演變和對(duì)象的未來(lái)行為，以及處理罕見(jiàn)的不利事件，如遮擋對(duì)象的突然顯現(xiàn)。這些能力對(duì)于確保自動(dòng)駕駛車(chē)輛能夠安全、可靠地運(yùn)行至關(guān)重要。框架的核心在于其兩個(gè)創(chuàng)新的推理模塊：時(shí)序推理和全局推理。時(shí)序推理模塊通過(guò)分析和融合不同幀之間的特征，有效地處理了對(duì)象隨時(shí)間的運(yùn)動(dòng)和相互作用，同時(shí)維護(hù)了一個(gè)記憶庫(kù)來(lái)存儲(chǔ)和利用歷史特征，這有助于對(duì)遮擋對(duì)象進(jìn)行追蹤和預(yù)測(cè)。全局推理模塊則進(jìn)一步增強(qiáng)了框架的能力，通過(guò)模擬對(duì)象與環(huán)境之間的交互和關(guān)系，來(lái)識(shí)別和處理不利事件，尤其是那些可能被遮擋的對(duì)象，從而提高了整體的感知性能。為了全面評(píng)估框架的性能，研究者開(kāi)發(fā)了DriveOcclusionSim，這是一個(gè)包含多種遮擋事件的駕駛模擬基準(zhǔn)測(cè)試。ReasonNet的成功不僅體現(xiàn)在理論上，更在于其在實(shí)際模擬環(huán)境中的卓越表現(xiàn)。該框架通過(guò)多任務(wù)學(xué)習(xí)，聯(lián)合目標(biāo)包括對(duì)象檢測(cè)、占用預(yù)測(cè)、交通標(biāo)志預(yù)測(cè)和路徑點(diǎn)預(yù)測(cè)，提高了對(duì)復(fù)雜交通場(chǎng)景的全面理解。此外，框架中的感知模塊能夠處理和融合來(lái)自多個(gè)傳感器的數(shù)據(jù)，生成對(duì)導(dǎo)航至關(guān)重要的鳥(niǎo)瞰圖特征?？刂撇呗詣t利用預(yù)測(cè)的路徑點(diǎn)和交通標(biāo)志來(lái)指導(dǎo)自動(dòng)駕駛車(chē)輛的行駛。

FusionAD: Multi-modality Fusion for Prediction and Planning Tasks of Autonomous Driving

論文鏈接：https://arxiv.org/pdf/2308.01006
論文時(shí)間：2023.8
論文作者：Tengju Ye2, Wei Jing3, Chunyong Hu, et al.
所屬團(tuán)隊(duì)：西湖大學(xué)，Udeer.ai，菜鳥(niǎo)網(wǎng)絡(luò)，阿里巴巴集團(tuán)

這篇論文提出了一個(gè)名為FusionAD的新型自動(dòng)駕駛多模態(tài)融合神經(jīng)網(wǎng)絡(luò)框架，首次探索了如何將相機(jī)和激光雷達(dá)的信息融合，以端到端的方式優(yōu)化預(yù)測(cè)和規(guī)劃任務(wù)。具體來(lái)說(shuō)，研究者首先構(gòu)建了一個(gè)基于Transformer的多模態(tài)融合網(wǎng)絡(luò)，有效地產(chǎn)生基于融合的特征。與基于相機(jī)的端到端方法UniAD相比，F(xiàn)usionAD進(jìn)一步建立了一個(gè)融合輔助的模態(tài)感知預(yù)測(cè)和狀態(tài)感知規(guī)劃模塊（FMSPnP），該模塊利用多模態(tài)特征進(jìn)行優(yōu)化。在nuScenes數(shù)據(jù)集上進(jìn)行的廣泛實(shí)驗(yàn)表明，F(xiàn)usionAD在感知任務(wù)（如檢測(cè)和跟蹤）上平均提高了15%，在占用預(yù)測(cè)精度上提高了10%，在平均位移誤差（ADE）分?jǐn)?shù)上從0.708降低到0.389，并減少了碰撞率從0.31%到0.12%。這些結(jié)果表明，F(xiàn)usionAD在預(yù)測(cè)和規(guī)劃任務(wù)上達(dá)到了當(dāng)時(shí)最先進(jìn)的性能，同時(shí)在中間感知任務(wù)上也保持了競(jìng)爭(zhēng)力。FusionAD的核心貢獻(xiàn)在于提出了一種基于BEV（鳥(niǎo)瞰圖）融合的多傳感器、多任務(wù)端到端學(xué)習(xí)方法，與僅基于相機(jī)的BEV方法相比，大大改進(jìn)了結(jié)果。研究者提出的FMSPnP模塊結(jié)合了模態(tài)自注意力和細(xì)化網(wǎng)絡(luò)，用于預(yù)測(cè)任務(wù)，以及放松的碰撞損失和與矢量化自我信息的融合，用于規(guī)劃任務(wù)。實(shí)驗(yàn)研究表明，F(xiàn)MSPnP提高了預(yù)測(cè)和規(guī)劃結(jié)果。

VAD: Vectorized Scene Representation for Efficient Autonomous Driving

論文鏈接：https://arxiv.org/pdf/2303.12077
論文時(shí)間：2023.8
論文作者：Bo Jiang, Shaoyu Chen, Qing Xu, et al.
所屬團(tuán)隊(duì)：華中科技大學(xué)，地平線

VAD通過(guò)將駕駛場(chǎng)景建模為完全矢量化的表示來(lái)實(shí)現(xiàn)高效和安全的軌跡規(guī)劃。與依賴于密集光柵化場(chǎng)景表示（例如語(yǔ)義地圖、占用地圖等）的傳統(tǒng)方法相比，VAD利用矢量化的智能體運(yùn)動(dòng)和地圖元素作為明確的實(shí)例級(jí)規(guī)劃約束，不僅提高了規(guī)劃的安全性，還顯著提升了計(jì)算效率。在nuScenes數(shù)據(jù)集上的實(shí)驗(yàn)表明，VAD在減少規(guī)劃誤差和碰撞率方面取得了突破性進(jìn)展，同時(shí)大幅提高了推理速度，這對(duì)于自動(dòng)駕駛系統(tǒng)的實(shí)際部署至關(guān)重要。VAD的核心優(yōu)勢(shì)在于其創(chuàng)新的矢量化規(guī)劃約束，這些約束包括自車(chē)的碰撞約束、自我邊界越界約束和自我車(chē)道方向約束，它們共同作用于規(guī)劃軌跡，確保了自動(dòng)駕駛車(chē)輛在復(fù)雜交通環(huán)境中的安全性和合理性。此外，VAD采用了BEV（鳥(niǎo)瞰圖）查詢和agent查詢，通過(guò)注意力機(jī)制隱式學(xué)習(xí)場(chǎng)景特征，并利用這些特征指導(dǎo)規(guī)劃決策。VAD的端到端學(xué)習(xí)框架允許模型直接從傳感器數(shù)據(jù)中學(xué)習(xí)，無(wú)需依賴預(yù)先構(gòu)建的地圖或復(fù)雜的后處理步驟，這一點(diǎn)在提高規(guī)劃速度和減少計(jì)算資源消耗方面發(fā)揮了關(guān)鍵作用。

VADv2: End-to-End Vectorized Autonomous Driving via Probabilistic Planning

論文鏈接：https://arxiv.org/pdf/2402.13243
論文時(shí)間：2024.2
論文作者：Shaoyu Chen, Bo Jiang, Hao Gao, Bencheng Liao, et al.
所屬團(tuán)隊(duì)：華中科技大學(xué)，地平線

VADv2是一篇探索概率規(guī)劃在端到端自動(dòng)駕駛中的應(yīng)用的研究論文。這項(xiàng)工作的核心是解決傳統(tǒng)確定性規(guī)劃方法在處理規(guī)劃不確定性時(shí)的不足，特別是在面對(duì)非凸可行解空間時(shí)的挑戰(zhàn)。本文提出的模型采用概率規(guī)劃范式，將規(guī)劃策略視為環(huán)境條件化的非平穩(wěn)隨機(jī)過(guò)程，通過(guò)從大規(guī)模駕駛演示中學(xué)習(xí)，來(lái)擬合連續(xù)規(guī)劃動(dòng)作空間的概率分布。輸入是多視圖圖像序列，這些圖像以流式傳輸?shù)姆绞奖晦D(zhuǎn)換成環(huán)境token嵌入，模型輸出動(dòng)作的概率分布，并從中采樣一個(gè)動(dòng)作來(lái)控制車(chē)輛。這樣的概率規(guī)劃方法具有兩個(gè)顯著優(yōu)勢(shì)。首先，概率規(guī)劃能夠?qū)γ總€(gè)動(dòng)作與環(huán)境之間的相關(guān)性進(jìn)行建模，與只能為目標(biāo)規(guī)劃動(dòng)作提供稀疏監(jiān)督的確定性建模不同，概率規(guī)劃可以為規(guī)劃詞匯表中的所有候選動(dòng)作提供監(jiān)督，從而帶來(lái)更豐富的監(jiān)督信息。其次，概率規(guī)劃在推理階段非常靈活，能夠輸出多模態(tài)規(guī)劃結(jié)果，并且易于與基于規(guī)則和基于優(yōu)化的規(guī)劃方法相結(jié)合。此外，我們可以靈活地將其他候選規(guī)劃動(dòng)作添加到規(guī)劃詞匯表中，并評(píng)估它們，因?yàn)槲覀儗?duì)整個(gè)動(dòng)作空間進(jìn)行了分布建模。VADv2的框架包括場(chǎng)景編碼器、概率規(guī)劃模塊和訓(xùn)練過(guò)程。場(chǎng)景編碼器將傳感器數(shù)據(jù)轉(zhuǎn)換為實(shí)例級(jí)token嵌入，包括地圖token、智能體token、交通元素token和圖像token。概率規(guī)劃模塊則利用大規(guī)模駕駛演示和場(chǎng)景約束來(lái)監(jiān)督預(yù)測(cè)的分布。訓(xùn)練過(guò)程中，VADv2采用分布損失、沖突損失和場(chǎng)景token損失三種監(jiān)督信號(hào)，以學(xué)習(xí)從駕駛演示中得到的概率分布。

SparseDrive: End-to-End Autonomous Driving via Sparse Scene Representation

論文鏈接：https://arxiv.org/pdf/2405.19620
論文時(shí)間：2024.5
論文作者：Wenchao Sun, Xuewu Lin, Yining Shi, et al.
所屬團(tuán)隊(duì)：清華大學(xué)，地平線

這篇論文提出了SparseDrive，一種端到端的自動(dòng)駕駛系統(tǒng)，旨在解決現(xiàn)有自動(dòng)駕駛模型在規(guī)劃安全性和效率方面的不足。傳統(tǒng)的自動(dòng)駕駛系統(tǒng)采用模塊化設(shè)計(jì)，將感知、預(yù)測(cè)和規(guī)劃等任務(wù)解耦為獨(dú)立的模塊，這導(dǎo)致了信息丟失和誤差累積。而端到端的方法雖然在優(yōu)化時(shí)能夠全面考慮，但其性能和效率通常不盡人意，特別是在規(guī)劃安全方面。SparseDrive通過(guò)探索稀疏場(chǎng)景表示和重新審視端到端自動(dòng)駕駛的任務(wù)設(shè)計(jì)，提出了一種新穎的范式。具體來(lái)說(shuō)，SparseDrive由一個(gè)對(duì)稱的稀疏感知模塊和一個(gè)并行運(yùn)動(dòng)規(guī)劃器組成。稀疏感知模塊通過(guò)對(duì)稱的模型架構(gòu)統(tǒng)一了檢測(cè)、跟蹤和在線地圖構(gòu)建任務(wù)，學(xué)習(xí)駕駛場(chǎng)景的完全稀疏表示。并行運(yùn)動(dòng)規(guī)劃器則利用從稀疏感知中獲得的語(yǔ)義和幾何信息，同時(shí)進(jìn)行運(yùn)動(dòng)預(yù)測(cè)和規(guī)劃，產(chǎn)生多模態(tài)軌跡，并采用分層規(guī)劃選擇策略，包括碰撞感知重分模塊，以選擇合理且安全的軌跡作為最終規(guī)劃輸出。SparseDrive的設(shè)計(jì)有效提高了端到端自動(dòng)駕駛的性能和效率。在nuScenes數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，SparseDrive在所有任務(wù)的性能上都大幅超越了先前的最先進(jìn)方法。此外，SparseDrive的碰撞感知重分模塊和多模態(tài)規(guī)劃方法，使得規(guī)劃器能夠基于運(yùn)動(dòng)預(yù)測(cè)結(jié)果評(píng)估規(guī)劃軌跡的碰撞風(fēng)險(xiǎn)，并據(jù)此調(diào)整軌跡的得分，從而確保了規(guī)劃的安全性。SparseDrive的這些設(shè)計(jì)選擇通過(guò)廣泛的消融實(shí)驗(yàn)得到了驗(yàn)證，證明了其在提高規(guī)劃性能方面的有效性。

Hydra-MDP: End-to-end Multimodal Planning with Multi-target Hydra-Distillation

論文鏈接：https://arxiv.org/pdf/2406.06978
論文時(shí)間：2024.6
論文作者：Zhenxin Li, Kailin Li, Shihao Wang, et al.
所屬團(tuán)隊(duì)：英偉達(dá)，復(fù)旦大學(xué)，華東師范大學(xué)，北京理工大學(xué)，南京大學(xué)，南開(kāi)大學(xué)

Hydra-MDP是一篇探討端到端自動(dòng)駕駛多模態(tài)規(guī)劃的論文，提出了一種新穎的多教師模型范式，通過(guò)從人類和基于規(guī)則的教師那里進(jìn)行知識(shí)蒸餾來(lái)訓(xùn)練學(xué)生模型。通過(guò)一個(gè)多頭解碼器來(lái)實(shí)現(xiàn)多模態(tài)規(guī)劃，該解碼器學(xué)習(xí)針對(duì)不同評(píng)估指標(biāo)量身定制的多樣化軌跡候選。與傳統(tǒng)的端到端方法不同，Hydra-MDP不依賴于不可微的后處理過(guò)程，而是利用基于規(guī)則的教師的知識(shí)，以端到端的方式學(xué)習(xí)環(huán)境如何影響規(guī)劃。Hydra-MDP的解決方案包括感知網(wǎng)絡(luò)和軌跡解碼器兩個(gè)主要部分。感知網(wǎng)絡(luò)基于官方挑戰(zhàn)基線Transfuser構(gòu)建，利用圖像和激光雷達(dá)數(shù)據(jù)提取環(huán)境token，這些tokens編碼了豐富的語(yǔ)義信息。軌跡解碼器則采用固定規(guī)劃詞匯表來(lái)離散化連續(xù)動(dòng)作空間，并通過(guò)多層變換器編碼器和解碼器結(jié)合環(huán)境線索。論文的關(guān)鍵創(chuàng)新之一是多目標(biāo)Hydra蒸餾策略，通過(guò)兩步過(guò)程擴(kuò)展學(xué)習(xí)目標(biāo)：首先，對(duì)整個(gè)訓(xùn)練數(shù)據(jù)集的規(guī)劃詞匯進(jìn)行離線模擬；其次，在訓(xùn)練過(guò)程中引入模擬得分的監(jiān)督。這種策略將規(guī)則基礎(chǔ)的駕駛知識(shí)蒸餾到端到端規(guī)劃器中，提升了閉環(huán)性能。

End-to-End Autonomous Driving without Costly Modularization and 3D Manual Annotation

論文鏈接：https://arxiv.org/pdf/2406.17680
論文時(shí)間：2024.6
論文作者：Mingzhe Guo, Zhipeng Zhang, et al.
所屬團(tuán)隊(duì)：北京交通大學(xué)，卡爾動(dòng)力KARGOBOT

這篇論文提出了一種名為UAD（Unsupervised pretext task for end-to-end Autonomous Driving）的新方法，旨在解決當(dāng)前端到端自動(dòng)駕駛（E2EAD）模型在環(huán)境感知和預(yù)測(cè)任務(wù)中對(duì)昂貴的模塊化和手動(dòng)3D標(biāo)注的依賴問(wèn)題。UAD的核心創(chuàng)新在于引入了一個(gè)無(wú)監(jiān)督的前置任務(wù)，通過(guò)預(yù)測(cè)駕駛場(chǎng)景中的角空間對(duì)象性和時(shí)序動(dòng)態(tài)來(lái)模擬環(huán)境，從而消除了對(duì)手動(dòng)標(biāo)注的需求。此外，UAD采用了自監(jiān)督的訓(xùn)練策略，通過(guò)學(xué)習(xí)在不同增強(qiáng)視圖下預(yù)測(cè)軌跡的一致性，增強(qiáng)了在轉(zhuǎn)向場(chǎng)景中的規(guī)劃魯棒性。UAD方法的提出基于對(duì)現(xiàn)有E2EAD模型的觀察，這些模型通常模仿傳統(tǒng)駕駛棧中的模塊化架構(gòu)，需要大量高質(zhì)量的3D標(biāo)注數(shù)據(jù)來(lái)監(jiān)督感知和預(yù)測(cè)子任務(wù)。這種設(shè)計(jì)雖然取得了突破性進(jìn)展，但存在明顯的缺陷：一是對(duì)大規(guī)模訓(xùn)練數(shù)據(jù)的擴(kuò)展構(gòu)成了重大障礙；二是每個(gè)子模塊在訓(xùn)練和推理中都需要大量的計(jì)算開(kāi)銷(xiāo)。為了解決這些問(wèn)題，UAD框架采用了一個(gè)新穎的角度感知預(yù)文本設(shè)計(jì)，通過(guò)預(yù)測(cè)BEV空間中每個(gè)扇區(qū)區(qū)域的對(duì)象性來(lái)獲取空間知識(shí)，并通過(guò)自回歸機(jī)制預(yù)測(cè)未來(lái)狀態(tài)來(lái)捕獲時(shí)序信息。在實(shí)驗(yàn)中，UAD在nuScenes數(shù)據(jù)集上取得了最佳的開(kāi)放環(huán)路評(píng)估性能，并在CARLA模擬器中展示了穩(wěn)健的閉環(huán)路駕駛質(zhì)量。

DRAMA: An Efficient End-to-end Motion Planner for Autonomous Driving with Mamba

論文鏈接：https://arxiv.org/pdf/2408.03601
論文時(shí)間：2024.8
論文作者：Chengran Yuan, Zhanqi Zhang, Jiawei Sun, et al.
所屬團(tuán)隊(duì)：新加坡國(guó)立，Moovita

這篇論文介紹了一種叫作DRAMA的新型端到端運(yùn)動(dòng)規(guī)劃器，它基于Mamba模型，旨在解決自動(dòng)駕駛領(lǐng)域中的運(yùn)動(dòng)規(guī)劃問(wèn)題。運(yùn)動(dòng)規(guī)劃是自動(dòng)駕駛車(chē)輛的核心能力之一，它負(fù)責(zé)生成在復(fù)雜和高度動(dòng)態(tài)環(huán)境中既安全又可行的軌跡。然而，由于其他道路使用者的意圖預(yù)測(cè)、交通標(biāo)志和信號(hào)的理解、道路拓?fù)浣Y(jié)構(gòu)的復(fù)雜性等因素，實(shí)現(xiàn)可靠和高效的軌跡規(guī)劃是一個(gè)挑戰(zhàn)。DRAMA通過(guò)融合相機(jī)、激光雷達(dá)鳥(niǎo)瞰圖（BEV）圖像以及自車(chē)狀態(tài)信息，生成一系列未來(lái)自車(chē)軌跡。與傳統(tǒng)基于Transformer的方法相比，這些方法由于注意力機(jī)制的二次復(fù)雜度而在序列長(zhǎng)度上計(jì)算量大，DRAMA通過(guò)減少計(jì)算密集度的注意力復(fù)雜度，展現(xiàn)出處理日益復(fù)雜場(chǎng)景的潛力。利用Mamba融合模塊，DRAMA高效且有效地融合了相機(jī)和激光雷達(dá)模態(tài)的特征。此外，論文還引入了Mamba-Transformer解碼器，增強(qiáng)了整體規(guī)劃性能，這一模塊普遍適用于任何基于Transformer的模型，尤其是對(duì)于長(zhǎng)序列輸入的任務(wù)。論文還引入了一種新穎的特征狀態(tài)丟棄（Feature State Dropout, FSD）機(jī)制，該機(jī)制通過(guò)在訓(xùn)練和推理時(shí)不增加時(shí)間的情況下，通過(guò)減少有缺陷的傳感器輸入和丟失的自車(chē)狀態(tài)的不利影響，提高了規(guī)劃器的魯棒性。具體來(lái)說(shuō)，DRAMA采用了一個(gè)編碼器-解碼器架構(gòu)，其中編碼器利用多尺度卷積和Mamba融合模塊有效地從相機(jī)和激光雷達(dá)BEV圖像中提取特征，并通過(guò)FSD模塊增強(qiáng)模型的魯棒性。解碼器則采用了Mamba-Transformer解碼層來(lái)生成自車(chē)的未來(lái)軌跡。這種架構(gòu)不僅提高了模型的效率和性能，而且通過(guò)減少模型大小和訓(xùn)練成本，提高了模型的可擴(kuò)展性和實(shí)用性。論文的實(shí)驗(yàn)部分展示了DRAMA在多種場(chǎng)景下的規(guī)劃結(jié)果，包括在沒(méi)有明確交通信號(hào)控制的情況下準(zhǔn)確執(zhí)行停車(chē)讓行行人的命令，以及在低速場(chǎng)景中熟練地進(jìn)行停車(chē)操作。