自動駕駛端到端規(guī)劃方案調(diào)研（工業(yè)界+學(xué)術(shù)界）
本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。
一、Tesla FSD V12 2023
方案
具體方案暫未公開，只有以前的一些非完整端到端的方案資料：
視頻
https://www.bilibili.com/video/BV1nh4y1g7kN/?spm_id_from=333.337.search-card.all.click&vd_source=bd235d6e6aad74d3a6ab16cc9c111560
這里的視頻里講的是基于Occupancy Network + Occupancy Prediction + 基于Occupancy的規(guī)劃，這種方案可以弱化算法對在線建圖的依賴，也更有利于感知與規(guī)控間信息減少多模態(tài)信息丟失。但需要很強(qiáng)的數(shù)據(jù)基建。
效果
端到端能做到這樣確實(shí)很驚人，但是要真論實(shí)際效果，當(dāng)前比起現(xiàn)在業(yè)界L4的規(guī)則方案肯定是差很多的，但如果真的宣傳的水分不是很大的話，確實(shí)是很快會革新行業(yè)的。
二、UniAD 2023
方案
走的是Tesla的OccNetwork + Occ Pred的路子，不過地圖使用語義分割有一個顯式的在線建圖過程。主要思路是每個模塊單獨(dú)訓(xùn)練，訓(xùn)完之后拿單獨(dú)訓(xùn)練到的模型初值，串在一起拿Planner的cost為主進(jìn)行整體refine。
論文：https://arxiv.org/pdf/2212.10156.pdf
效果
2023 CVPR Best Paper，但只評估了開環(huán)效果，閉環(huán)應(yīng)該是不是很好。
三、Momenta新方案 2023
方案
- 看這個圖只確認(rèn)了Decision & Goal是Transformer出來的，對于Trajectory畫得比較模糊，預(yù)計(jì)當(dāng)前依然是值優(yōu)化方法，不清楚未來想如何解決梯度回傳問題。
- 沒有使用Occupancy Network表達(dá)地圖，而是直接Online HDMap Construction來解決無圖問題
視頻：
https://www.bilibili.com/video/BV1gj411Z7PL/?spm_id_from=333.337.search-card.all.click&vd_source=bd235d6e6aad74d3a6ab16cc9c111560
效果
端到端方案還未完成上線，說是計(jì)劃2023年底Planner端到端，2025年中整體端到端。
暫時(shí)不清楚效果，但Momenta這個是自動駕駛工業(yè)界里很少的直接公開自己要全面做端到端自動駕駛的，于是列在前頭。
四、地平線nuPlan參賽方案
方案
先用模型生成一個粗軌跡和OCC及heat map，然后用heat map + OCC作為勢場，利用數(shù)值優(yōu)化方法，推動粗軌跡優(yōu)化出一條安全軌跡。
論文：https://arxiv.org/pdf/2306.15700.pdf
效果
NuPlan比賽第二名
五、云驥智行方案 2023
方案
看起來就是直接拿了個預(yù)測算法當(dāng)planner用，然后做了些Tricky，比如2s才規(guī)劃一次，檢測到碰撞的話replan。
個人感覺這個方案對做規(guī)劃參考意義有限。
論文
https://opendrivelab.com/e2ead/AD23Challenge/Track_4_pegasus_weitao.pdf
效果
nuPlan比賽第三名
六、Motional的L4 RoboTaxi方案 2022
方案
論文：https://arxiv.org/pdf/2206.03004.pdf
先用規(guī)則生成大批待選軌跡，然后用規(guī)則進(jìn)行剪枝，確保安全性，再用IRL訓(xùn)出來的模型來給剩余軌跡打分，最終選擇排序最高的軌跡。
思路很簡單直接，但該方案勝在與Rule可以很好的結(jié)合來確保絕對安全，又可以充分利用Learning Based算法來確保長時(shí)規(guī)劃合理性，確保體感和避免走入潛在風(fēng)險(xiǎn)場景。
效果
不完全是端到端，僅是部分替換motion planning。
論文不怎么出名，但實(shí)車驗(yàn)證過效果不錯，安全性優(yōu)于IDM
國內(nèi)也有公司使用與此類似的方案做L4實(shí)車全無人RoboTaxi的，因?yàn)榭梢耘c規(guī)則類方法很好的協(xié)同，效果比較好。
七、一些學(xué)術(shù)界基于Occ + Occ Pred的論文
方案
以Occupancy Prediction-Guided Nerual Planner for Autonomous Driving為例：
輸入信息比較雜，有Occ Visual Feature，也有一些Vector Feature。
用多種Prediction（如ChauffeurNet等）混合起來做Occ Prediction
然后且主車預(yù)測軌跡和Occ預(yù)測結(jié)果作為做數(shù)值優(yōu)化的輸入，設(shè)計(jì)了幾種cost，然后用非線性數(shù)值優(yōu)化求解器求解。
除去輸入是Occ Network，后邊這塊兒方案和地平線的還有點(diǎn)像。
論文：https://export.arxiv.org/pdf/2305.03303
八、其他
暫調(diào)研了這些。強(qiáng)化學(xué)習(xí)相關(guān)的方案本次暫未調(diào)研。
總結(jié)
一個不得不提的重要信息
在CVPR 23 AD Challenge NuPlan挑戰(zhàn)中，奪得第一的，是一個Rule Based算法。
論文
https://arxiv.org/pdf/2306.07962.pdf
該論文中做了幾個實(shí)驗(yàn)：
- 20年前就提出的IDM算法，比他找的幾個SOTA的Learning Based算法閉環(huán)分?jǐn)?shù)都高。但開環(huán)評分Learning Based算法一般更優(yōu)。
- 他們試驗(yàn)，使用一個僅使用中心線而不使用障礙物的方法，開環(huán)評分就直接擊敗了眾多SOTA方案。
- 他前2秒軌跡用IDM稍微改裝的算法，后n秒軌跡用前述Learning Based方法生成，出了一個混合模型，開閉環(huán)效果都最優(yōu)，擊敗了一眾對手獲得第一名。要知道，后n秒軌跡實(shí)際上閉環(huán)跑的時(shí)候根本用不上，所以這個方法本質(zhì)上可以說就是個純Rule Based方法。這個算法甚至連變道都不支持...
得到結(jié)論：
- Learning Based算法擅長長時(shí)規(guī)劃，Rule Based算法擅長短時(shí)規(guī)劃。
- 閉環(huán)效果更需要好的短時(shí)規(guī)劃能力，開環(huán)效果主要看長時(shí)規(guī)劃能力。
對我們來說，啟發(fā)就是，目前學(xué)術(shù)界的方法效果與工業(yè)界差得還是有點(diǎn)多的，想要達(dá)成好的效果，短期來看，依然是要強(qiáng)依賴規(guī)則，如何讓規(guī)則與模型更好的融合，才是當(dāng)前最有希望的路子。
因此前述論文，個人感覺對于工業(yè)界，最有希望效果比較好的路子是多參考Motional的Driving in Real Life with Inverse Reinforcement Learning 這篇，以及地平線的方案，這兩個方案都相對容易與現(xiàn)有的規(guī)則算法一起工作。
