本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

“要么擁抱端到端，要么幾年后離開(kāi)智駕行業(yè)?！?/strong>

特斯拉率先吹響了方案更新的號(hào)角，無(wú)論是完全端到端，還是專注于planner的模型，各家公司基本都投入較大人力去研發(fā)，小鵬、蔚來(lái)、理想、華為都對(duì)外展示了其端到端自動(dòng)駕駛方案，效果著實(shí)不錯(cuò)，非常有研究?jī)r(jià)值。

為什么需要端到端？

首先我們聊一下當(dāng)前的主流自動(dòng)駕駛方案，主要核心部分包括：感知模塊、預(yù)測(cè)模塊、規(guī)控模塊。每個(gè)模塊相對(duì)獨(dú)立，感知模塊給預(yù)測(cè)模塊提供動(dòng)靜態(tài)障礙物信息；預(yù)測(cè)模塊為規(guī)控模塊提供規(guī)劃的參考，規(guī)劃再轉(zhuǎn)換為控制指令。從傳感器端到控制端，需要多個(gè)功能支持，這就不可避免導(dǎo)致了累積誤差，一旦碰到問(wèn)題，需要整個(gè)pipeline做分析。而且每個(gè)模塊的優(yōu)化，并不能保證整個(gè)系統(tǒng)達(dá)成最優(yōu)解。

這個(gè)時(shí)候，就希望有一種模型能夠完成感知信息的無(wú)損傳遞，即從傳感器端到輸出控制策略端，這也是端到端自動(dòng)駕駛提出的原因。傳統(tǒng)定義上感知和規(guī)劃模塊的對(duì)接一般是通過(guò)白名單（比如機(jī)動(dòng)車、行人、甚至occ輸出的非通用幾何障礙物）的檢測(cè)與預(yù)測(cè)來(lái)完成，是人為定義的規(guī)則和抽象。隨著產(chǎn)品的迭代，每一次都需要添加各類case，設(shè)計(jì)各種博弈的策略，從模型訓(xùn)練到工程部署再到邏輯設(shè)計(jì)，時(shí)間和人力成本高昂。

而且這種方式無(wú)法羅列所有情況，那么是否可以通過(guò)對(duì)整個(gè)場(chǎng)景的學(xué)習(xí)抽象，無(wú)損的將所有信息傳遞給PnC部分？這就是我們期望的端到端。端到端核心是優(yōu)化最終目標(biāo)且全局可導(dǎo)，作為一個(gè)完整的優(yōu)化任務(wù)來(lái)看，直接求最優(yōu)解，而不是先求感知再求規(guī)控的最優(yōu)解。

端到端效果怎么樣？

今年各大自動(dòng)駕駛公司都在預(yù)研和落地相關(guān)端到端方案，小鵬、蔚來(lái)、華為、理想也都對(duì)外展示了其端到端方案。由于端到端模型的優(yōu)勢(shì)明顯，各大自動(dòng)駕駛公司都在拼命布局?jǐn)埲?，?duì)應(yīng)崗位薪資水漲船高，某想甚至開(kāi)出了七位數(shù)給到該崗位。

那么各家的端到端自動(dòng)駕駛效果怎么樣呢？先來(lái)看看國(guó)外的特斯拉：

再來(lái)看看國(guó)內(nèi)的UniAD效果：

不得不說(shuō)，端到端是一個(gè)更簡(jiǎn)約的方法，更具有全場(chǎng)景的優(yōu)化能力。

端到端有哪些技術(shù)棧？

行業(yè)里面的端到端主要分為完全端到端方案、專注于planner的端到端方案（包括某鵬的XPlanner）。顧名思義，完全端到端是從傳感器直接到規(guī)控；而專注于planner的端到端以感知模塊的輸出作為先驗(yàn)，替換原來(lái)以規(guī)則作為主要形式的PnC模塊。

從傳感器到控制策略的（如果把條件再放松下也可以到軌跡輸出）完全端到端方案更為簡(jiǎn)約，但同樣面臨一個(gè)問(wèn)題，可解釋性差。UniAD用分階段監(jiān)督的方法逐步提高了可解釋性，但訓(xùn)練仍然是個(gè)難題。在足夠體量和質(zhì)量的數(shù)據(jù)群下，效果能夠得到保證，泛化性能也不錯(cuò)。

而專注于planner的端到端方案，如果深究的話，只能算狹義上的端到端，但更貼合當(dāng)下的量產(chǎn)方案和任務(wù)，而且可解釋性也較高，是目前主機(jī)廠和自動(dòng)駕駛公司優(yōu)先推行和落地的。

如果從信息輸入的角度上來(lái)看，又可以分為純視覺(jué)方案（UAD、UniAD這類）和多模態(tài)方案（FusionAD這類），傳感器成本不斷在下降，多模態(tài)方案也一直是行業(yè)里面都在關(guān)注的點(diǎn)。

端到端的難點(diǎn)在哪里？

端到端的優(yōu)勢(shì)非常突出，但仍然有很多難點(diǎn)需要攻克。主要在于數(shù)據(jù)難定義、數(shù)據(jù)難制作、網(wǎng)絡(luò)不好訓(xùn)練、模型不好解釋優(yōu)化、評(píng)測(cè)定義多種多樣！很多公司無(wú)法像特斯拉一樣獲取海量數(shù)據(jù)，這也是個(gè)巨大的瓶頸。今年年中，自動(dòng)駕駛之心收到了很多同學(xué)關(guān)于端到端實(shí)戰(zhàn)相關(guān)的需求，雖然我們已經(jīng)籌備過(guò)相關(guān)的內(nèi)容，但早期端到端方案不夠成熟，更多是以論文切入。工業(yè)界使用的方案關(guān)注較少，代碼層面上也很少提及。