本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

寫在前面&出發(fā)點(diǎn)

端到端的范式使用統(tǒng)一的框架在自動(dòng)駕駛系統(tǒng)中實(shí)現(xiàn)多任務(wù)。盡管這種范式具有簡(jiǎn)單性和清晰性，但端到端的自動(dòng)駕駛方法在子任務(wù)上的性能仍然遠(yuǎn)遠(yuǎn)落后于單任務(wù)方法。同時(shí)，先前端到端方法中廣泛使用的密集鳥瞰圖（BEV）特征使得擴(kuò)展到更多模態(tài)或任務(wù)變得成本高昂。這里提出了一種稀疏查詢?yōu)橹行牡亩说蕉俗詣?dòng)駕駛范式（SparseAD），其中稀疏查詢完全代表整個(gè)駕駛場(chǎng)景，包括空間、時(shí)間和任務(wù)，無(wú)需任何密集的BEV表示。具體來(lái)說(shuō)，設(shè)計(jì)了一個(gè)統(tǒng)一的稀疏架構(gòu)，用于包括檢測(cè)、跟蹤和在線地圖繪制在內(nèi)的感知任務(wù)。此外，重新審視了運(yùn)動(dòng)預(yù)測(cè)和規(guī)劃，并設(shè)計(jì)了一個(gè)更合理的運(yùn)動(dòng)規(guī)劃框架。在具有挑戰(zhàn)性的nuScenes數(shù)據(jù)集上，SparseAD在端到端方法中實(shí)現(xiàn)了最先進(jìn)的全任務(wù)性能，并顯著縮小了端到端范式與單任務(wù)方法之間的性能差距。

領(lǐng)域背景

自動(dòng)駕駛系統(tǒng)需要在復(fù)雜的駕駛場(chǎng)景中做出正確的決策，以確保駕駛的安全性和舒適性。通常，自動(dòng)駕駛系統(tǒng)集成了多個(gè)任務(wù)，如檢測(cè)、跟蹤、在線地圖、運(yùn)動(dòng)預(yù)測(cè)和規(guī)劃。如圖1a所示，傳統(tǒng)的模塊化范式將復(fù)雜的系統(tǒng)拆分為多個(gè)單獨(dú)的任務(wù)，每個(gè)任務(wù)都獨(dú)立優(yōu)化。在這種范式中，獨(dú)立的單任務(wù)模塊之間需要手工進(jìn)行后處理，這使得整個(gè)流程變得更為繁瑣。另一方面，由于堆疊任務(wù)之間的場(chǎng)景信息損失壓縮，整個(gè)系統(tǒng)的誤差會(huì)逐漸累積，這可能導(dǎo)致潛在的安全問題。

關(guān)于上述問題，端到端自動(dòng)駕駛系統(tǒng)以原始傳感器數(shù)據(jù)作為輸入，并以更簡(jiǎn)潔的方式返回規(guī)劃結(jié)果。早期的工作提出跳過中間任務(wù)，直接從原始傳感器數(shù)據(jù)預(yù)測(cè)規(guī)劃結(jié)果。盡管這種方法更為直接，但在模型優(yōu)化、可解釋性和規(guī)劃性能方面并不令人滿意。另一種具有更好可解釋性的多面范式是將自動(dòng)駕駛的多個(gè)部分集成到一個(gè)模塊化的端到端模型中，其中引入了多維度的監(jiān)督，以提高對(duì)復(fù)雜駕駛場(chǎng)景的理解能力，并帶來(lái)多任務(wù)處理的能力。

如圖1b所示，在大多數(shù)先前的模塊化端到端方法中，整個(gè)駕駛場(chǎng)景通過密集的鳥瞰圖（BEV）特征進(jìn)行表示，這些特征包括多傳感器和時(shí)間信息，并作為全棧駕駛?cè)蝿?wù)（包括感知、預(yù)測(cè)和規(guī)劃）的源輸入。盡管密集的BEV特征在跨空間和時(shí)間的多模態(tài)和多任務(wù)中確實(shí)發(fā)揮了關(guān)鍵作用，將之前使用BEV表示的端到端方法總結(jié)為Dense BEV-Centric范式。然而，盡管這些方法具有簡(jiǎn)潔性和可解釋性，它們?cè)谧詣?dòng)駕駛的每個(gè)子任務(wù)上的性能仍然遠(yuǎn)遠(yuǎn)落后于相應(yīng)的單任務(wù)方法。此外，在Dense BEV-Centric范式下，長(zhǎng)期時(shí)間融合和多模態(tài)融合主要是通過多個(gè)BEV特征圖來(lái)實(shí)現(xiàn)的，這導(dǎo)致了計(jì)算成本、內(nèi)存占用顯著增加，給實(shí)際部署帶來(lái)了更大的負(fù)擔(dān)。

這里提出了一種新穎的以稀疏查詢?yōu)橹行牡亩说蕉俗詣?dòng)駕駛范式（SparseAD）。在該范式中，整個(gè)駕駛場(chǎng)景中的空間和時(shí)間元素均由稀疏查詢表示，摒棄了傳統(tǒng)的密集鳥瞰圖（BEV）特征，如圖1c所示。這種稀疏表示使得端到端模型能夠更高效地利用更長(zhǎng)的歷史信息，并擴(kuò)展到更多模態(tài)和任務(wù)，同時(shí)顯著降低了計(jì)算成本和內(nèi)存占用。

具體來(lái)說(shuō)，重新設(shè)計(jì)了模塊化端到端架構(gòu)，并將其簡(jiǎn)化為一個(gè)由稀疏感知和運(yùn)動(dòng)規(guī)劃器組成的簡(jiǎn)潔結(jié)構(gòu)。在稀疏感知模塊中，利用通用的時(shí)間解碼器[將包括檢測(cè)、跟蹤和在線地圖繪制在內(nèi)的感知任務(wù)統(tǒng)一起來(lái)。在這個(gè)過程中，多傳感器特征和歷史記憶被視為tokens，而物體查詢和地圖查詢則分別代表駕駛場(chǎng)景中的障礙物和道路元素。在運(yùn)動(dòng)規(guī)劃器中，以稀疏感知查詢作為環(huán)境表示，同時(shí)對(duì)自車和周圍代理進(jìn)行多模態(tài)運(yùn)動(dòng)預(yù)測(cè)，以獲取自車的多種初始規(guī)劃方案。隨后，充分考慮多維度的駕駛約束，生成最終的規(guī)劃結(jié)果。

主要貢獻(xiàn)：

• 提出了一種新穎的以稀疏查詢?yōu)橹行牡亩说蕉俗詣?dòng)駕駛范式（SparseAD），該范式摒棄了傳統(tǒng)的密集鳥瞰圖（BEV）表示方法，因此具有巨大的潛力，能夠高效地?cái)U(kuò)展到更多模態(tài)和任務(wù)。
• 將模塊化的端到端架構(gòu)簡(jiǎn)化為稀疏感知和運(yùn)動(dòng)規(guī)劃兩部分。在稀疏感知部分，以完全稀疏的方式統(tǒng)一了檢測(cè)、跟蹤和在線地圖繪制等感知任務(wù)；而在運(yùn)動(dòng)規(guī)劃部分，則在更合理的框架下進(jìn)行了運(yùn)動(dòng)預(yù)測(cè)和規(guī)劃。
• 在具有挑戰(zhàn)性的nuScenes數(shù)據(jù)集上，SparseAD在端到端方法中取得了最先進(jìn)的性能，并顯著縮小了端到端范式與單任務(wù)方法之間的性能差距。這充分證明了所提出的稀疏端到端范式具有巨大的潛力。SparseAD不僅提高了自動(dòng)駕駛系統(tǒng)的性能和效率，還為未來(lái)的研究和應(yīng)用提供了新的方向和可能性。

SparseAD網(wǎng)絡(luò)結(jié)構(gòu)

如圖1c所示，在提出的以稀疏查詢?yōu)橹行牡姆妒街校煌南∈璨樵兺耆砹苏麄€(gè)駕駛場(chǎng)景，不僅負(fù)責(zé)模塊之間的信息傳遞和交互，還以端到端的方式在多任務(wù)中傳播反向梯度以進(jìn)行優(yōu)化。與以往以密集鳥瞰圖（BEV）為中心的方法不同，SparseAD中沒有使用任何視圖投影和密集BEV特征，從而避免了沉重的計(jì)算和內(nèi)存負(fù)擔(dān)，SparseAD的詳細(xì)架構(gòu)如圖2所示。

從架構(gòu)示意圖上看，SparseAD主要由三部分組成，包括傳感器編碼器、稀疏感知和運(yùn)動(dòng)規(guī)劃器。具體來(lái)說(shuō)，傳感器編碼器將多視圖相機(jī)圖像、雷達(dá)或激光雷達(dá)點(diǎn)作為輸入，并將其編碼成高維特征。這些特征隨后與位置嵌入（PE）一起作為傳感器tokens輸入到稀疏感知模塊中。在稀疏感知模塊中，來(lái)自傳感器的原始數(shù)據(jù)將被聚合成多種稀疏感知查詢，如檢測(cè)查詢、跟蹤查詢和地圖查詢，它們分別代表駕駛場(chǎng)景中的不同元素，并將進(jìn)一步傳播到下游任務(wù)中。在運(yùn)動(dòng)規(guī)劃器中，感知查詢被視為駕駛場(chǎng)景的稀疏表示，并被充分利用于所有周圍agent和自車。同時(shí)，考慮了多方面的駕駛約束以生成既安全又符合動(dòng)力學(xué)要求的最終規(guī)劃。

此外，架構(gòu)中引入了端到端多任務(wù)記憶庫(kù)，用于統(tǒng)一存儲(chǔ)整個(gè)駕駛場(chǎng)景的時(shí)序信息，這使得系統(tǒng)能夠受益于長(zhǎng)時(shí)間歷史信息的聚合，從而完成全棧駕駛?cè)蝿?wù)。

如圖3所示，SparseAD的稀疏感知模塊以稀疏的方式統(tǒng)一了多個(gè)感知任務(wù)，包括檢測(cè)、跟蹤和在線地圖繪制。具體來(lái)說(shuō)，這里有兩個(gè)結(jié)構(gòu)完全相同的時(shí)序解碼器，它們利用來(lái)自記憶庫(kù)的長(zhǎng)期歷史信息。其中一個(gè)解碼器用于障礙物感知，另一個(gè)用于在線地圖繪制。

通過不同任務(wù)對(duì)應(yīng)的感知查詢進(jìn)行信息聚合后，檢測(cè)和跟蹤頭以及地圖部分別被用于解碼和輸出障礙物和地圖元素。之后，進(jìn)行更新過程，該過程會(huì)過濾并保存當(dāng)前幀的高置信度感知查詢，并相應(yīng)地更新記憶庫(kù)，這將有利于下一幀的感知過程。

通過這種方式，SparseAD的稀疏感知模塊實(shí)現(xiàn)了對(duì)駕駛場(chǎng)景的高效、準(zhǔn)確的感知，為后續(xù)的運(yùn)動(dòng)規(guī)劃提供了重要的信息基礎(chǔ)。同時(shí)，通過利用記憶庫(kù)中的歷史信息，模塊能夠進(jìn)一步提高感知的準(zhǔn)確性和穩(wěn)定性，確保自動(dòng)駕駛系統(tǒng)的可靠運(yùn)行。

稀疏感知

在障礙物感知方面，在統(tǒng)一的解碼器內(nèi)采用聯(lián)合檢測(cè)和跟蹤的方式，無(wú)需任何額外的手工后處理。檢測(cè)和跟蹤查詢之間存在明顯的不平衡，這可能導(dǎo)致檢測(cè)性能的顯著下降。為了緩解上述問題，從多個(gè)角度改進(jìn)了障礙物感知的性能。首先，引入了兩級(jí)記憶機(jī)制來(lái)跨幀傳播時(shí)序信息。其中，場(chǎng)景級(jí)記憶維持沒有跨幀關(guān)聯(lián)的查詢信息，而實(shí)例級(jí)記憶則保持跟蹤障礙物相鄰幀之間的對(duì)應(yīng)關(guān)系。其次，考慮到兩者起源和任務(wù)的不同，對(duì)場(chǎng)景級(jí)和實(shí)例級(jí)記憶采用了不同的更新策略。具體來(lái)說(shuō)，通過MLN來(lái)更新場(chǎng)景級(jí)記憶，而實(shí)例級(jí)記憶則通過每個(gè)障礙物的未來(lái)預(yù)測(cè)進(jìn)行更新。此外，在訓(xùn)練過程中，還對(duì)跟蹤查詢采用了增強(qiáng)策略，以平衡兩級(jí)記憶之間的監(jiān)督，從而增強(qiáng)檢測(cè)和跟蹤性能。之后，通過檢測(cè)和跟蹤頭部，可以從檢測(cè)或跟蹤查詢中解碼出具有屬性和唯一ID的3D邊界框，然后進(jìn)一步用于下游任務(wù)。

在線地圖構(gòu)建是一個(gè)復(fù)雜而重要的任務(wù)。根據(jù)目前所了解的知識(shí)，現(xiàn)有的在線地圖構(gòu)建方法大多依賴于密集的鳥瞰視圖（BEV）特征來(lái)表示駕駛環(huán)境。這種方法在擴(kuò)展感知范圍或利用歷史信息方面存在困難，因?yàn)樾枰罅康膬?nèi)存和計(jì)算資源。我們堅(jiān)信所有的地圖元素都可以以稀疏的方式表示，因此，嘗試在稀疏范式下完成在線地圖構(gòu)建。具體來(lái)說(shuō)，采用了與障礙物感知任務(wù)中相同的時(shí)序解碼器結(jié)構(gòu)。最初，帶有先驗(yàn)類別的地圖查詢被初始化為在駕駛平面上均勻分布。在時(shí)序解碼器中，地圖查詢與傳感器標(biāo)記和歷史記憶標(biāo)記進(jìn)行交互。這些歷史記憶標(biāo)記實(shí)際上是由之前幀中高度可信的地圖查詢組成的。然后，更新后的地圖查詢攜帶了當(dāng)前幀地圖元素的有效信息，可以被推送到記憶庫(kù)中，以便在未來(lái)的幀或下游任務(wù)中使用。

顯然，在線地圖構(gòu)建的流程與障礙物感知大致相同。也就是說(shuō)，統(tǒng)一了包括檢測(cè)、跟蹤和在線地圖構(gòu)建在內(nèi)的感知任務(wù)，采用了一種通用的稀疏方式，這種方式在擴(kuò)展到更大范圍（例如100m × 100m）或長(zhǎng)期融合時(shí)更加高效，而且不需要任何復(fù)雜的操作（如可變形注意力或多點(diǎn)注意力）。據(jù)我們所知，這是第一個(gè)在稀疏方式下在統(tǒng)一感知架構(gòu)中實(shí)現(xiàn)在線地圖構(gòu)建的。隨后，利用分段貝塞爾地圖Head來(lái)回歸每個(gè)稀疏地圖元素的分段貝塞爾控制點(diǎn)，這些控制點(diǎn)可以方便地轉(zhuǎn)換以滿足下游任務(wù)的要求。

Motion Planner

我們重新審視了自動(dòng)駕駛系統(tǒng)中的運(yùn)動(dòng)預(yù)測(cè)與規(guī)劃問題，并發(fā)現(xiàn)許多先前的方法在預(yù)測(cè)周圍車輛運(yùn)動(dòng)時(shí)忽略了本車（ego-vehicle）的動(dòng)態(tài)。雖然這在大多數(shù)情況下可能不會(huì)顯現(xiàn)出來(lái)，但在諸如交叉口等場(chǎng)景中，當(dāng)近處車輛與本車之間交互緊密時(shí)，這可能會(huì)帶來(lái)潛在風(fēng)險(xiǎn)。受此啟發(fā)，設(shè)計(jì)了一個(gè)更加合理的運(yùn)動(dòng)規(guī)劃框架。在這個(gè)框架中，運(yùn)動(dòng)預(yù)測(cè)器同時(shí)預(yù)測(cè)周圍車輛和本車的運(yùn)動(dòng)。隨后，本車的預(yù)測(cè)結(jié)果作為運(yùn)動(dòng)先驗(yàn)被用于后續(xù)的規(guī)劃優(yōu)化器。在規(guī)劃過程中，我們考慮了不同方面的約束，以產(chǎn)生既滿足安全性又符合動(dòng)力學(xué)要求的最終規(guī)劃結(jié)果。

如圖4所示，SparseAD中的運(yùn)動(dòng)規(guī)劃器將感知查詢（包括軌跡查詢和地圖查詢）作為當(dāng)前駕駛場(chǎng)景的稀疏表示。多模態(tài)運(yùn)動(dòng)查詢被用作媒介，以實(shí)現(xiàn)對(duì)駕駛場(chǎng)景的理解、對(duì)所有車輛（包括本車）之間交互的感知，以及對(duì)不同未來(lái)可能性的博弈。隨后，本車的多模態(tài)運(yùn)動(dòng)查詢被送入規(guī)劃優(yōu)化器，其中充分考慮了包括高級(jí)指令、安全性和動(dòng)力學(xué)在內(nèi)的多個(gè)方面的駕駛約束。

運(yùn)動(dòng)預(yù)測(cè)器。遵循先前的方法，通過標(biāo)準(zhǔn)的transformer層實(shí)現(xiàn)了運(yùn)動(dòng)查詢與當(dāng)前駕駛場(chǎng)景表示（包括軌跡查詢和地圖查詢）之間的感知和整合。此外，應(yīng)用自車agent和跨模態(tài)交互來(lái)共同建模未來(lái)時(shí)空?qǐng)鼍爸兄車鷄gent和本車之間的交互。通過多層堆疊結(jié)構(gòu)內(nèi)部和之間的模塊協(xié)同作用，運(yùn)動(dòng)查詢能夠聚合來(lái)自靜態(tài)和動(dòng)態(tài)環(huán)境的豐富語(yǔ)義信息。

除了上述內(nèi)容外，還引入了兩種策略來(lái)進(jìn)一步提高運(yùn)動(dòng)預(yù)測(cè)器的性能。首先，利用軌跡查詢的實(shí)例級(jí)時(shí)間記憶進(jìn)行簡(jiǎn)單直接的預(yù)測(cè)，并將其作為周圍agent運(yùn)動(dòng)查詢初始化的一部分。通過這種方式，運(yùn)動(dòng)預(yù)測(cè)器能夠從上游任務(wù)中獲得的先驗(yàn)知識(shí)中受益。其次，得益于端到端記憶庫(kù)，能夠以幾乎可忽略的成本、以流式方式通過代理記憶聚合器從保存的歷史運(yùn)動(dòng)查詢中同化有用信息。

需要注意的是，本車的多模態(tài)運(yùn)動(dòng)查詢是同時(shí)更新的。通過這種方式，可以獲得本車的運(yùn)動(dòng)先驗(yàn)，這可以進(jìn)一步促進(jìn)規(guī)劃的學(xué)習(xí)過程。

規(guī)劃優(yōu)化器。借助運(yùn)動(dòng)預(yù)測(cè)器提供的運(yùn)動(dòng)先驗(yàn)，獲得了更好的初始化，從而在訓(xùn)練過程中減少了繞行。作為運(yùn)動(dòng)規(guī)劃器的關(guān)鍵組成部分，成本函數(shù)的設(shè)計(jì)至關(guān)重要，因?yàn)樗鼘O大地影響甚至決定最終性能的質(zhì)量。在提出的SparseAD運(yùn)動(dòng)規(guī)劃器中，主要考慮安全和動(dòng)力學(xué)兩大方面的約束，旨在生成令人滿意的規(guī)劃結(jié)果。具體來(lái)說(shuō)，除了VAD中確定的約束外，還重點(diǎn)關(guān)注本車與附近agent之間的動(dòng)態(tài)安全關(guān)系，并考慮它們?cè)谖磥?lái)時(shí)刻的相對(duì)位置。例如，如果agent i相對(duì)于本車持續(xù)保持在前方左側(cè)區(qū)域，從而阻止本車向左變道，那么agent i將獲得一個(gè)左標(biāo)簽，表示agent i對(duì)本車施加了向左的約束。因此，約束在縱向方向上被分為前、后或無(wú)，在橫向方向上被分為左、右或無(wú)。在規(guī)劃器中，我們從相應(yīng)的查詢中解碼其他agent與本車在橫向和縱向方向上的關(guān)系。這個(gè)過程涉及確定這些方向上其他代理與本車之間所有約束關(guān)系的概率。然后，我們利用focal loss作為Ego-Agent關(guān)系（EAR）的成本函數(shù)，有效地捕獲附近agent帶來(lái)的潛在風(fēng)險(xiǎn)：

由于規(guī)劃軌跡必須遵循控制系統(tǒng)執(zhí)行的動(dòng)力學(xué)規(guī)律，在運(yùn)動(dòng)規(guī)劃器中嵌入了輔助任務(wù)，以促進(jìn)本車動(dòng)力學(xué)狀態(tài)的學(xué)習(xí)。從本車查詢Qego中解碼速度、加速度和偏航角等狀態(tài)，并使用動(dòng)力學(xué)損失對(duì)這些狀態(tài)進(jìn)行監(jiān)督：

實(shí)驗(yàn)結(jié)果

在nuScenes數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，以證明方法的有效性和優(yōu)越性。公正地說(shuō)，將對(duì)每個(gè)完整任務(wù)的性能進(jìn)行評(píng)估，并與之前的方法進(jìn)行比較。本節(jié)實(shí)驗(yàn)使用了SparseAD的三種不同配置，分別是僅使用圖像輸入的SparseAD-B和SparseAD-L，以及使用雷達(dá)點(diǎn)云和圖像多模態(tài)輸入的SparseAD-BR。SparseAD-B和SparseAD-BR都使用V2-99作為圖像骨干網(wǎng)絡(luò)，輸入圖像分辨率為1600 × 640。SparseAD-L則進(jìn)一步利用ViTLarge作為圖像骨干網(wǎng)絡(luò)，輸入圖像分辨率為1600×800。

在nuScenes驗(yàn)證數(shù)據(jù)集上的3D檢測(cè)和3D多目標(biāo)跟蹤結(jié)果如下?！皟H跟蹤方法”指的是通過后期處理關(guān)聯(lián)進(jìn)行跟蹤的方法?！岸说蕉俗詣?dòng)駕駛方法”指的是具備自動(dòng)駕駛?cè)珬Ｈ蝿?wù)能力的方法。表中的所有方法都是在全分辨率圖像輸入下進(jìn)行評(píng)估的。?：結(jié)果是通過官方開源代碼復(fù)現(xiàn)的。-R：表示使用了雷達(dá)點(diǎn)云輸入。

與在線建圖方法的性能比較如下，結(jié)果是在[1.0m, 1.5m, 2.0m]的閾值下進(jìn)行評(píng)估的。?：通過官方開源代碼復(fù)現(xiàn)的結(jié)果。?：根據(jù)SparseAD中規(guī)劃模塊的需求，我們進(jìn)一步將邊界細(xì)分為路段和車道，并分別進(jìn)行評(píng)估。?：骨干網(wǎng)絡(luò)和稀疏感知模塊的成本。-R：表示使用了雷達(dá)點(diǎn)云輸入。

Multi-Task結(jié)果

障礙感知。在Tab. 2中將SparseAD的檢測(cè)和跟蹤性能與nuScenes驗(yàn)證集上的其他方法進(jìn)行了比較。顯然，SparseAD-B在大多數(shù)流行的僅檢測(cè)、僅跟蹤和端到端多目標(biāo)跟蹤方法中表現(xiàn)出色，同時(shí)與SOTA方法如StreamPETR、QTrack在相應(yīng)任務(wù)上的性能相當(dāng)。通過采用更先進(jìn)的骨干網(wǎng)絡(luò)進(jìn)行擴(kuò)展，SparseAD-Large實(shí)現(xiàn)了整體更好的性能，其mAP為53.6%，NDS為62.5%，AMOTA為60.6%，整體上優(yōu)于之前的最佳方法Sparse4Dv3。

在線建圖。在Tab. 3中展示了SparseAD與其他先前方法在nuScenes驗(yàn)證集上的在線建圖性能比較結(jié)果。需要指出的是，根據(jù)規(guī)劃的需求，我們將邊界細(xì)分為路段和車道，并分別進(jìn)行評(píng)估，同時(shí)將范圍從通常的60m × 30m擴(kuò)展到102.4m × 102.4m，以與障礙感知保持一致。在不失公平性的前提下，SparseAD以稀疏的端到端方式實(shí)現(xiàn)了34.2%的mAP，無(wú)需任何密集的BEV表示，這優(yōu)于大多數(shù)之前流行的方法，如HDMapNet、VectorMapNet和MapTR，在性能和訓(xùn)練成本方面都具有明顯優(yōu)勢(shì)。盡管性能略遜于StreamMapNet，但我們的方法證明了在線建圖可以在統(tǒng)一的稀疏方式下完成，無(wú)需任何密集的BEV表示，這對(duì)于以顯著較低成本實(shí)現(xiàn)端到端自動(dòng)駕駛的實(shí)際部署具有重要意義。誠(chéng)然，如何有效利用其他模態(tài)（如雷達(dá)）的有用信息仍是一個(gè)值得進(jìn)一步探索的任務(wù)。我們相信在稀疏方式下仍有很大的探索空間。

運(yùn)動(dòng)預(yù)測(cè)。在Tab. 4a中展示了運(yùn)動(dòng)預(yù)測(cè)的比較結(jié)果，其中指標(biāo)與VIP3D保持一致。SparseAD在所有端到端方法中實(shí)現(xiàn)了最佳性能，具有最低的0.83m minADE、1.58m minFDE、18.7%的遺漏率以及最高的0.308 EPA，優(yōu)勢(shì)巨大。此外，得益于稀疏查詢中心范式的效率和可擴(kuò)展性，SparseAD可以有效地?cái)U(kuò)展到更多模態(tài)，并從先進(jìn)的骨干網(wǎng)絡(luò)中受益，從而進(jìn)一步顯著提高預(yù)測(cè)性能。

規(guī)劃。規(guī)劃的結(jié)果呈現(xiàn)在Tab. 4b中。得益于上游感知模塊和運(yùn)動(dòng)規(guī)劃器的卓越設(shè)計(jì)，SparseAD的所有版本在nuScenes驗(yàn)證數(shù)據(jù)集上都達(dá)到了最先進(jìn)水平。具體來(lái)說(shuō)，與包括UniAD和VAD在內(nèi)的所有其他方法相比，SparseAD-B實(shí)現(xiàn)了最低的平均L2誤差和碰撞率，這證明了我們的方法和架構(gòu)的優(yōu)越性。與上游任務(wù)（包括障礙感知和運(yùn)動(dòng)預(yù)測(cè)）類似，SparseAD通過雷達(dá)或更強(qiáng)大的骨干網(wǎng)絡(luò)進(jìn)一步提升了性能。