本文經(jīng)自動(dòng)駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

自動(dòng)駕駛的端到端可微學(xué)習(xí)最近已成為一種突出的范式。一個(gè)主要瓶頸在于其對高質(zhì)量標(biāo)記數(shù)據(jù)的巨大需求，例如3D框和語義分割，這些數(shù)據(jù)的手動(dòng)注釋成本是出了名的昂貴。由于AD中樣本內(nèi)的行為往往存在長尾分布這一突出事實(shí)，這一困難更加明顯。換言之，收集到的大部分?jǐn)?shù)據(jù)可能微不足道（例如，在筆直的道路上向前行駛），只有少數(shù)情況是安全關(guān)鍵的。在本文中，我們探討了一個(gè)實(shí)際重要但未被充分探索的問題，即如何實(shí)現(xiàn)端到端AD的樣本和標(biāo)簽效率。

具體而言，論文設(shè)計(jì)了一種面向規(guī)劃的主動(dòng)學(xué)習(xí)方法，該方法根據(jù)所提出的規(guī)劃路線的多樣性和有用性標(biāo)準(zhǔn)，逐步注釋部分收集的原始數(shù)據(jù)。經(jīng)驗(yàn)上，提出的計(jì)劃導(dǎo)向方法可以在很大程度上優(yōu)于一般的主動(dòng)學(xué)習(xí)方法。值得注意的是，方法僅使用30%的nuScenes數(shù)據(jù)，就實(shí)現(xiàn)了與最先進(jìn)的端到端AD方法相當(dāng)?shù)男阅堋ＯＭ覀兊墓ぷ髂軌蚣?lì)未來的工作，從以數(shù)據(jù)為中心的角度，除了方法論方面的努力之外。

論文鏈接：https://arxiv.org/pdf/2403.02877.pdf

本文的主要貢獻(xiàn)：

1. 第一個(gè)深入研究E2E-AD的數(shù)據(jù)問題的人。還提供了一個(gè)簡單而有效的解決方案，可以在有限的預(yù)算內(nèi)識(shí)別和注釋有價(jià)值的數(shù)據(jù)，用于規(guī)劃。
2. 基于端到端方法的面向規(guī)劃的哲學(xué)，為規(guī)劃路線設(shè)計(jì)了新的特定任務(wù)的多樣性和不確定性測量。
3. 大量的實(shí)驗(yàn)和消融研究證明了方法的有效性。ActiveAD在很大程度上優(yōu)于一般的對等方法，并且僅使用30%的nuScenes數(shù)據(jù)，實(shí)現(xiàn)了與具有完整標(biāo)簽的SOTA方法相當(dāng)?shù)男阅堋?/li>

方法介紹

在端到端AD框架內(nèi)提供了ActiveAD的詳細(xì)描述。利用AD特有的數(shù)據(jù)特征，設(shè)計(jì)了相應(yīng)的多樣性和不確定性指標(biāo)。

1）標(biāo)簽的初始樣本選擇

對于計(jì)算機(jī)視覺中的主動(dòng)學(xué)習(xí)，初始樣本選擇通常僅基于原始圖像，而沒有額外的信息或?qū)W習(xí)到的特征，這導(dǎo)致了隨機(jī)初始化的常見做法。對于AD，還有其他先前的信息可供利用。具體來說，當(dāng)從傳感器收集數(shù)據(jù)時(shí)，可以同時(shí)記錄傳統(tǒng)信息，如自車的速度和軌跡。此外，天氣和照明條件通常是連續(xù)的，并且易于在片段級別中進(jìn)行注釋。這些信息有利于為初始集合選擇做出明智的選擇。因此，我們?yōu)槌跏歼x擇設(shè)計(jì)了自我多樣性度量。

Ego Diversity：由三個(gè)部分組成：1）天氣照明2）駕駛指令3）平均速度。首先使用nuScenes中的描述，將完整的數(shù)據(jù)集劃分為四個(gè)互斥子集：Day Sunny（DS）、Day Rainy（DR）、Night Sunny（NS）、NightRainy（NR）。其次，根據(jù)一個(gè)完整片段中左、右和直行駕駛命令的數(shù)量將每個(gè)子集分為四類：左轉(zhuǎn)（L）、右轉(zhuǎn)（R）、超車（O）、直行（S）。論文設(shè)計(jì)了一個(gè)閾值τc，其中如果剪輯中左右命令的數(shù)量都大于或等于閾值τc時(shí)，我們將其視為該剪輯中的超越行為。如果只有向左命令的數(shù)量大于閾值τc，則表示左轉(zhuǎn)。如果只有向右命令的數(shù)量大于閾值τc，則表示向右轉(zhuǎn)彎。所有其它情況都被認(rèn)為是直接的。第三，計(jì)算每個(gè)場景中的平均速度，并在相關(guān)的子集中按升序?qū)λ鼈冞M(jìn)行排序。

圖2給出了基于多路樹的初始選擇過程的詳細(xì)直觀過程。

2）增量選擇的準(zhǔn)則設(shè)計(jì)

在本節(jié)將介紹如何基于使用已注釋片段訓(xùn)練的模型，對片段的新部分進(jìn)行增量注釋。我們將使用中間模型對未標(biāo)記的片段進(jìn)行推理，隨后的選擇基于這些輸出。盡管如此，還是采取了面向規(guī)劃的觀點(diǎn)，并介紹了后續(xù)數(shù)據(jù)選擇的三個(gè)標(biāo)準(zhǔn)：位移誤差、軟碰撞和代理不確定性。

標(biāo)準(zhǔn)一：位移誤差（DE）。將表示為模型的預(yù)測規(guī)劃路線τ與數(shù)據(jù)集中記錄的人類軌跡τ*之間的距離。

其中T表示場景中的幀。由于位移誤差本身是一個(gè)性能指標(biāo)（無需注釋），因此它自然成為主動(dòng)選擇中的第一個(gè)也是最關(guān)鍵的標(biāo)準(zhǔn)。

標(biāo)準(zhǔn)二：軟碰撞（SC）。將LSC定義為預(yù)測的自車軌跡和預(yù)測的agent軌跡之間的距離。將通過閾值ε過濾掉低置信度agent預(yù)測。在每個(gè)場景中，選擇最短距離作為危險(xiǎn)系數(shù)的度量。同時(shí)，在term和最近距離之間保持正相關(guān)：

使用“軟碰撞”作為一個(gè)標(biāo)準(zhǔn)，因?yàn)椋阂环矫妫c“置換誤差”不同，“碰撞比率”的計(jì)算取決于目標(biāo)的3D框的注釋，而這些注釋在未標(biāo)記的數(shù)據(jù)中不可用。因此，應(yīng)該能夠僅根據(jù)模型的推理結(jié)果來計(jì)算標(biāo)準(zhǔn)。另一方面，考慮一個(gè)硬碰撞標(biāo)準(zhǔn)：如果預(yù)測的自車軌跡會(huì)與其他預(yù)測的agent的軌跡發(fā)生碰撞，將其指定為1，否則指定為0。然而，這可能會(huì)導(dǎo)致標(biāo)簽為1的樣本太少，因?yàn)锳D中最先進(jìn)模型的碰撞率通常很?。ǖ陀?%）。因此，選擇使用與其他對目標(biāo)最近的距離來代替“碰撞率”度量。當(dāng)與其他車輛或行人的距離太近時(shí)，風(fēng)險(xiǎn)被認(rèn)為要高得多。簡言之，“軟碰撞”是衡量碰撞可能性的有效指標(biāo)，可以提供密集的監(jiān)督。

標(biāo)準(zhǔn)III：agent不確定性（AU）。對周圍agent的未來軌跡的預(yù)測自然具有不確定性，因此運(yùn)動(dòng)預(yù)測模塊通常會(huì)生成多個(gè)模態(tài)和相應(yīng)的置信度得分。我們的目標(biāo)是選擇那些附近agent具有高度不確定性的數(shù)據(jù)。具體來說，通過距離閾值δ過濾出遙遠(yuǎn)的主體，并計(jì)算剩余主體的多種模式的預(yù)測概率的加權(quán)熵。假設(shè)模態(tài)的數(shù)量是，并且agent在不同模態(tài)下的置信度得分是Pi（a），其中i∈{1，…，Nm}。然后，Agent不確定性可以定義為：

Overall Loss:

3）整體主動(dòng)學(xué)習(xí)范式

Alg1介紹了方法的整個(gè)工作流程。給定可用預(yù)算B、初始選擇大小n0、在每個(gè)步驟中進(jìn)行的活動(dòng)選擇的數(shù)量ni以及總共M個(gè)選擇階段。首先使用上述描述的隨機(jī)化或自車多樣性方法初始化選擇。然后，使用當(dāng)前注釋的數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)。基于訓(xùn)練的網(wǎng)絡(luò)，我們對未標(biāo)記的進(jìn)行預(yù)測，并計(jì)算總損失。最后根據(jù)總體損失對樣本進(jìn)行排序，并選擇當(dāng)前迭代中要注釋的前ni個(gè)樣本。重復(fù)這個(gè)過程，直到迭代達(dá)到上限M，并且所選擇的樣本數(shù)量達(dá)到上限B。

實(shí)驗(yàn)結(jié)果

在廣泛使用的nuScenes數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。所有實(shí)驗(yàn)都使用PyTorch實(shí)現(xiàn)，并在RTX 3090和A100 GPU上運(yùn)行。

表1：規(guī)劃表現(xiàn)。ActiveAD在所有注釋budget設(shè)置中都優(yōu)于一般的主動(dòng)學(xué)習(xí)基線。此外，與使用整個(gè)數(shù)據(jù)集進(jìn)行訓(xùn)練相比，具有30%數(shù)據(jù)的ActiveAD實(shí)現(xiàn)了略好的規(guī)劃性能。帶有*的VAD表明已經(jīng)更新了結(jié)果，這些結(jié)果比原始工作中報(bào)告的結(jié)果要好。帶有?的UniAD表明已使用VAD的指標(biāo)來更新結(jié)果。

表2：設(shè)計(jì)消融實(shí)驗(yàn)?！癛A”和“ED”表示基于隨機(jī)性和自車多樣性的初始集選擇?！癉E”、“SC”和“AU”表示位移誤差， 分別為軟碰撞和agent不確定性。所有帶“ED”的組合都使用相同的10%數(shù)據(jù)進(jìn)行初始化。LDE、LSC和LAU分別歸一化為[0，1]，將超參數(shù)α和β設(shè)置為1。

圖3：所選場景可視化。根據(jù)選擇的前置攝像頭圖像基于在10%數(shù)據(jù)上訓(xùn)練的模型的位移誤差（col 1）、軟碰撞（col 2）、agent不確定性（col 3）和混合（col 4）標(biāo)準(zhǔn)。Mixed代表了我們的最終選擇策略ActiveAD，并考慮了前三種情況！

表4，各種場景下的性能。在各種天氣/照明和駕駛命令條件下，使用30%數(shù)據(jù)的活動(dòng)模型的平均L2（m）/平均碰撞率（%）越小，性能越好。

圖4：多個(gè)標(biāo)準(zhǔn)之間的相似性。它顯示了 通過四個(gè)標(biāo)準(zhǔn)選擇10%（左）和20%（右）的新采樣場景：位移誤差（DE）、軟碰撞（SC）、代理不確定性（AU）和混合（MX）

本工作的一些結(jié)論

為了解決端到端自動(dòng)駕駛數(shù)據(jù)標(biāo)注的高成本和長尾問題，率先開發(fā)了量身定制的主動(dòng)學(xué)習(xí)方案ActiveAD。ActiveAD基于面向規(guī)劃的哲學(xué)，引入了新的任務(wù)特定的多樣性和不確定性度量。大量實(shí)驗(yàn)證明了方法的有效性，僅使用30%的數(shù)據(jù)，就顯著超過了一般的往期方法，并實(shí)現(xiàn)了與最先進(jìn)模型相當(dāng)?shù)男阅?。這代表著從以數(shù)據(jù)為中心的角度對端到端自動(dòng)駕駛的一次有意義的探索，并希望我們的工作能夠啟發(fā)未來的研究和發(fā)現(xiàn)。