本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

寫在前面&筆者的個人理解

實時根據(jù)傳感器數(shù)據(jù)構(gòu)建向量化高精地圖對于預(yù)測和規(guī)劃等下游任務(wù)至關(guān)重要，可以有效彌補(bǔ)離線高精地圖實時性差的缺點。隨著深度學(xué)習(xí)的發(fā)展，在線向量化高精地圖構(gòu)建逐漸興起，代表性的工作如HDMapNet，MapTR等相繼涌現(xiàn)。然而，現(xiàn)有的在線向量化高精地圖構(gòu)建方法缺乏對地圖元素幾何性質(zhì)（包括元素的形狀，垂直、平行等幾何關(guān)系）的探索。

向量化高精地圖的幾何性質(zhì)

向量化高精地圖對道路上的元素進(jìn)行了高度抽象，將每一個地圖元素表示為二維點序列。而城市道路的設(shè)計具有特定的規(guī)范，例如，人行橫道在多數(shù)情況下表現(xiàn)為方正的矩形或平行四邊形；在不涉及分流合流的路段,相鄰的兩條車道互相平行。高精地圖中不同元素還具有許多類似的特點，這些常識性的規(guī)律，抽象為高精地圖的幾何性質(zhì)，包括地圖元素的形狀（矩形、平行四邊形、直線等），或者不同地圖元素之間的關(guān)聯(lián)（平行、垂直等）。幾何性質(zhì)強(qiáng)有力地約束著地圖元素的表現(xiàn)形式，在線構(gòu)建模型如果充分理解了幾何性質(zhì)，就能得到更精確的結(jié)果。

提出針對高精地圖的幾何表示的重要性

盡管理論上現(xiàn)有模型仍可能學(xué)到地圖元素的幾何性質(zhì)，然而，幾何性質(zhì)的特點決定了至少在傳統(tǒng)的設(shè)計下，模型并不容易學(xué)到。

• 幾何性質(zhì)的不變性

中心車輛在道路上直線行駛，變道，或者轉(zhuǎn)彎時，（在車輛坐標(biāo)系下）地圖元素的絕對坐標(biāo)不斷發(fā)生變化。而人行橫道、車道、道路邊界等的形狀并不會隨之改變；類似的，車道之間平行關(guān)系也不會改變。地圖元素的幾何性質(zhì)是客觀的，它的一個重要特點就是不變性。更具體的，是剛性不變性（對旋轉(zhuǎn)、平移變換保持不變）。以往的工作，不論是使用樸素的折線表示，還是使用帶控制點的多項式曲線（比如貝塞爾曲線、分段貝塞爾曲線），都基于絕對坐標(biāo)，并在絕對坐標(biāo)基礎(chǔ)上端到端優(yōu)化。基于絕對坐標(biāo)的優(yōu)化目標(biāo)本身不具備剛性不變性，因此很難期待模型陷入的局部最優(yōu)解包含對幾何性質(zhì)的理解。因此，一種能充分刻畫幾何性質(zhì)且具有一定不變性的表示是必要的。

圖1. 幾何不變性的示例。

車輛右轉(zhuǎn)時，絕對坐標(biāo)會發(fā)生明顯的變化。右圖展示了一個對應(yīng)的真實場景。

• 幾何性質(zhì)的多樣性

此外，盡管具有強(qiáng)烈的先驗知識，道路的幾何性質(zhì)仍然是多樣的。這些多樣的幾何性質(zhì)總體上可以分為兩大類，一類是關(guān)于單個地圖元素的幾何形狀，一類是關(guān)于不同地圖元素的幾何關(guān)聯(lián)。由于幾何性質(zhì)的多樣性，窮舉并人工地將幾何性質(zhì)轉(zhuǎn)變?yōu)榧s束是不可能的，因此我們更希望模型能夠端到端地自主學(xué)習(xí)多樣的幾何性質(zhì)。

GeMap的設(shè)計

幾何表示

針對上述兩個問題，我們首先改進(jìn)表示方法。我們希望在傳統(tǒng)的基于絕對坐標(biāo)的表示之外，引入一種良好的幾何表示，它需要滿足：

• 能刻畫地圖元素的形狀
• 能刻畫地圖元素之間的關(guān)聯(lián)
• 剛性不變性

為保證平移不變性，我們使用了相對量，即點之間的偏移向量；為進(jìn)一步保證旋轉(zhuǎn)不變性，我們選擇了偏移向量的長度，以及不同偏移向量之間的夾角。這二者——長度和夾角——構(gòu)成了我們提出的幾何表示的基礎(chǔ)。此外，為了更好地區(qū)分并刻畫形狀、關(guān)聯(lián)兩類不同的幾何性質(zhì)，我們還按照從簡的原則進(jìn)一步細(xì)化了設(shè)計：

為刻畫形狀，我們計算單個地圖元素中相鄰點之間的偏移向量，并計算偏移向量長度、相鄰偏移向量之間的夾角。這一表示能夠唯一確定任意的折線/多邊形。兩個形象的例子如下圖所示：

圖2. 幾何形狀表示。

對于一個矩形，使用一個直角和兩對相等的邊就可以描述；對于一條直線，所有的夾角均為0度或者180。

為刻畫關(guān)聯(lián)，類似地，我們首先考慮了任意兩點之間的距離。然而，如果對所有點對點的偏移向量兩兩計算夾角，表示的復(fù)雜度過高，且計算代價不可承受。具體地，假設(shè)一共有個地圖元素，每個元素使用個個點來表示，那么所有夾角的數(shù)據(jù)量將達(dá)到（取1000時，假設(shè)每一個角度數(shù)據(jù)都是32位浮點數(shù)，這樣的表示僅占據(jù)的空間將達(dá)到TB級別）。事實上，對于一般的垂直、平行等關(guān)系來說這不是必要的。因此，我們先計算元素內(nèi)部的偏移，然后僅對這些偏移計算兩兩之間的夾角作為幾何表示的一部分。這種簡化的關(guān)聯(lián)表示保留了對平行、垂直等關(guān)系的描述能力，同時所對應(yīng)的數(shù)據(jù)量僅為（前述條件下，大致4MB）。為了便于理解，我們同樣提供了一些例子：

圖3. 幾何關(guān)聯(lián)表示。

平行關(guān)系和垂直關(guān)系表現(xiàn)為偏移向量的夾角為0度或者90度；兩點之間的距離可以一定程度反映車道寬度信息

為優(yōu)化幾何形狀和關(guān)聯(lián)的表示，我們采用最樸素的做法，直接計算預(yù)測和標(biāo)簽的幾何表示，然后用范數(shù)作為優(yōu)化目標(biāo)：

這里和分別表示根據(jù)標(biāo)簽計算得到的長度和夾角，和則表示根據(jù)預(yù)測計算得到的長度和夾角。在處理夾角時使用了一個技巧：直接計算角度涉及到不連續(xù)的arctan函數(shù)，在優(yōu)化時會遇到困難（在±90度附近存在梯度消失的問題），因此我們實際上比較的是夾角的余弦和正弦值：

幾何表示的基礎(chǔ)是角度和距離，因此我們形象地將對應(yīng)的幾何損失稱為”歐幾里得損失“，也代表著這一損失對于旋轉(zhuǎn)和平移變換的魯棒性。

幾何解耦注意力

一種被MapTR，PivotNet等采用的架構(gòu)將地圖元素上的每一個點對應(yīng)到Transformer的一個查詢。這一架構(gòu)的問題在于：對兩大類的幾何性質(zhì)不加區(qū)分。

在自注意力中，所有查詢（也就是“點”）之間都平等地相互作用。然而，地圖元素的形狀對應(yīng)著一組一組的查詢。這些組之間的交互，在感知元素形狀時就成為了累贅。反之在感知元素之間關(guān)聯(lián)的時候，形狀亦成為了冗余因素。這意味著將形狀、關(guān)聯(lián)的感知解耦，可能帶來更好的結(jié)果。

為了解耦對幾何形狀和關(guān)聯(lián)處理，我們將自注意力分成兩個步驟進(jìn)行：

• 每個地圖元素包括個查詢，在這個查詢內(nèi)部進(jìn)行注意力，用以處理幾何形狀
• 補(bǔ)充跨元素的注意力關(guān)系，用以處理幾何關(guān)聯(lián)

幾何解耦的注意力更形象的表示如下圖所示。我們的實現(xiàn)方式比較樸素，直接使用mask控制注意力的范圍。事實上，由于這兩種注意力是互補(bǔ)的，合理地實現(xiàn)有可能讓時間復(fù)雜度等同于進(jìn)行單次自注意力。

圖4. 幾何解耦注意力。

左側(cè)為單個元素內(nèi)部進(jìn)行的形狀注意力，右側(cè)為元素之間進(jìn)行的關(guān)聯(lián)注意力。

實驗結(jié)果

我們在nuScenes和Argoverse 2兩個數(shù)據(jù)集上進(jìn)行了大量實驗。二者都是常用的大規(guī)模自動駕駛數(shù)據(jù)集，且都提供了地圖標(biāo)注。

主要結(jié)果

在nuScenes上，我們進(jìn)行了三組實驗。我們首先使用了一種比較純粹的目標(biāo)函數(shù)組合，只包括幾何損失和其它必要的損失（如點到點距離、邊的方向、分類），這一組合是為了體現(xiàn)我們提出的幾何性質(zhì)的重要價值，而不過多追求SOTA的結(jié)果。可以看到，在這種情況下，相比于MapTR，我們的方法能在mAP提升了。為了探索GeMap的極限，我們也加上了一些輔助目標(biāo)，包括分割和深度估計，在這種情況下我們也取得了SOTA的結(jié)果（mAP提升）。值得注意的是，取得這樣的提升并不需要犧牲太多的推理速度。最后，我們還嘗試了引入額外的LiDAR模態(tài)輸入，在額外模態(tài)輸入的加持下，GeMap的性能也能取得進(jìn)一步提升。

同樣，在Argoverse 2數(shù)據(jù)集上，我們的方法也取得了非常突出的效果。

消融實驗

在nuScenes上進(jìn)一步進(jìn)行的消融實驗證明了幾何損失和幾何解耦注意力的價值。有趣的是，正如我們所預(yù)料的，直接使用幾何損失反而會帶來模型表現(xiàn)的下降。我們認(rèn)為這是因為結(jié)構(gòu)上的對形狀和關(guān)聯(lián)處理的耦合，導(dǎo)致模型很難優(yōu)化幾何表示；而在與幾何解耦注意力結(jié)合之后，幾何損失就發(fā)揮了應(yīng)有的作用（從”+Euclidean Loss“到”Full“）。

更多結(jié)果

此外，我們還在nuScenes上進(jìn)行了可視化分析。可視化的結(jié)果表明，GeMap除了具有對旋轉(zhuǎn)和平移的魯棒性，在處理遮擋問題上也表現(xiàn)出了一定優(yōu)勢，如下圖。圖中有挑戰(zhàn)性的地圖元素使用橘色方框標(biāo)出。

圖5. 可視化對比結(jié)果。

關(guān)于對遮擋的魯棒性，在雨天的實驗結(jié)果中（見下表”“）也得到了定量驗證（因為雨水對相機(jī)有天然的遮擋）：

這可以解釋為模型學(xué)到了幾何性質(zhì)，因此即使有遮擋，也能更好地猜出地圖元素。例如，模型理解了車道線的形狀，那么只需要”看到“一部分，就能夠估計剩下的部分；模型理解了車道線之間的平行關(guān)系，或者車道的寬度特點，因此哪怕其中一條被遮擋，也能根據(jù)平行、寬度因素猜測被遮擋的部分。

總結(jié)

我們指出了地圖元素所具有的幾何性質(zhì)，以及其對于在線向量化高精地圖構(gòu)建的價值?；诖?，我們提出了一種強(qiáng)有力的方法，初步對這一價值進(jìn)行了驗證。此外，GeMap表現(xiàn)出的對遮擋的魯棒性，或許預(yù)示著在其它自動駕駛?cè)蝿?wù)（例如檢測、占有預(yù)測等）中利用幾何性質(zhì)處理遮擋的思路——因為車輛和道路都具有相對規(guī)范的幾何性質(zhì)。當(dāng)然，我們的方法本身也有很多可以進(jìn)一步探索的地方。比如不同復(fù)雜度的幾何元素是否可以適應(yīng)性地使用不同的點來描述？是否能從概率的角度出發(fā)理解幾何表示，讓其對噪音更具魯棒性？因為我們對于元素關(guān)聯(lián)進(jìn)行了簡化，那么是否存在更好的幾何關(guān)聯(lián)的表示方法？這些都是進(jìn)一步優(yōu)化的方向。

原文鏈接：https://mp.weixin.qq.com/s/BoxlskT68Kjb07mfwQ7Swg