“周圍的車輛和行人在接下來(lái)數(shù)秒中會(huì)做什么？”要實(shí)現(xiàn)安全的自動(dòng)駕駛，這是一個(gè)必須回答的關(guān)鍵問題，這也就是自動(dòng)駕駛領(lǐng)域中的行為預(yù)測(cè)問題。

自動(dòng)駕駛公司 Chris Urmson 去年曾在一次采訪中表示，感知和預(yù)測(cè)能力很關(guān)鍵，如果有一個(gè)模型能預(yù)測(cè)未來(lái) 5 秒會(huì)發(fā)生什么，這將能很大程度加速自動(dòng)駕駛的發(fā)展。

行為預(yù)測(cè)的難點(diǎn)在于周圍行人、車輛的不確定性和各種規(guī)則之外的行為。這些狀況難以進(jìn)行確定性的預(yù)測(cè)，只能通過訓(xùn)練數(shù)據(jù)分析各種行為的可能性來(lái)達(dá)到更加合理的預(yù)測(cè)效果。另一個(gè)難點(diǎn)是盲區(qū)與遮擋問題。

面對(duì)這種情況時(shí)，人類司機(jī)通常會(huì)基于自己的駕駛經(jīng)驗(yàn)對(duì)周圍信息產(chǎn)生一個(gè)預(yù)期。這種經(jīng)驗(yàn)之舉顯示出，行為預(yù)測(cè)的基礎(chǔ)在于對(duì)環(huán)境的認(rèn)識(shí)和理解。

在這一方面，來(lái)自 Waymo 和谷歌的一個(gè)中國(guó)工程師團(tuán)隊(duì)提出了一個(gè)全新模型 VectorNet。

在該模型中，團(tuán)隊(duì)首次提出了一種抽象化認(rèn)識(shí)周圍環(huán)境信息的做法：用向量（Vector）來(lái)簡(jiǎn)化地表達(dá)地圖信息和移動(dòng)物體，這一做法拋開了傳統(tǒng)的用圖片渲染的方式，達(dá)到了降低數(shù)據(jù)量、計(jì)算量的效果。

在向量化的基礎(chǔ)上，該模型在所有向量之間添加了語(yǔ)義關(guān)系，讓機(jī)器（自動(dòng)駕駛車輛）不僅能看到環(huán)境信息，更能進(jìn)一步理解環(huán)境中不同要素之間的關(guān)系。在自動(dòng)駕駛的語(yǔ)境下，對(duì)要素之間關(guān)系的認(rèn)識(shí)可以幫助進(jìn)行行為預(yù)測(cè)。

在實(shí)際測(cè)試當(dāng)中，該模型的行為預(yù)測(cè)精準(zhǔn)度比現(xiàn)有方法提升了近 20%，而在占用內(nèi)存和計(jì)算量上則減少了約 8 成。

目前該論文已經(jīng)被計(jì)算機(jī)視覺領(lǐng)域三大國(guó)際頂會(huì)之一的 CVPR 接收，Waymo 也在其博客文章中明確表示該技術(shù)提高了其行為預(yù)測(cè)的精準(zhǔn)度。

抽象地 “認(rèn)識(shí)” 世界

正如 Waymo 在博客中指出，該研究的突破性意義在于首次提出了用向量的方式來(lái)抽象化表達(dá)這個(gè)世界。

以無(wú)人車為例，周圍的環(huán)境信息可以大致分為兩類。一是地圖特征，其中包括車道線、斑馬線、紅綠燈、速度標(biāo)示、停車指示牌等等固有的道路要素；第二大類，就是無(wú)人車周圍的物體運(yùn)動(dòng)軌跡。

VectorNet 論文中提到，在用向量表達(dá)的方法中，向量本身可以被輸入多方面的信息。其中包括：1、向量的起點(diǎn)位置；2、向量的終點(diǎn)位置；3、向量對(duì)應(yīng)的道路要素，比如這是條車道線、紅路燈等；4、向量對(duì)應(yīng)要素的屬性，比如限速標(biāo)示要求的速度大小、紅綠燈會(huì)指示車輛的前行和停下等。

4 種信息對(duì)應(yīng)了不同的信息和功能，當(dāng)這些信息集合，工程師能通過這種向量的方式讓整個(gè)周圍環(huán)境抽象化成了諸多向量的組合，實(shí)現(xiàn)了在機(jī)器內(nèi)對(duì)周圍環(huán)境的捕捉和重建。

據(jù)了解，要表達(dá)周圍環(huán)境的信息和物體，此前業(yè)界的廣泛做法是將車道線等地圖信息和車輛等運(yùn)動(dòng)物體渲染（render）到柵格圖（Raster graphics）上，再通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行建模，進(jìn)而實(shí)現(xiàn)后續(xù)的行為預(yù)測(cè)等操作。

但弊端在于，將物體渲染到圖片上是一個(gè)非常消耗算力的過程。且原本機(jī)器只是需要表達(dá)周圍的少量物體，本身的數(shù)據(jù)量是很小的，但在渲染成為一張圖片之后，數(shù)據(jù)量就顯著上升。

因此可以說，傳統(tǒng)上將物體渲染到圖片上的做法從時(shí)間和空間上來(lái)看，是一個(gè)缺乏效率的方式。

此外，卷積神經(jīng)網(wǎng)絡(luò)在自動(dòng)駕駛行為預(yù)測(cè)方面有著根本的局限性。由于行為預(yù)測(cè)通常需要捕獲長(zhǎng)距離道路的幾何特征，但卷積神經(jīng)網(wǎng)絡(luò)卻并不適合應(yīng)對(duì)長(zhǎng)距離的道路信息。

卷積神經(jīng)網(wǎng)絡(luò)依靠 3×3、5×5 這樣的卷積核（kernel）進(jìn)行計(jì)算，意味著這種方式能夠很好捕捉局部的環(huán)境信息，但像車道線這樣長(zhǎng)條的環(huán)境信息常常會(huì)貫穿整張圖片，因此小的卷積核就沒有足夠的感受野（receptive field）能夠捕捉整條車道線的幾何特征。

論文提到，卷積感受野對(duì)預(yù)測(cè)質(zhì)量至關(guān)重要，測(cè)試表明更大的卷積核帶來(lái)感受野的提升能夠改善無(wú)人車行為預(yù)測(cè)的結(jié)果，但代價(jià)同樣巨大：計(jì)算成本會(huì)進(jìn)一步提升。

在 VectorNet 模型的做法下，無(wú)需將環(huán)境信息渲染成圖片，而表達(dá)成抽象、簡(jiǎn)化的向量形式，如此一來(lái)，模型和數(shù)據(jù)量都大幅減少，模型的計(jì)算速度可以比卷積神經(jīng)網(wǎng)絡(luò)快上一個(gè)數(shù)量級(jí)。

因此 VectorNet 在實(shí)際應(yīng)用中具備很強(qiáng)的實(shí)用性，可以提升 Waymo 自動(dòng)駕駛測(cè)試的行為預(yù)測(cè)精準(zhǔn)度。

一位業(yè)內(nèi)人士表示“我覺得過去學(xué)術(shù)界更多的工作都放在了預(yù)測(cè)模型上，但這些工作都忽略了一個(gè)基本問題——現(xiàn)在的輸入表征還沒做好?，F(xiàn)在大家都是通過渲染 + 卷積神經(jīng)網(wǎng)絡(luò)的方式去做輸入表征，再基于此去做不同的預(yù)測(cè)模型進(jìn)行軌跡預(yù)測(cè)。這就導(dǎo)致了，當(dāng)輸入表征本身還存在很大問題的情況下，預(yù)測(cè)模型的設(shè)計(jì)也很難說是有效的。”

這一說法也強(qiáng)調(diào)了，該模型的最大貢獻(xiàn)是提出了一個(gè) “如何表示地圖、如何用神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)地圖內(nèi)容” 的新模式。

讓機(jī)器 “理解” 世界

抽象化表達(dá)世界只是 VectorNet 模型的第一步，在有了向量圖之后，理解不同要素之間的聯(lián)系，學(xué)習(xí)要素之間的語(yǔ)義信息成了更可行的一步，最終才能讓機(jī)器學(xué)實(shí)現(xiàn)從 “看到世界” 到“理解世界”的發(fā)展。

在此之前，卷積神經(jīng)網(wǎng)絡(luò)擅長(zhǎng)于編碼位置關(guān)系，但在學(xué)習(xí)多個(gè)要素之間的連接關(guān)系面前則顯得吃力。

相比之下，圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network）注重連接關(guān)系，而非注重空間位置關(guān)系。在一個(gè)網(wǎng)狀結(jié)構(gòu)里，普通的圖神經(jīng)網(wǎng)絡(luò)非常善于將線和節(jié)點(diǎn)之間的語(yǔ)義關(guān)系學(xué)習(xí)出來(lái)，但卻無(wú)法學(xué)習(xí)節(jié)點(diǎn)之間的位置關(guān)系，這也是圖神經(jīng)網(wǎng)絡(luò)最大的問題。

對(duì)自動(dòng)駕駛依靠的地圖信息來(lái)說，周圍要素之間的位置信息和語(yǔ)義信息都很重要。一方面要精準(zhǔn)表達(dá)車輛、車道線、紅綠燈等要素的位置信息；與此同時(shí)，在復(fù)雜的交通場(chǎng)景中，車輛等物體的運(yùn)動(dòng)狀態(tài)受到多種要素的綜合影響，比如紅綠燈、道路交規(guī)的指示，周圍物體的運(yùn)動(dòng)也會(huì)影響車輛的行進(jìn)決策，這即是要素之間的語(yǔ)義關(guān)系。

要更好地對(duì)周圍車輛進(jìn)行行為預(yù)測(cè)，理解其中的語(yǔ)義信息就顯得至關(guān)重要。

在用向量表達(dá)周圍信息的基礎(chǔ)之上，團(tuán)隊(duì)提出了分層圖形神經(jīng)網(wǎng)絡(luò)（hierarchical graph neural network ），在所有向量之間建立語(yǔ)義聯(lián)系，從而在模型中同時(shí)放入了地圖上所有要素的位置信息和要素之間的語(yǔ)義信息。

這么做相當(dāng)于在前期人為告訴模型：周圍的所有要素都可能影響車輛的運(yùn)動(dòng)行為決策。而在后續(xù)的學(xué)習(xí)當(dāng)中，模型能夠自動(dòng)學(xué)習(xí)到在諸多要素當(dāng)中，哪些要素會(huì)對(duì)車輛行進(jìn)產(chǎn)生影響，以及不同要素之間的影響程度。

根據(jù) Waymo 在博客中介紹，相比目前廣泛使用的 ResNet ， VectorNet 在預(yù)測(cè)的精準(zhǔn)度上提高了 18%，更重要的是，它在進(jìn)行行為預(yù)測(cè)時(shí)占用的內(nèi)存僅為 ResNet 的 29%，計(jì)算量也僅為后者的 20%。

此外，對(duì)周圍環(huán)境理解的加深也能讓機(jī)器在學(xué)習(xí)中獲得類似人類司機(jī)的經(jīng)驗(yàn)，學(xué)習(xí)不同要素之間的語(yǔ)義關(guān)系能對(duì)周圍可能發(fā)生的情況作出推斷。比如當(dāng)路邊的停車標(biāo)志被意外遮擋時(shí)，人類駕駛員可以根據(jù)過往的經(jīng)驗(yàn)推測(cè)標(biāo)志的內(nèi)容，在對(duì) VectorNet 的訓(xùn)練中，隨機(jī)遮擋部分地圖特征能夠進(jìn)一步提升 VectorNet 的預(yù)測(cè)能力，根據(jù)此前的學(xué)習(xí)經(jīng)驗(yàn)可以更好推測(cè)缺失的地圖信息，最終在必要時(shí)及時(shí)作出應(yīng)對(duì)。

事實(shí)上，在后續(xù)訓(xùn)練中 VectorNet 已經(jīng)通過學(xué)習(xí)形成了一套“注意力機(jī)制”，論文給出的例子顯示，當(dāng)自動(dòng)駕駛車輛行進(jìn)、變道的過程當(dāng)中，機(jī)器已經(jīng)自己認(rèn)識(shí)到當(dāng)前車道和目標(biāo)車道上的信息是更加需要關(guān)注的。這顯示出了該模型對(duì)周圍環(huán)境信息產(chǎn)生了進(jìn)一步的“理解”，這一現(xiàn)象也反過來(lái)表明了該模型的可解釋性。

論文作者團(tuán)隊(duì)來(lái)自谷歌和 Waymo。其中，高繼揚(yáng)目前是 Waymo 的高級(jí)軟件工程師，本科畢業(yè)于清華大學(xué)，2018 年在美國(guó)南加州大學(xué)獲電機(jī)工程博士學(xué)位；趙行本科畢業(yè)于浙江大學(xué)，之后在麻省理工學(xué)院拿到碩士、博士學(xué)位，目前在 Waymo 擔(dān)任研究員；孫晨本科同樣就讀于清華大學(xué)，后于 2015 年博士畢業(yè)于南加州大學(xué)，目前在谷歌任研究員。