[[437828]]

今天，我們來了解一下谷歌的自動駕駛汽車Waymo是怎么做的。

Waymo在超過25個城市的公共道路上行駛了超過2000萬英里。他們還在模擬環(huán)境中行駛了數(shù)百億英里（文章后面會介紹）。此外，Waymo正在美國經(jīng)營出租車服務(wù)，真正地在沒有司機的情況下運送乘客。

由于Waymo的快速增長，下午將深入介紹Waymo的技術(shù)，以便您了解這個巨頭背后的實際情況。

與其他自動駕駛汽車一樣，Waymo通過4個主要步驟來實施：感知（perception）、定位（localization）、規(guī)劃（planning）和控制（control）。

這篇文章中，不討論控制相關(guān)的內(nèi)容。對于Waymo來說，預(yù)測（這是規(guī)劃的一部分）是另一個核心支柱，文中將單獨介紹。

我們首先從感知開始

感知

大多數(shù)機器人系統(tǒng)的核心組件是感知任務(wù)。在Waymo的案例中，感知包括對障礙物的估計和自動駕駛汽車的定位。

傳感器和任務(wù)

Waymo的感知系統(tǒng)使用了攝像頭、激光雷達和雷達的組合。由于Waymo的大部分工作都是使用4個LiDAR完成的，可以將其視為與特斯拉完全相反的系統(tǒng)。

以下是Waymo自動駕駛復(fù)雜任務(wù)的視圖——只是為了讓您了解其計算機視覺系統(tǒng)需要感知的所有事物。

如您所見，對障礙物的信息水平要求非常高：

• 汽車被分類為常規(guī)汽車、警車、救護車、消防車和校車。
• 如果遇到特種車輛，系統(tǒng)可以觀察警報器和燈光并根據(jù)此進行操作。
• 每個檢測到的障礙物都有一個狀態(tài)：移動、停車等

如您所見，感知系統(tǒng)會考慮“狀態(tài)”并將其提供給預(yù)測系統(tǒng)。

然而，這種感知系統(tǒng)很快就會遇到一些特別棘手的情況。下面是一個例子：

反射問題

上面的反射問題遠不是唯一的棘手問題。再如：人們可以偽裝，躺在卡車車頂上，帶著STOP標志走路等。我們可能會想象出更多的邊緣情況，我們應(yīng)該了解系統(tǒng)可能遇到的問題。

Waymo筆記：

但是，在過去幾年中，上述許多問題都得到了解決。

• 由于激光雷達，反射問題可以得到解決。反射不會出現(xiàn)在激光雷達中；只有點云顯示了真正障礙物的形狀（這里是一輛公共汽車）。了解更多的激光雷達信息。
• 由于地圖，“帶有停車標志人”的問題已得到解決。第一步是檢測STOP標志；第二步將這些信息與地圖和先驗知識相匹配。每當(dāng)Waymo檢測到一個標志時，將會查詢“地圖在這里是否包含STOP標志？如果沒有，是否正在施工？如果沒有，就沒有理由停下來！”

架構(gòu)

最近在討論Tesla計算機視覺架構(gòu)時，我探索了HydraNet 架構(gòu)。它是一種旨在同時運行多個神經(jīng)網(wǎng)絡(luò)的架構(gòu)。“Hydra”這個詞意味著一個有多個頭的系統(tǒng)。

Waymo沒有談?wù)揌ydraNets，但有一些關(guān)于其視覺系統(tǒng)的事情。

第一件可能會讓你感到驚訝的事是，Waymo的架構(gòu)并不是固定的，而是估計的。

這是一個神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(NAS)單元。

這是類似于ResNet的大型神經(jīng)網(wǎng)絡(luò)中的構(gòu)建塊。這種想法已經(jīng)在AutoML中采用了。AutoML的思想是神經(jīng)網(wǎng)絡(luò)架構(gòu)必須由算法估計。

這些架構(gòu)是使用NAS單元構(gòu)建的，最佳組合獲勝。

測試10,000個架構(gòu)，預(yù)選100個模型，然后選出1個最終獲勝者。獲勝的標準是準確性和推理成本。

數(shù)據(jù)集和模型

Google正在使用一種稱為主動學(xué)習(xí)的過程。

主動學(xué)習(xí)的思想如下：

• 對于每條未標記的數(shù)據(jù)，將其發(fā)送給模型進行預(yù)測。
• 如果模型對其預(yù)測非常確定，我們得到一個自動標簽。
• 如果不確定，則將數(shù)據(jù)發(fā)送給人工標注員。這樣，人工標注員只標注難例數(shù)據(jù)，其余的都是自動標注。

有關(guān)主動學(xué)習(xí)的更多信息。

Waymo使用主動學(xué)習(xí)來訓(xùn)練模型，利用TPU（Tensor Processing Units）和谷歌的深度學(xué)習(xí)框架TensorFlow。

與特斯拉類似，這是一個閉環(huán)。

圖中的描述已經(jīng)比較清晰；從底部的“Releases”開始，然后向左移動。

• 當(dāng)模型發(fā)布完成之后，數(shù)據(jù)收集就開始了。
• 一些數(shù)據(jù)被選中并由神經(jīng)網(wǎng)絡(luò)和人工標注員進行標注。
• 然后標注過的數(shù)據(jù)集被發(fā)送到AutoML架構(gòu)搜索，評估最佳模型。
• 最佳模型經(jīng)過驗證、測試并部署。

然后重新開始新的迭代……

這些用于感知的機器學(xué)習(xí)模型的目標是準確估計3D世界。

定位

定位意思是得到車輛在1-3厘米精度內(nèi)的位置。一些公司使用了GPS，有些又添加了攝像頭和激光雷達信息，但是……

Waymo使用了地圖、激光雷達和GPS來定位車輛。

Google還利用了從Google地圖獲得的經(jīng)驗。

多年來，谷歌地圖團隊一直致力于使用激光雷達、攝像頭和GPS進行高精地圖繪制。這些是用于自動駕駛汽車的精確傳感器。

Waymo筆記：

雖然Waze和Google Maps都沒有參與Waymo及其定位模塊，但在地圖上積累的經(jīng)驗非常有益。

谷歌幾乎已經(jīng)繪制了整個世界的地圖。如果從相對位置檢測到您看到了2號街道，就可以準確地知道您在哪里。這就是他們過去二十年一直在努力的事情。

Waymo的定位模塊由地圖、攝像頭、GPS和算法組成，可在全世界范圍內(nèi)準確定位車輛。Waymo還在其模塊中使用了大量冗余，以使其更加健壯和可靠。

預(yù)測

行為預(yù)測

Waymo自動駕駛汽車最重要的特點是行為預(yù)測。谷歌無法像特斯拉那樣利用車隊的力量。特斯拉利用其客戶數(shù)十萬輛汽車收集數(shù)據(jù)。Waymo無法做到這一點；然而，他們擁有自己的車隊，近年來可能會增長很多。

在自動駕駛汽車中，最終想要的是了解人類行為并預(yù)測它們。這就是所謂的行為預(yù)測。

這些行為預(yù)測是使用循環(huán)神經(jīng)網(wǎng)絡(luò)進行的：它們使用過去的信息來預(yù)測未來的行為。因此，可以確切地知道要做什么，并且可以衡量預(yù)測的置信度。

行為預(yù)測類似于以下內(nèi)容：

• 如果車輛觀察到有行人注視著它，則發(fā)生事故的風(fēng)險很低。
• 如果觀察到行人不注意就跑，風(fēng)險會更高。

Waymo的系統(tǒng)知道這一點。怎么做到的呢？在其模型中輸入專家偏見。其預(yù)測系統(tǒng)是一個混合體：結(jié)合了機器學(xué)習(xí)和人類知識。人類知識還包括交通法規(guī)和不可能的事情（如：人類行走或者跑步的速度不可能達到50公里/小時）。

仿真

Waymo駕駛了很多，但也模擬了很多。Waymo構(gòu)建了一個模擬器，該模擬器將真實世界數(shù)據(jù)作為輸入并輸出新場景。

以現(xiàn)實生活中發(fā)生的情況為例?，F(xiàn)在，使用模擬器修改它。想象一下有一輛車超過了人類司機的情景，再想象一下沒有超過人類司機。

這類似于電影《Next》，其中尼古拉斯·凱奇 (Nicolas Cage) 有能力想象每一種可能的場景并選擇他能幸存的場景。

[[437832]]

next

Waymo可以實時前后回放，還可以模擬行為?？梢詷?gòu)建完整的小說，并查看算法是如何表現(xiàn)的。模擬器可以發(fā)揮真正的力量。事實上，Waymo平均每天 24*7小時運行25,000輛虛擬汽車，并且在這些模擬中每天行駛10,000,000英里。

看看下面的圖片。在右側(cè)，可以看到一分為二的黃線。

這不是Dominic Toretto和Brian O'Connor的告別。這兩條線是對車輛可能做的事情的預(yù)測。對這輛車的信息掌握的越多，預(yù)測就越準確和自信。直到剩下一個……

為了模擬更多場景，Waymo正在使用DeepMind和深度強化學(xué)習(xí)來創(chuàng)建代理和駕駛策略。

在強化學(xué)習(xí)中，策略是一種行為。Waymo可以模擬一個憤怒的司機試圖在某人面前危險地切入，或者一個粗心的踏板車司機。每次，他們都會查看算法的行為和正確性。

當(dāng)對駕駛員進行了準確且訓(xùn)練有素的預(yù)測，就可以生成要采取的軌跡。這也稱為決策和軌跡生成。Waymo的駕駛模型稱為ChauffeurNet。

軌跡是一系列(x,y,z)點組成的。

規(guī)劃模塊的目標是生成在安全性、速度和可行性方面誤差最低的軌跡。

下面來看看Waymo的完整規(guī)劃模塊：

這可能看起來很復(fù)雜，但別擔(dān)心，這就是我寫這篇文章的原因！

讓我們從頂部開始，將“特征網(wǎng)絡(luò)”視為感知、定位和預(yù)測的輸出。

• 在左側(cè)，可以看到“Agent RNN”。這實際上是一個為自主車輛生成軌跡的網(wǎng)絡(luò)。這些軌跡將考慮航向（可行性）、速度（交通規(guī)則）、航路點（長度）和代理（可行性、幾何形狀等）。Agent RNN的目標是模擬一個可行的、現(xiàn)實的軌跡。
• 然后在右側(cè)，可以看到Road Mask Net。這是一個網(wǎng)絡(luò)，如果它生成的軌跡不在路上，就會受到很高的懲罰。Waymo通過這種方式確保我們不在人行道上開車。
• 最后，在最右側(cè)，是Perception RNN。這是一個懲罰與其他車輛的碰撞和互動的網(wǎng)絡(luò)。例如，當(dāng)我們距離車輛1米的損失會高于距離1.5米時的損失。

總之，網(wǎng)絡(luò)生成了一條可行的軌跡，保持在路上，避免碰撞。

最后，軌跡還考慮了排斥器和吸引器。我們想留在車道的中心，并且想避開路障并跟隨中心。

生成適當(dāng)軌跡的過程還使用了一種稱為逆強化學(xué)習(xí)的技術(shù)。

在逆強化學(xué)習(xí)中，我們嘗試著眼于真實的人類軌跡（真實值），并確定是什么使這條軌跡成為一個好的軌跡。這改進了生成的軌跡并使其更逼真。

總結(jié)

• 感知是檢測障礙物、交通燈和道路的。Waymo使用主動學(xué)習(xí)收集數(shù)據(jù)，使用AutoML生成架構(gòu)并選擇更高效的架構(gòu)（準確性和推理時間）。
• 定位主要是找到您所在位置的感知任務(wù)。Waymo利用谷歌地圖的知識來做到這一點。
• 預(yù)測是在模擬器中使用循環(huán)神經(jīng)網(wǎng)絡(luò)和強化學(xué)習(xí)來訓(xùn)練他們的代理來很好地估計軌跡。
• 規(guī)劃是根據(jù)可行性生成軌跡，保持在路上，避免碰撞。這些車輛還向人工標注員學(xué)習(xí)，以生成更逼真的軌跡。

Waymo的系統(tǒng)是在自動駕駛汽車上11年研究和實驗的成果。在自動駕駛技術(shù)世界中，他們制造汽車的方式有一些阻礙，因為人們表達了對特斯拉系統(tǒng)的偏好，并意識到路上的經(jīng)驗非常寶貴。

不管你的意見是什么，都不可否認谷歌和Waymo在他們的自動駕駛汽車方面投入了瘋狂的工作和技術(shù)。

Waymo還有很長的路要走。。。

Waymo的主要問題之一是其使用地圖的方式：Waymo不能沒有地圖就開車?？梢愿_地繪制整個世界，但對規(guī)?；瘉碚f這是一個巨大的挑戰(zhàn)。

Waymo的主要視覺系統(tǒng)由激光雷達組成，實際上這也是一個很大的問題，激光雷達在雪、雨或霧中完全失明。

因此，Waymo經(jīng)常在亞利桑那州的鳳凰城或加利福尼亞州的舊金山等地方行駛，那里的條件永遠干燥且陽光充足。

Waymo筆記：

最近，Waymo開始在非常潮濕的密歇根州、暴風(fēng)雨的邁阿密和多雨的華盛頓州行駛。

如果你看看特斯拉，其已經(jīng)在紐約市中心和巴黎開過自動駕駛汽車。由于特斯拉的司機們，其已經(jīng)了解了這些地方。規(guī)模化可能要容易得多，畢竟依賴激光雷達可能是一個問題。

Waymo是特斯拉在L5級自動駕駛競賽中的直接競爭對手！