【51CTO.com快譯】開發(fā)和生產(chǎn)自動駕駛汽車所需的技術(shù)是什么?生產(chǎn)商和研究機構(gòu)對這個問題的答案存在著一些分歧。自動駕駛的方法范圍從攝像頭和計算機視覺的組合發(fā)展到計算機視覺和先進(jìn)傳感器的組合。

[[408761]]

特斯拉公司一直是基于視覺的自動駕駛方法的擁護(hù)者，在今年的計算機視覺和模式識別會議(CVPR)上，該公司首席人工智能科學(xué)家Andrej Karpathy解釋了采用這一方法的原因。

在CVPR2021自動駕駛技術(shù)研討會上，領(lǐng)導(dǎo)特斯拉公司自動駕駛技術(shù)開發(fā)工作的Karpathy詳細(xì)介紹了該公司如何開發(fā)只需要視頻輸入就可以了解汽車的周圍環(huán)境的深度學(xué)習(xí)系統(tǒng)。其技術(shù)通過視覺神經(jīng)網(wǎng)絡(luò)非常準(zhǔn)確估計汽車之間距離、速度和加速度。其必要的技術(shù)包括：龐大的車隊數(shù)據(jù)引擎、強大的人工智能團(tuán)隊和超級計算機。他還對為什么特斯拉公司在實現(xiàn)基于視覺的自動駕駛汽車方面處于行業(yè)領(lǐng)先地位進(jìn)行了解釋。

通用計算機視覺系統(tǒng)

深度神經(jīng)網(wǎng)絡(luò)是自動駕駛技術(shù)堆棧的主要組成部分之一。神經(jīng)網(wǎng)絡(luò)通過車載攝像頭來分析道路、標(biāo)志、汽車、障礙物和人員的信息。

但是深度學(xué)習(xí)在檢測圖像中的對象時也會出錯。這就是為什么大多數(shù)自動駕駛汽車公司(其中包括Alphabet的子公司W(wǎng)aymo公司)使用激光雷達(dá)的原因，激光雷達(dá)是一種通過向各個方向發(fā)射激光束來創(chuàng)建汽車周圍3D圖像的設(shè)備，可以提供填補神經(jīng)網(wǎng)絡(luò)空白的補充信息。

然而，將激光雷達(dá)添加到自動駕駛技術(shù)堆棧會帶來其自身的復(fù)雜性。Karpathy說，“這樣的自動駕駛技術(shù)必須采用激光雷達(dá)預(yù)先繪制環(huán)境地圖，然后必須創(chuàng)建高清地圖，需要輸入所有車道及其連接方式以及所有交通燈的信息。而在測試時，只需定位到該地圖即可放心行駛。”

但是，創(chuàng)建自動駕駛汽車將要行駛的每個位置的精確地圖是極其困難的。Karpathy說，“收集、構(gòu)建和維護(hù)這些高清激光雷達(dá)地圖是很困難，而讓這一基礎(chǔ)設(shè)施保持最新狀態(tài)將是極其困難的。”

特斯拉公司因此在其自動駕駛技術(shù)堆棧中沒有使用激光雷達(dá)和高清地圖技術(shù)。他說，“我們根據(jù)圍繞汽車的8個攝像頭拍攝的視頻信息，可以在車內(nèi)處理一切事務(wù)。”

自動駕駛技術(shù)必須弄清楚車道在哪里，交通燈在哪里，交通燈的狀態(tài)是什么，以及哪些信息與車輛相關(guān)。而且它必須做到這一切，而不需要獲得任何關(guān)于其導(dǎo)航的道路的預(yù)定義信息。

Karpathy承認(rèn)，基于視覺的自動駕駛在技術(shù)上更加困難，因為它需要采用神經(jīng)網(wǎng)絡(luò)技術(shù)，而神經(jīng)網(wǎng)絡(luò)僅基于視頻信號就能發(fā)揮難以置信的良好功能。他說，“但是一旦真正讓它工作起來，它就是一個通用的視覺系統(tǒng)，可以部署在地球上的任何地方。”

使用通用視覺系統(tǒng)，自動駕駛汽車將不再需要任何輔助裝備。Karpathy表示，特斯拉公司已經(jīng)在朝著這個方向前進(jìn)。在此之前，該公司的自動駕駛汽車使用激光雷達(dá)和攝像頭的組合進(jìn)行自動駕駛，但該公司已經(jīng)開始銷售不再采用激光雷達(dá)的汽車。

Karpathy說，“我們刪除了激光雷達(dá)，新推出的自動駕駛汽車只靠視覺駕駛。”他補充說，其原因是特斯拉公司的深度學(xué)習(xí)系統(tǒng)的性能已經(jīng)遠(yuǎn)遠(yuǎn)超出了激光雷達(dá)，現(xiàn)在采用激光雷達(dá)反而阻礙其技術(shù)發(fā)展。

監(jiān)督學(xué)習(xí)

而反對純粹計算機視覺方法的主要論點是，在沒有激光雷達(dá)深度圖像技術(shù)的情況下，神經(jīng)網(wǎng)絡(luò)是否可以進(jìn)行測距和估計距離仍存在不確定性。

Karpathy說：“顯然，人類在駕駛時主要依賴視覺，所以人類的神經(jīng)網(wǎng)絡(luò)能夠處理視覺輸入，以了解汽車周圍物體的距離和速度。但最大的問題是我們開發(fā)的神經(jīng)網(wǎng)絡(luò)能否做到同樣的事情。我們一直在努力解決這個問題，我們對于這個問題的回答是肯定的。”

特斯拉公司的工程師為此創(chuàng)建一個深度學(xué)習(xí)系統(tǒng)，該系統(tǒng)可以檢測物體以及距離、速度和加速度。他們將挑戰(zhàn)視為一個監(jiān)督學(xué)習(xí)問題，其中神經(jīng)網(wǎng)絡(luò)在對帶注釋的數(shù)據(jù)進(jìn)行訓(xùn)練之后學(xué)習(xí)檢測對象及其相關(guān)屬性。

為了訓(xùn)練他們的深度學(xué)習(xí)架構(gòu)，特斯拉公司的研發(fā)團(tuán)隊需要一個包含數(shù)百萬個視頻的海量數(shù)據(jù)集，并用它們包含的對象及其屬性仔細(xì)注釋。而為自動駕駛汽車創(chuàng)建數(shù)據(jù)集特別棘手，技術(shù)工程師必須確保包含不經(jīng)常發(fā)生的各種道路狀況和路邊情況。

Karpathy說，“當(dāng)擁有一個龐大、干凈、多樣化的數(shù)據(jù)集，并在其上訓(xùn)練一個大型神經(jīng)網(wǎng)絡(luò)時，在實踐中獲得成功才是有保證的。”

自動標(biāo)記數(shù)據(jù)集

特斯拉公司在全球銷售了數(shù)百萬輛配備攝像頭的汽車，因此在收集訓(xùn)練汽車視覺深度學(xué)習(xí)模型所需的數(shù)據(jù)方面處于有利地位。特斯拉公司自動駕駛技術(shù)開發(fā)團(tuán)隊積累了1.5PB的數(shù)據(jù)，其中包括100萬個10秒視頻和60億個用邊界框、深度和速度標(biāo)注的對象。

但是標(biāo)記這樣的數(shù)據(jù)集是一個巨大的挑戰(zhàn)。一種方法是通過數(shù)據(jù)標(biāo)記公司或Amazon Turk等在線平臺對其進(jìn)行人工注釋。但這需要大量的人工工作，可能會花費更多費用，并且其過程非常緩慢。

與其相反，特斯拉公司的開發(fā)團(tuán)隊使用了一種自動標(biāo)記技術(shù)，該技術(shù)涉及神經(jīng)網(wǎng)絡(luò)、雷達(dá)數(shù)據(jù)和人工審查的組合。由于數(shù)據(jù)集是離線注釋的，其神經(jīng)網(wǎng)絡(luò)可以反復(fù)運行視頻，將它們的預(yù)測與真實情況進(jìn)行比較，并調(diào)整它們的參數(shù)。這與測試時間推理形成對比，而在測試時間推理中，一切都是實時發(fā)生的，深度學(xué)習(xí)模型無法追蹤。

離線標(biāo)記還使技術(shù)工程師能夠應(yīng)用非常強大且計算密集型的對象檢測網(wǎng)絡(luò)，這些網(wǎng)絡(luò)無法部署在汽車上并用于實時、低延遲的應(yīng)用程序。他們使用激光雷達(dá)傳感器數(shù)據(jù)來進(jìn)一步驗證神經(jīng)網(wǎng)絡(luò)的推論。所有這些都提高了標(biāo)記網(wǎng)絡(luò)的精度。

Karpathy說，“如果處于離線狀態(tài)，可以獲得事后分析的好處，因此可以更好地冷靜地融合不同的傳感器數(shù)據(jù)。此外，可以讓人類參與進(jìn)來，他們可以進(jìn)行清理、驗證、編輯等工作。”

根據(jù)Karpathy在CVPR研討會上展示的視頻，對象檢測網(wǎng)絡(luò)在通過碎片、灰塵和雪云環(huán)境的表現(xiàn)保持一致。

特斯拉公司的神經(jīng)網(wǎng)絡(luò)可以在各種能見度條件下始終如一地檢測出現(xiàn)的物體。

Karpathy并沒有說明對自動標(biāo)記系統(tǒng)進(jìn)行最終修正需要多少工作量。但人類認(rèn)知在引導(dǎo)自動標(biāo)記系統(tǒng)朝著正確方向發(fā)展方面發(fā)揮了關(guān)鍵作用。

在開發(fā)數(shù)據(jù)集的過程中，特斯拉公司的開發(fā)團(tuán)隊開發(fā)了200多個觸發(fā)器，并對對象檢測進(jìn)行不斷調(diào)整。其中包括諸如不同攝像頭的檢測結(jié)果之間或攝像頭與激光雷達(dá)之間的不一致等問題。他們還確定了需要特別注意的場景，例如隧道入口和出口以及特殊種類的汽車。

開發(fā)和掌握所有這些觸發(fā)器花了四個月的時間。隨著標(biāo)記網(wǎng)絡(luò)變得越來好，它以“影子模式”部署，這意味著它安裝在自動駕駛車輛中并靜默運行，無需向汽車發(fā)出命令。將網(wǎng)絡(luò)的輸出與傳統(tǒng)網(wǎng)絡(luò)、激光雷達(dá)和駕駛員行為的輸出進(jìn)行比較。

特斯拉公司的開發(fā)團(tuán)隊經(jīng)歷了七次數(shù)據(jù)工程迭代。他們從一個初始數(shù)據(jù)集開始，在該數(shù)據(jù)集上訓(xùn)練神經(jīng)網(wǎng)絡(luò)。然后，他們在真實汽車上以影子模式部署深度學(xué)習(xí)，并使用觸發(fā)器來檢測不一致、錯誤和特殊場景。然后再進(jìn)行修改以糾正錯誤，并在必要時將新數(shù)據(jù)添加到數(shù)據(jù)集中。

Karpathy說，“我們一遍又一遍地進(jìn)行修改和調(diào)整，直到神經(jīng)網(wǎng)絡(luò)變得非常好為止。”

因此，該架構(gòu)可以更好地描述為具有巧妙分工的半自動標(biāo)記系統(tǒng)，其中神經(jīng)網(wǎng)絡(luò)執(zhí)行重復(fù)性工作，工作人員處理高級認(rèn)知問題和極端情況。

有趣的是，當(dāng)一位與會者問Karpathy是否可以自動生成觸發(fā)器時，他說，“生成自動化觸發(fā)器是一個非常棘手的場景，因為可以擁有通用觸發(fā)器，但它們并不會正確表示錯誤模式。例如，很難自動觸發(fā)進(jìn)入和退出隧道的觸發(fā)器。而作為人類是靠自己的直覺處理，這是一個挑戰(zhàn)......目前尚不清楚這將如何運作。”

分層深度學(xué)習(xí)架構(gòu)

特斯拉的自動駕駛開發(fā)團(tuán)隊需要一個非常高效且設(shè)計精良的神經(jīng)網(wǎng)絡(luò)，以充分利用他們收集的高質(zhì)量數(shù)據(jù)集。

該公司創(chuàng)建了一個分層深度學(xué)習(xí)架構(gòu)，由不同的神經(jīng)網(wǎng)絡(luò)組成，這些神經(jīng)網(wǎng)絡(luò)處理信息并將其輸出結(jié)果提供給下一組網(wǎng)絡(luò)。

深度學(xué)習(xí)模型使用卷積神經(jīng)網(wǎng)絡(luò)從安裝在汽車周圍的8個攝像頭的視頻中提取特征，并使用神經(jīng)網(wǎng)絡(luò)將它們?nèi)诤显谝黄稹Ｈ缓髮⑺鼈兛鐣r間進(jìn)行融合，這對于行進(jìn)軌跡預(yù)測和平滑推理不一致性等任務(wù)非常重要。然后將空間和時間特征輸入到神經(jīng)網(wǎng)絡(luò)的分支結(jié)構(gòu)中，Karpathy將其描述為頭部、軀干和終端。

Karpathy說：“采用這種分支結(jié)構(gòu)的原因是因為輸出結(jié)果的數(shù)量巨大，而且不能為每個輸出都配備一個單一的神經(jīng)網(wǎng)絡(luò)。”

層次結(jié)構(gòu)可以為不同的任務(wù)重用組件，并在不同的推理路徑之間實現(xiàn)特征共享。網(wǎng)絡(luò)模塊化架構(gòu)的另一個好處是分布式開發(fā)的可能性。特斯拉公司目前雇傭的機器學(xué)習(xí)工程師團(tuán)隊致力于自動駕駛神經(jīng)網(wǎng)絡(luò)的研究。他們每個人都開發(fā)神經(jīng)網(wǎng)絡(luò)的一個小組件，并將開發(fā)結(jié)果插入到更大的神經(jīng)網(wǎng)絡(luò)中。

Karpathy說，“我們的開發(fā)團(tuán)隊大約有20人，他們正在全身心地訓(xùn)練神經(jīng)網(wǎng)絡(luò)。”

垂直整合

在計算機視覺和模式識別會議(CVPR)的演講中，Karpathy分享了有關(guān)特斯拉公司用來訓(xùn)練和微調(diào)其深度學(xué)習(xí)模型的超級計算機的一些細(xì)節(jié)。

其計算集群由80個節(jié)點組成，每個節(jié)點包含8個具有80GB顯存的Nvidia A100 GPU，總計采用5,760個GPU和超過450TB的內(nèi)存。這臺超級計算機還擁有10PB的NVME超高速存儲和640tbps的網(wǎng)絡(luò)容量，可以連接所有節(jié)點，并允許對神經(jīng)網(wǎng)絡(luò)進(jìn)行高效的分布式訓(xùn)練。

Karpathy說：“特斯拉公司還擁有并制造安裝在其汽車內(nèi)的人工智能芯片。這些芯片是專門為神經(jīng)網(wǎng)絡(luò)設(shè)計的，我們希望它能用于全自動駕駛應(yīng)用。”

特斯拉公司的一大優(yōu)勢在于其垂直整合的特性。特斯拉公司擁有整個自動駕駛汽車技術(shù)堆棧，該公司生產(chǎn)電動汽車和用于自動駕駛功能的硬件。它處于獨特的位置，可以從已銷售的數(shù)百萬輛汽車中收集各種遙測和視頻數(shù)據(jù)。該公司還在其專有數(shù)據(jù)集、其特殊的內(nèi)部計算集群上創(chuàng)建和訓(xùn)練其神經(jīng)網(wǎng)絡(luò)，并通過對其汽車的影子測試來驗證和微調(diào)這些神經(jīng)網(wǎng)絡(luò)。當(dāng)然，該公司還擁有一支由機器學(xué)習(xí)工程師、研究人員和硬件設(shè)計師組成的才華橫溢的團(tuán)隊，可以將所有部分組合在一起。

Karpathy說，“我們可以在該堆棧的所有層進(jìn)行協(xié)同設(shè)計和工程，并且沒有第三方的干涉，可以完全掌握自己的命運，我認(rèn)為這太不可思議了。”

這種創(chuàng)建數(shù)據(jù)、調(diào)整機器學(xué)習(xí)模型并將其部署在許多汽車上的垂直整合和重復(fù)循環(huán)，使特斯拉公司處于實現(xiàn)視覺自動駕駛汽車功能的獨特市場位置。Karpathy在其演講中展示了幾個示例，其中新的神經(jīng)網(wǎng)絡(luò)的性能超過了與激光雷達(dá)信息結(jié)合使用的傳統(tǒng)機器學(xué)習(xí)模型。

正如Karpathy所說，如果這個系統(tǒng)繼續(xù)改進(jìn)，特斯拉公司可能會走上淘汰激光雷達(dá)的道路，而且現(xiàn)在沒有其他公司能夠復(fù)制特斯拉公司的方法。

有待解決的一些問題

但仍然有一些沒有解決的問題，例如，深度學(xué)習(xí)在目前的狀態(tài)下能否克服自動駕駛的所有挑戰(zhàn)?當(dāng)然，對象檢測以及速度和范圍估計在駕駛中起著重要作用。但是人類視覺還執(zhí)行許多其他復(fù)雜的功能，科學(xué)家將其稱為視覺的“暗物質(zhì)”。這些都是對不同環(huán)境的視覺輸入和導(dǎo)航進(jìn)行有意識和潛意識分析的重要組成部分。

深度學(xué)習(xí)模型也難以做出因果推斷，當(dāng)模型面臨他們以前從未見過的新情況時，這可能是一個巨大的障礙。因此，雖然特斯拉公司設(shè)法創(chuàng)建了一個非常龐大和多樣化的數(shù)據(jù)集，但開放的道路也是非常復(fù)雜的環(huán)境，新的和不可預(yù)測的事情隨時可能發(fā)生。

人工智能社區(qū)在是否需要將因果關(guān)系和推理明確集成到深度神經(jīng)網(wǎng)絡(luò)中，或者是否可以通過“直接擬合”克服因果關(guān)系障礙的問題上存在分歧，在這種情況下，大型且分布良好的數(shù)據(jù)集足以達(dá)到通用深度學(xué)習(xí)的水平。特斯拉公司基于視覺的自動駕駛團(tuán)隊似乎更喜歡后者(盡管他們完全控制技術(shù)堆棧，但在未來將會嘗試采用新的神經(jīng)網(wǎng)絡(luò)架構(gòu))。而這項技術(shù)能否經(jīng)受時間的考驗，人們將拭目以待。

原文標(biāo)題：Tesla AI chief explains why self-driving cars don’t need lidar，作者：Ben Dickson

【51CTO譯稿，合作站點轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】