高階自動駕駛系統(tǒng)是下一代智能網(wǎng)聯(lián)汽車必須實(shí)現(xiàn)的課題，不僅需要解決車輛如何實(shí)現(xiàn)自主駕駛，也需要解決當(dāng)前這代自動駕駛無法解決的問題，其中包括功能開發(fā)問題和性能提升問題。比如從最近的蔚來汽車自動駕駛事故中不難看出，要想實(shí)現(xiàn)真正的自動駕駛就需要自動駕駛系統(tǒng)解決當(dāng)前不少的邊緣場景，這些場景都是很大程度上影響系統(tǒng)功能安全的場景內(nèi)容。又如后續(xù)多數(shù)主機(jī)廠想要效仿特斯拉采用類似影子模式進(jìn)行數(shù)據(jù)采集、仿真，那么如何防止在開發(fā)過程中踩坑也是一個值得思考的問題。

另外，針對高階自動駕駛將采用基于SOA的開發(fā)模式進(jìn)行架構(gòu)搭建，因此SOA中將如何提升效率實(shí)現(xiàn)兼顧通用、高效、可靠的目標(biāo)是我們必須要解決的問題。

本文將針對性如上三個比較棘手且亟待解決的問題進(jìn)行詳細(xì)闡述，意在為開發(fā)者提供借鑒。

如何提升靜止目標(biāo)碰撞檢測

從開發(fā)測試角度，我們已經(jīng)收集了不少難解決或可能出現(xiàn)問題的場景。其中，對于靜止目標(biāo)的識別就是其中之一。從全視覺的角度出發(fā)，當(dāng)前成型的自動駕駛產(chǎn)品都是基于單目或三目視覺來進(jìn)行檢測的。而這種檢測方式有著天然無法改變的缺陷，由于該方式是基于深度學(xué)習(xí)的機(jī)器視覺，其表現(xiàn)為識別、分類、探測是放在同一個模塊進(jìn)行的，通常無法將其進(jìn)行分割，也就是說，如果無法將目標(biāo)分類classification，進(jìn)而往往針對某些目標(biāo)就無法進(jìn)行有效探測recognition。這種漏識別就容易導(dǎo)致自動駕駛車輛發(fā)生碰撞。

為了很好的說明無法識別的原因，總結(jié)解決該類問題的方法這里我們需要重點(diǎn)說明下：第一種是訓(xùn)練數(shù)據(jù)集無法完全覆蓋真實(shí)世界的全部目標(biāo)；因?yàn)楹芏囔o止目標(biāo)不一定是標(biāo)準(zhǔn)的車輛，甚至可能是異形車輛、落石、不規(guī)則施工標(biāo)志燈，因此，在開發(fā)階段訓(xùn)練的目標(biāo)類型在很大程度上都無法用于真正的自動駕駛識別場景。

第二種是圖像缺乏紋理特征，紋理特征包含多個像素點(diǎn)的區(qū)域中進(jìn)行統(tǒng)計(jì)計(jì)算，常具有旋轉(zhuǎn)不變性；對于噪聲有較強(qiáng)的抵抗能力；因此，對于一些紋理較少的貨車車廂、白墻等，通過視覺方式都是較難識別出來的。

此外，這里需要解釋一下為什么深度學(xué)習(xí)對靜止目標(biāo)無法做到很好的識別能力。因?yàn)樯疃葘W(xué)習(xí)中的機(jī)器視覺，特別是基于單目攝像頭探測的機(jī)器視覺圖像，會將所有靜止目標(biāo)當(dāng)作背景加以剔除，從而可以很好的選出對視頻理解過程重要的運(yùn)動目標(biāo)，這種方式不僅可以提升識別效率，也可以很好的降低編碼碼率。同時也為了防止誤檢測，也必須將運(yùn)動目標(biāo)和靜止目標(biāo)分開，如有些道路兩側(cè)停滿汽車，運(yùn)動目標(biāo)的優(yōu)先級自然高于靜止目標(biāo)，然后再去識別，通常是背景減除、三幀法或光流法，通常情況下這類識別算法需要耗費(fèi)1-2秒時間，然而對于實(shí)時性要求較高的自動駕駛而言，這段時間就可能已經(jīng)發(fā)生碰撞事故了。

因此，為了解決如上識別性能缺陷，就需要從根本原因上解決深度學(xué)習(xí)不足所帶來的問題。機(jī)器視覺主要有兩種學(xué)習(xí)匹配模式，一種是手工模型，一種就是深度學(xué)習(xí)，通常都是采用后者進(jìn)行圖像識別和分類。由于深度學(xué)習(xí)主要是通過分割再擬合，原則上它要遍歷每一個像素，對訓(xùn)練好的模型做數(shù)十億次的乘積累加并設(shè)置不同的權(quán)重值來做對比，區(qū)別于人類視覺，機(jī)器視覺是非整體性的。從本質(zhì)上講，深度學(xué)習(xí)是一種利用采集數(shù)據(jù)點(diǎn)，通過與已有數(shù)據(jù)庫進(jìn)行有效匹配，擬合出無限接近于實(shí)際的曲線函數(shù)，從而能夠識別出期望被識別出來的環(huán)境目標(biāo)，推斷趨勢并針對各類問題給出預(yù)測性結(jié)果。當(dāng)然，曲線擬合在表示給定數(shù)據(jù)集時也存在一定風(fēng)險，這就是擬合誤差。具體來講，算法可能無法識別數(shù)據(jù)的正常波動，最終為了擬合度而將噪音視為有效信息。因此想要真正解決對于這類異常環(huán)境目標(biāo)的識別能力，僅僅依靠提升SOC芯片的AI加速器能力來解決是不明智的。因?yàn)锳I加速器也僅僅是解決了MAC乘積累加計(jì)算模塊的加速運(yùn)算能力而已。

要想真正解決這類識別或匹配誤差問題，下一代高性能自動駕駛系統(tǒng)通常采用多傳感器融合的方式（毫米波雷達(dá)、激光雷達(dá)）或采用多目攝像頭檢測的方式進(jìn)行優(yōu)化。做過駕駛輔助系統(tǒng)開發(fā)的設(shè)計(jì)師應(yīng)該清楚，對于依靠當(dāng)前這代毫米波雷達(dá)由于對于金屬物體十分敏感，在檢測的物體過程中通常是規(guī)避因?yàn)檎`檢而導(dǎo)致AEB的誤觸發(fā)的。因此，很多靜止目標(biāo)通常會被濾掉，同時，對于一些底盤較高的大貨車或者特種操作車，往往會因?yàn)楹撩撞ɡ走_(dá)高度問題導(dǎo)致檢測不到目標(biāo)而漏檢。

需要利用傳統(tǒng)辦法（或稱非深度學(xué)習(xí)算法）進(jìn)行三位目標(biāo)重建，通常這可以采用激光雷達(dá)或高分辨率4D毫米波雷達(dá)來進(jìn)行點(diǎn)云重建或雙目攝像頭進(jìn)行光流追蹤來實(shí)現(xiàn)優(yōu)化。對于基于激光雷達(dá)檢測目標(biāo)的方法，其原理是發(fā)射探測信號(激光束)，然后將接收到的從目標(biāo)反射回來的信號(目標(biāo)回波)與發(fā)射信號進(jìn)行比較,作適當(dāng)處理后,來獲得目標(biāo)的有關(guān)信息，因此對于回波的點(diǎn)云匹配本身也是一種深度學(xué)習(xí)過程，只不過這個過程相對于彈幕圖像識別的分割、匹配更快些。

雙目視覺的方式對靜態(tài)目標(biāo)的檢測是依賴視差圖像來進(jìn)行的，這種以來純幾何關(guān)系的視差圖是可以較為精確的定位該靜態(tài)目標(biāo)位置的。很多時候單目視覺對于顛簸的路況、明暗對比非常強(qiáng)烈的路況、一些破損的路況中的遠(yuǎn)距離的物體，可以完成檢測，但是三維恢復(fù)會存在很多不確定性。而立體相機(jī)可以與深度學(xué)習(xí)融合，將立體點(diǎn)云與圖像的RGB信息以及紋理信息融合，有利于進(jìn)行遠(yuǎn)距離目標(biāo)的識別及3D測量。

深度學(xué)習(xí)可以更精細(xì)更穩(wěn)定地檢測常見的道路參與者，綜合多種特征，有利于更遠(yuǎn)地發(fā)現(xiàn)道路參與者。而立體視覺則可以同時實(shí)現(xiàn)3D測量與基于點(diǎn)云檢測全道路參與者，不受物體類型限制，不受安裝位置與姿態(tài)限制，動態(tài)測距更加穩(wěn)定，泛化能力更好。我們將立體視覺和深度學(xué)習(xí)結(jié)合起來，可以在更遠(yuǎn)的距離發(fā)現(xiàn)目標(biāo)，同時能夠利用立體視覺進(jìn)行三維刻畫。

如上這些算法要么比較依賴CPU進(jìn)行的邏輯運(yùn)算包括實(shí)現(xiàn)卡爾曼濾波、平滑運(yùn)算、梯度處理，要么依賴于GPU進(jìn)行的圖像深度學(xué)習(xí)處理。因此，下一代高階自動駕駛域控系統(tǒng)需要具備很好的運(yùn)算處理能力才就能確保其性能滿足要求。

影子模式能否完美破局

當(dāng)前，各主機(jī)廠或Tier1在研發(fā)下一代高階自動駕駛系統(tǒng)時往往無法很全面覆蓋環(huán)境中可能發(fā)生突變的各種工況，而這種初具規(guī)模的數(shù)據(jù)覆蓋往往會依賴于高質(zhì)量的數(shù)據(jù)采集、處理，這里我們通常稱之為極端場景的數(shù)據(jù)覆蓋。如何將大量極端場景數(shù)據(jù)采集并回傳至自動駕駛后臺是我們需要解決的重要問題，也是評價后續(xù)自動駕駛系統(tǒng)能否完美破局的關(guān)鍵要素。

特斯拉的影子模式開創(chuàng)了有效的數(shù)據(jù)采集先河。對于“影子模式”的定義在于，在手動駕駛狀態(tài)下，系統(tǒng)及其周邊傳感器仍然運(yùn)行但并不參與車輛控制，只是對決策算法進(jìn)行驗(yàn)證，也即系統(tǒng)的算法在“影子模式”下做持續(xù)模擬決策，并且把決策與駕駛員的行為進(jìn)行對比，一旦兩者不一致，該場景便被判定為“極端工況”，進(jìn)而觸發(fā)數(shù)據(jù)回傳。

但是如果要好好了解影子模式還需要重點(diǎn)解決如下問題。

1、影子模式如何提供更多更大范圍的極端工況探測采集，包含標(biāo)注和非標(biāo)注的訓(xùn)練場景

由于影子模式通常是數(shù)據(jù)采集、處理中的一部分，除利用控制端的軌跡差異進(jìn)行觸發(fā)數(shù)據(jù)記錄外，其余工作模式下并不直接應(yīng)用于數(shù)據(jù)記錄。如果自動駕駛需要高效快速的應(yīng)用上影子模式的方法，則需要則需要在其采集過程中同時布局深度神經(jīng)網(wǎng)絡(luò)，貫穿于整個控制過程中（包括實(shí)現(xiàn)整個感知、預(yù)測、規(guī)劃和控制的整個模塊）。更加實(shí)用的影子模式需要擴(kuò)寬其工作范圍，這就要求不僅僅是比對軌跡才能觸發(fā)數(shù)據(jù)記錄及回傳，像諸如感知目標(biāo)差異、融合目標(biāo)差異等均可觸發(fā)數(shù)據(jù)記錄及回傳。這一過程就需要根據(jù)實(shí)際采集的端口定義相應(yīng)的數(shù)據(jù)采集單元，這些單元均可以工作在自動駕駛或人工駕駛模式下，僅僅作為數(shù)據(jù)采集、記錄、回傳的硬件，不對車輛控制產(chǎn)生影響。

2、芯片選型及傳感器配置對于影子模式的支持度是否符合預(yù)期

對于自動駕駛開發(fā)而言，我們期望影子模式僅僅是一些資源占用度較少的簡單邏輯運(yùn)算，且激活影子模式過程中也不會增加后臺處理時延。如果下一代高階自動駕駛想要基于影子模式實(shí)現(xiàn)數(shù)據(jù)采標(biāo)，則必須考慮專門為影子系統(tǒng)額外配置一顆芯片，或者在多顆芯片的域控系統(tǒng)中拆分出某塊芯片中的摸個模塊專門用來做影子算法訓(xùn)練。

此外，之前的影子系統(tǒng)通常是跑在L2+系統(tǒng)上的，其采標(biāo)的傳感器類型往往比較單一，如一般的公司都是采用了5R1V的方式進(jìn)行數(shù)據(jù)采標(biāo)，高級一點(diǎn)的，可能有配置單個激光雷達(dá)（當(dāng)前國內(nèi)量產(chǎn)或即將量產(chǎn)的企業(yè)還未有該配置），這種傳感器配置采集的數(shù)據(jù)是否直接可以應(yīng)用于下一代高階自動駕駛系統(tǒng)，這是不確定的。因?yàn)椋瑔蝹€或較少傳感器對于環(huán)境工況的預(yù)判和系統(tǒng)的執(zhí)行能力和多傳感器是由較大差別的。因此，當(dāng)升級后的高階自動駕駛系統(tǒng)，其傳感器能力對于整個系統(tǒng)的歸控來講肯定是上了一個臺階。因此，后續(xù)自動駕駛系統(tǒng)是否還能應(yīng)用先前L2級別下采集的場景數(shù)據(jù)，或只能部分應(yīng)用，這是需要重新設(shè)計(jì)規(guī)劃的。

3、需要采用何種標(biāo)準(zhǔn)的判斷方法實(shí)現(xiàn)最科學(xué)有效的數(shù)據(jù)回傳

影子模式的觸發(fā)前提是認(rèn)為駕駛員對車輛的操作一定是正確且客觀的，因?yàn)榧俣ㄔ谌藶轳{駛模式下，系統(tǒng)對環(huán)境的判斷能力一定不如駕駛員。然而事實(shí)真的如此么？當(dāng)然不全是。比如駕駛員看到前方道路上有較多的泥土怕弄臟車輪影響車外觀而選擇換道避開行駛，而系統(tǒng)確不會因?yàn)檫@種原因而觸發(fā)自動換道系統(tǒng)，此時如果以駕駛員的車控方式作為標(biāo)準(zhǔn)判斷其正確性，那么系統(tǒng)肯定是錯了，此時觸發(fā)數(shù)據(jù)采標(biāo)、回傳，其實(shí)是沒有意義或者說不準(zhǔn)確的。因此，可以從另一個角度上說，在整個自動駕駛控制系統(tǒng)鏈路中，駕駛員的規(guī)律性駕駛行為可能是一種駕駛偏向，這種數(shù)據(jù)采標(biāo)、回傳的觸發(fā)模式實(shí)際是為了提升駕駛體驗(yàn)感的一種方法模式而已。

4、影子模式對問題的定位需要進(jìn)一步提升精確度

由于影子模式是面向可視化的駕駛端進(jìn)行的，這種對問題的定位方式往往是采用逆向追溯方式從執(zhí)行端的視角來看待問題的。當(dāng)控制執(zhí)行過程出現(xiàn)問題時，往往會順勢往后推是否時決策端的問題，如果決策端無任何問題，才會持續(xù)往前推是否是軌跡預(yù)測端，進(jìn)一步推及是否是感知端問題。此外，感知端也是一個廣義的概念，它包括了真正的場景感知和后續(xù)融合系統(tǒng)，如果場景感知出現(xiàn)了問題，但通過融合系統(tǒng)的一系列魯棒性算法處理，規(guī)避掉了該感知錯誤所帶來的誤決策等問題，則需要單獨(dú)將這類異常感知場景給篩選出來。

為了把這種場景的數(shù)據(jù)篩選出來，就需要持續(xù)記錄感知到規(guī)劃各端的數(shù)據(jù)之間的跳變情況，某兩端之間較大的跳變就觸發(fā)數(shù)據(jù)回傳，當(dāng)然整個過程的計(jì)算量會很大。目前自動駕駛系統(tǒng)的整體感知能力仍然十分受限，誤感知導(dǎo)致誤決策的場景仍然時有發(fā)生，而即便正確感知也可能導(dǎo)致誤執(zhí)行，這種情況下需要影子系統(tǒng)在收集到的“預(yù)測/決策失靈”場景數(shù)據(jù)時就需要細(xì)化顆粒度，排除對于無效數(shù)據(jù)的采標(biāo)與回傳，這樣既可以節(jié)省流量，也可以節(jié)省存儲空間。

5、是否建立了自動駕駛系統(tǒng)數(shù)據(jù)的仿真應(yīng)用能力

數(shù)據(jù)回傳后的使用方法是利用其進(jìn)行深度學(xué)習(xí)和數(shù)據(jù)匹配優(yōu)化，而這一過程需要首先依賴該場景來搭建仿真系統(tǒng)，在仿真系統(tǒng)中輸入相應(yīng)的場景檢測參數(shù)進(jìn)行算法訓(xùn)練優(yōu)化。然而，實(shí)際情況是，當(dāng)前能夠有效利用道路實(shí)測數(shù)據(jù)來做仿真的能力是要求比較高的。各大主機(jī)廠、檢測機(jī)構(gòu)、tier1仍舊不是完全具備這樣的能力來完成或者能力不夠成熟等。

架構(gòu)升級會帶來怎樣的開發(fā)問題

高階自動駕駛需要融合車路協(xié)同、邊緣計(jì)算、云端服務(wù)等多種應(yīng)用場景，且需要具備一定的可擴(kuò)展性、通用性、自主進(jìn)化性。當(dāng)前電子電氣架構(gòu)和軟件平臺架構(gòu)很難解決這些需求，當(dāng)前車載SOA則可以很好的解決如上問題。SOA源自于IT領(lǐng)域，車載SOA環(huán)境下最優(yōu)的實(shí)現(xiàn)方式應(yīng)該是繼承成熟的基于以太網(wǎng)實(shí)現(xiàn)高內(nèi)聚、低耦合的思路。

由此，基于SOA架構(gòu)的設(shè)計(jì)高階自動駕駛系統(tǒng)過程的重點(diǎn)在于實(shí)現(xiàn)如下功能：

1、服務(wù)通信標(biāo)準(zhǔn)化，即面向服務(wù)的通信

SOME/IP采用了RPC(Remote Procedure Call)機(jī)制，繼承了“服務(wù)器-客戶端”的模型。SOME/IP可以讓客戶端及時地找到服務(wù)端，并訂閱其感興趣的服務(wù)內(nèi)容?？蛻舳丝梢杂?ldquo;需求-響應(yīng)”、“防火墻”的模型訪問服務(wù)器所提供的服務(wù)，服務(wù)可以利用通知的方式推送給客戶已經(jīng)訂閱的服務(wù)內(nèi)容，這就基本解決了服務(wù)通信的問題。

然而，基于SOA架構(gòu)的通信標(biāo)準(zhǔn)SOME/IP有兩大缺陷：

a) 只定義了比較基礎(chǔ)的規(guī)范，應(yīng)用互操作性難以得到保證。

b) 難以應(yīng)對大數(shù)據(jù)，高并發(fā)的場景。由于缺少對象序列化的能力，SOME/IP軟件互操作性容易產(chǎn)生問題。SOME/IP不支持共享存儲，基于廣播的1對多通信，在自動駕駛場景下，性能可能成為問題。

2、SOA架構(gòu)需要對服務(wù)進(jìn)行劃分，以服務(wù)重用、靈活重組為目的的服務(wù)劃分，即面向服務(wù)的重用共享設(shè)計(jì)。

需要將SOA的系統(tǒng)-軟件開發(fā)過程應(yīng)用于整車功能邏輯的定義中去，架構(gòu)會主導(dǎo)或者參與到需求開發(fā)、功能定義、功能實(shí)現(xiàn)、子系統(tǒng)設(shè)計(jì)、零部件設(shè)計(jì)等過程中去，面向服務(wù)的重用設(shè)計(jì)實(shí)現(xiàn)需要能夠貫穿始終，并最終在功能實(shí)現(xiàn)的環(huán)節(jié)體現(xiàn)出來。

這里需要說明的是服務(wù)重用涉及到原有系統(tǒng)的切割和新系統(tǒng)的重建，隨著規(guī)模的擴(kuò)大和新功能的增加，以信息為基礎(chǔ)的通信將會增長，如此以來，在預(yù)計(jì)之外的情況將開始經(jīng)歷一個重大的處理反應(yīng)期，這個反應(yīng)期可能造成數(shù)據(jù)訪問延遲。而自動駕駛系統(tǒng)對于實(shí)時性要求極高，這也是SOA應(yīng)用的最大局限性問題。

此外，對于SOA的軟件實(shí)現(xiàn)而言，基于服務(wù)的軟件架構(gòu)搭建過程中需要充分考慮是否可承載和適配面向服務(wù)的通信設(shè)計(jì)及面向服務(wù)的重組實(shí)現(xiàn)問題。

下一代高階自動駕駛系統(tǒng)無非需要解決兩類問題：我在哪兒，我要去哪兒？在這兩類問題中一類依賴于地圖定位，另一類依賴于導(dǎo)航控制。而基礎(chǔ)架構(gòu)是建立面向服務(wù)的設(shè)計(jì)能力，SOA的架構(gòu)應(yīng)運(yùn)而生。如何在新架構(gòu)下實(shí)現(xiàn)高階自動駕駛系統(tǒng)功能的完美破局，將整體功能體驗(yàn)和性能提升到一個新高度是自動駕駛研發(fā)人需要重點(diǎn)突破的問題。無論從整體的開發(fā)方式，感知性能上都應(yīng)該做到量變到質(zhì)變的過程。這條路上還有很多亟待解決的問題，我們需要不斷地個個解決之。