綜述 | 尋找自動(dòng)駕駛中的關(guān)鍵場(chǎng)景
arXiv在2021年10月16日上傳論文“Finding Critical Scenarios for Automated Driving Systems: A Systematic Literature Review“,作者來自瑞典和奧地利的幾個(gè)研究機(jī)構(gòu)和高校。
基于場(chǎng)景的方法在自動(dòng)駕駛系統(tǒng)研究和工程中受到了極大的關(guān)注。由于駕駛環(huán)境的復(fù)雜性和不確定性,以及駕駛?cè)蝿?wù)本身的復(fù)雜性,自動(dòng)駕駛系統(tǒng)(ADS)或高級(jí)駕駛輔助系統(tǒng)(ADAS)可能遇到的駕駛場(chǎng)景數(shù)量幾乎是無限的。因此,必須做場(chǎng)景識(shí)別,特別是那些不考慮則有無法接受風(fēng)險(xiǎn)的關(guān)鍵場(chǎng)景。關(guān)鍵場(chǎng)景對(duì)于設(shè)計(jì)、確認(rèn)和驗(yàn)證(V&V,verification and validation)工作以及安全基礎(chǔ)等尤為重要。本文對(duì)此做了一個(gè)文獻(xiàn)綜述,主要包括:(i) 一個(gè)關(guān)鍵場(chǎng)景識(shí)別方法的分類;(ii) 基于分類法的最新研究,2017 年至 2020 年的 86 篇論文;(iii) 確定未解決的問題和進(jìn)一步研究的方向。該分類法的三個(gè)主要觀點(diǎn),是問題定義(原因)、解決方案(派生場(chǎng)景的方法)以及已建立場(chǎng)景的評(píng)估。此外,討論一些開放研究問題,即覆蓋范圍、實(shí)用性和場(chǎng)景空間探索等。這里安全作為特定的操作設(shè)計(jì)域 (ODD) 、功能安全 (FuSa) 和預(yù)期功能安全 (SOTIF) 的組合。如圖所示是潛在危害之源
:
功能不足會(huì)導(dǎo)致該功能在某種觸發(fā)條件(例如眩光)下出現(xiàn)意外行為(例如對(duì)前方車輛的錯(cuò)誤檢測(cè))。如果下游功能(例如目標(biāo)跟蹤和傳感器融合)的容錯(cuò)不能解決這種意外行為,則可能會(huì)傳播到車輛級(jí)危險(xiǎn)(例如未能檢測(cè)到行人造成未及時(shí)啟動(dòng)制動(dòng) )。對(duì)場(chǎng)景和景象做定義:“場(chǎng)景(scenario)描述了一系列場(chǎng)景中幾個(gè)景象之間的時(shí)間發(fā)展。每個(gè)場(chǎng)景都從一個(gè)初始景象開始。可以指定行動(dòng)和事件以及目標(biāo)和價(jià)值來表征場(chǎng)景的這種時(shí)間發(fā)展。不是一個(gè)景象,一個(gè)場(chǎng)景跨越一定的時(shí)間?!?如上圖所示,可以通過一組影響因素來描述場(chǎng)景。“景象(scene)描述了環(huán)境的快照,包括景色(scenery)和可移動(dòng)目標(biāo),以及所有行動(dòng)者和觀察者的自我表現(xiàn),以及這些實(shí)體之間的關(guān)系。只有模擬世界中的景象表示才能包羅萬象(客觀景象、真值)?,F(xiàn)實(shí)世界中這是不完整不正確不確定的,是從一個(gè)或多個(gè)觀察者的角度來看(主觀景象)。”所有符合相同描述的相關(guān)場(chǎng)景,組成一個(gè)場(chǎng)景空間。一個(gè)重要場(chǎng)景空間,是操作設(shè)計(jì)域(ODD),其中要求自車應(yīng)該安全行駛。ODD定義:“給定駕駛自動(dòng)化系統(tǒng)或其功能,專門用于運(yùn)行的操作條件,包括但不限于環(huán)境、地理和時(shí)間限制,和/或某些必要的存在或不存在的交通或道路特征”。ODD 本質(zhì)上定義了操作環(huán)境,而ADS 就是針對(duì)該環(huán)境設(shè)計(jì)的。德國(guó)Pegasus項(xiàng)目定義一個(gè)6-層場(chǎng)景描述模型,如下表所示:
場(chǎng)景表示包含三層抽象,即功能場(chǎng)景、邏輯場(chǎng)景和具體場(chǎng)景。功能場(chǎng)景和邏輯場(chǎng)景在兩個(gè)不同的抽象層次上描述場(chǎng)景空間,而具體場(chǎng)景描述特定場(chǎng)景。根據(jù)一個(gè)具體場(chǎng)景,采用OpenX(OpenDRIVE, OpenSCENARIO),可以構(gòu)建一個(gè)可執(zhí)行的場(chǎng)景??梢允欠抡婺P?,也可以是真實(shí)的測(cè)試??蓤?zhí)行場(chǎng)景是指來自相機(jī)的圖像或來自 LiDAR 的點(diǎn)云。如圖描繪了三個(gè)抽象層次之間的轉(zhuǎn)換:支持功能場(chǎng)景形式化的是邏輯 ODD,即一個(gè)參數(shù)化的ODD描述;來自 ODD 定義的輸入,功能場(chǎng)景被形式化和參數(shù)化為有所有參數(shù)定義及值范圍的邏輯場(chǎng)景;即使形式化的邏輯場(chǎng)景比功能場(chǎng)景包含更多的信息,其代表的場(chǎng)景空間更小一些,因?yàn)椴⒎撬杏绊懸蛩囟伎赡鼙蛔R(shí)別和考慮。
很多情況下,極端場(chǎng)景(corner case )和邊緣場(chǎng)景(edge case)是相關(guān)的術(shù)語,通常用作同義詞。發(fā)生的概率是二者之間最顯著的差異。corner case是正常操作參數(shù)和罕見/異常情況的組合。并非所有edge case都是corner case,反之亦然。只有罕見和新的條件下特殊組合的corner case才被視為edge case。關(guān)鍵場(chǎng)景(Critical scenario)定義為系統(tǒng)設(shè)計(jì)、安全分析、驗(yàn)證或確認(rèn)的相關(guān)場(chǎng)景,具有潛在的危害風(fēng)險(xiǎn)。觸發(fā)條件和安全-緊要操作情況是 ODD 中關(guān)鍵場(chǎng)景的兩個(gè)主要組成部分。因此,未知的關(guān)鍵場(chǎng)景可能源于這兩個(gè)部分,如圖所示:
標(biāo)準(zhǔn)ISO/PAS 21448的一個(gè)主要目標(biāo)是識(shí)別未知的關(guān)鍵場(chǎng)景,然后使其安全。此外,標(biāo)準(zhǔn)ISO/PAS 21448的附錄 B2 進(jìn)一步假設(shè)場(chǎng)景條件/情況可以建模為幾個(gè)有影響情景因素的組合(例如,大雨、眩光、路面濕滑、另一輛車突然切入、等等)。在這個(gè)假設(shè)下,未知的關(guān)鍵情景可以歸因于未知的場(chǎng)景因素或已知場(chǎng)景因素的未知組合。為此,關(guān)鍵場(chǎng)景識(shí)別 (CSI,Critical Scenario Identification) 方法被定義為查找觸發(fā)條件、安全-緊要操作情況或?qū)?dǎo)致傷害的兩者組合方法。ODD 定義被認(rèn)為是 CSI 方法的輸入來劃定場(chǎng)景空間。一個(gè)保證預(yù)功能安全的迭代過程如圖所示:識(shí)別出的關(guān)鍵場(chǎng)景將支持自動(dòng)駕駛功能的細(xì)化,使ADS 更安全。
它們還可能有助于ODD 定義的完整,尤其當(dāng)確定的關(guān)鍵場(chǎng)景指向 ODD 定義中未考慮的方面。同時(shí),功能細(xì)化也可能導(dǎo)致 ODD 變化,在下一次迭代中啟動(dòng)新的 CSI 過程。
如圖是關(guān)鍵場(chǎng)景識(shí)別(CSI)方法分級(jí)的類別結(jié)構(gòu):
采用以下三個(gè)基本類來構(gòu)建CSI 方法:下面的子類見上圖(左、中、右)
- 問題定義:識(shí)別什么樣的場(chǎng)景?為什么這些場(chǎng)景很重要?
- 解決方案:應(yīng)用哪些技術(shù)來識(shí)別關(guān)鍵場(chǎng)景?需要什么外部信息/數(shù)據(jù)?
- 評(píng)估:如何評(píng)估方法和關(guān)鍵場(chǎng)景的有效性?
開發(fā)中V-模型每個(gè)階段的關(guān)鍵場(chǎng)景如圖所示:圖中的灰色框列出了識(shí)別出的關(guān)鍵場(chǎng)景在相應(yīng)開發(fā)階段可以支持的內(nèi)容。
需求分析:在 ISO 26262 中,危害分析和風(fēng)險(xiǎn)評(píng)估 (HARA,Hazard Analysis and Risk Assessment ) 是識(shí)別所有潛在危害事件的重要步驟。如圖所示,每個(gè)危險(xiǎn)事件都是危險(xiǎn)和操作條件的組合。確定的撞前功能場(chǎng)景可以用作HARA 的所有操作條件集。系統(tǒng)設(shè)計(jì):決定系統(tǒng)配置和分解車輛級(jí)別需求到組件級(jí)別。組件設(shè)計(jì):由于不同的自動(dòng)駕駛功能可能對(duì)不同的環(huán)境因素敏感,因此通常在組件層而非車輛層分析影響因素。組件和系統(tǒng)驗(yàn)證:生成的測(cè)試用例用于驗(yàn)證整個(gè)自動(dòng)駕駛系統(tǒng)或特定的功能。系統(tǒng)確認(rèn):一種常見的驗(yàn)證(validation)方法是通過蒙特卡羅模擬來估計(jì)事故率或故障率。由于關(guān)鍵場(chǎng)景相對(duì)較少,小樣本量的蒙特卡羅模擬可能會(huì)導(dǎo)致關(guān)鍵場(chǎng)景的覆蓋率較差,增加估計(jì)誤差。作為蒙特卡羅模擬的一種變型,重要采樣(IS)為關(guān)鍵但相對(duì)罕見的場(chǎng)景分配更多樣本來減少估計(jì)誤差。因此,重要抽樣(IS)方法意味著識(shí)別的關(guān)鍵場(chǎng)景或關(guān)鍵區(qū)域作為輸入。根據(jù)問題定義和解決方案,CSI方法分成5個(gè)類群(clusters):
- C1 探索沒有參數(shù)軌跡的邏輯場(chǎng)景;
- C2 探索有參數(shù)軌跡的邏輯場(chǎng)景;
- C3 歸納推理;
- C4 演繹推理;
- C5 基于計(jì)算機(jī)視覺(CV)的函數(shù)找到關(guān)鍵景象。
下面先說C1群。
假設(shè)參數(shù)對(duì)于所有實(shí)例(即具體場(chǎng)景)具有固定值,例如場(chǎng)景中的車輛數(shù)量和車道數(shù)量;感興趣的參數(shù)構(gòu)建要探索的場(chǎng)景空間,這些參數(shù)包括隨時(shí)間恒定的參數(shù)(例如天氣狀況或道路上靜止障礙物的位置)和隨時(shí)間變化的參數(shù)(例如周圍車輛的速度或感知誤差)。如果參數(shù)隨時(shí)間變化,則可以將其表示為參數(shù)軌跡。參數(shù)值可以是分類的(例如天氣、顏色和車輛模型)或數(shù)字的。數(shù)值可以是連續(xù)的(例如速度、航向和傳感器噪聲)或離散的(例如其他車輛的數(shù)量、車道數(shù)量和速度限制)。在C1類,具體關(guān)鍵具體場(chǎng)景的確認(rèn)看成是設(shè)計(jì)空間探索(DSE)或基于搜索的測(cè)試(SBT)問題,其流程圖如圖所示:
給定一個(gè)邏輯場(chǎng)景,用參數(shù)空間探索方法生成一組具體場(chǎng)景。在這些生成的具體場(chǎng)景中,用預(yù)定義的關(guān)鍵性評(píng)估方法識(shí)別關(guān)鍵場(chǎng)景。 關(guān)鍵性評(píng)估可以看作是將場(chǎng)景空間一個(gè)點(diǎn)映射到評(píng)分空間中一個(gè)點(diǎn)的函數(shù)。評(píng)分空間是對(duì)具體場(chǎng)景的關(guān)鍵性定量評(píng)估。評(píng)估是通過替代測(cè)量來實(shí)現(xiàn)的,因?yàn)殛P(guān)鍵性很難直接測(cè)量。如圖列出C1類中關(guān)鍵場(chǎng)景識(shí)別(CSI)中所有場(chǎng)景空間探索方法:可以分為兩種類型,即(1)天真型搜索(即采樣和組合測(cè)試)和(2)指導(dǎo)型搜索(即基于優(yōu)化和學(xué)習(xí)的測(cè)試)。
場(chǎng)景探索的一種天真方法是在場(chǎng)景空間中隨機(jī)或系統(tǒng)地搜索。換句話說,樣本是相互獨(dú)立的。因此,這些方法可以并行實(shí)施以減少探索時(shí)間。然而,如果關(guān)鍵場(chǎng)景很少見,這些方法可能效率低下,因?yàn)椴蓸拥疥P(guān)鍵場(chǎng)景的概率很低。另一方面,指導(dǎo)搜索方法具有更高效的潛力,因?yàn)槊看蔚乃阉鞣较蚋鶕?jù)前一次迭代的搜索結(jié)果進(jìn)行調(diào)整,將探索收斂到關(guān)鍵區(qū)域。采樣方法在邏輯場(chǎng)景空間隨機(jī)分配每個(gè)參數(shù)值來實(shí)例化具體場(chǎng)景。根據(jù)參數(shù)的概率分布統(tǒng)計(jì)抽取預(yù)定數(shù)的樣本,其抽樣大小由模擬所需的覆蓋范圍和計(jì)算時(shí)間決定。使用的采樣方法總結(jié)如圖所示:根據(jù)邏輯場(chǎng)景的參數(shù)描述,根據(jù)是否考慮參數(shù)分布,對(duì)采樣方法進(jìn)行分類;如果沒有提到參數(shù)分布,假設(shè)采用均勻分布。
組合測(cè)試(CT)是一種常用的軟件測(cè)試方法,專注于識(shí)別僅由特定輸入組合觸發(fā)的故障。CT 的核心是生成滿足 N-wise 覆蓋(注:給定一個(gè)感興趣系統(tǒng)模型,包含參數(shù)列表、取值和約束來定義參數(shù)交互,那么N-wise 覆蓋表明所有參數(shù)值的 N 元組必須至少測(cè)試一次)的最小測(cè)試用例集(即覆蓋數(shù)組)。在 自動(dòng)駕駛的CSI 的背景下,CT 可用于發(fā)現(xiàn)可能使自動(dòng)駕駛或特定 自動(dòng)駕駛功能失效的影響因素未知組合。CSI 方法也可表述為優(yōu)化問題,通常包含四個(gè)部分,即設(shè)計(jì)變量、約束、目標(biāo)函數(shù)和優(yōu)化器(即求解器)。基于學(xué)習(xí)的測(cè)試方法旨在將模型檢查算法與有效的模型推理算法相結(jié)合,并將兩者與感興趣系統(tǒng)集成在一個(gè)迭代循環(huán)中,自動(dòng)生成大量高質(zhì)量的測(cè)試用例。它會(huì)訓(xùn)練代理模型在優(yōu)化過程中學(xué)習(xí)系統(tǒng)的屬性??梢酝ㄟ^最大化場(chǎng)景空間或評(píng)分空間中樣本之間距離來優(yōu)化多樣性。從上述 CSI 方法獲得具體場(chǎng)景后,基于測(cè)試的方法可以驗(yàn)證派生場(chǎng)景的關(guān)鍵性,如圖所示:
在關(guān)鍵性評(píng)估階段,大多數(shù)研究利用 X-in-loop仿真來估計(jì)具體場(chǎng)景的關(guān)鍵性,其中 X 將系統(tǒng) 的模型、軟件或硬件表示為黑盒。也可以不在X-in-loop模擬的情況下評(píng)估關(guān)鍵性。驗(yàn)證可以通過現(xiàn)實(shí)世界的測(cè)試來實(shí)現(xiàn),以分析探索方法的性能。對(duì)于安全論證,在探索邏輯場(chǎng)景時(shí)必須考慮覆蓋范圍。然而,并非所有主要研究都明確討論了覆蓋范圍。對(duì)覆蓋范圍的考慮,以及增加該類方法群已識(shí)別關(guān)鍵場(chǎng)景多樣性的機(jī)制,總結(jié)如圖所示:
C1群沒有考慮運(yùn)動(dòng)軌跡,會(huì)有不少限制。在C2群,這個(gè)參數(shù)軌跡會(huì)作為場(chǎng)景參數(shù)來探索。
如圖是C2群中各種邏輯場(chǎng)景實(shí)例方法一覽:
場(chǎng)景模型包括一組參數(shù)。其中一些具有預(yù)定義值(假設(shè)的參數(shù)),而其他(感興趣的參數(shù))應(yīng)優(yōu)化以找到關(guān)鍵具體場(chǎng)景,如圖所示。假設(shè)參數(shù)的例子比如,其他參與者的數(shù)量(運(yùn)動(dòng)交通參與者)、車道數(shù)和人行橫道的位置等。探索的方法基本分成優(yōu)化、路徑規(guī)劃和強(qiáng)化學(xué)習(xí)等。關(guān)鍵性評(píng)估定義系統(tǒng)是否能滿足其要求。該評(píng)估可以根據(jù)確定故障的替代措施以及分析故障的避免性進(jìn)行分類。比如:基于碰撞、基于規(guī)定、考慮避障和不考慮避障等。
在C3群(歸納推理)中主要數(shù)據(jù)來源歸納為兩種類型:
- 1) 僅基于事故場(chǎng)景,
- 2)基于各種類型的數(shù)據(jù)和場(chǎng)景。
前者依賴于事故數(shù)據(jù)庫,包括原始事故數(shù)據(jù)、事故報(bào)告或記錄,后者是指現(xiàn)有的邏輯或具體場(chǎng)景、自然駕駛數(shù)據(jù)、交通數(shù)據(jù)或傳感器數(shù)據(jù)。C3群的 CSI 方法總結(jié)如圖所示:
C4群(演繹推理)基于各種知識(shí)源尋找功能或者邏輯場(chǎng)景。
這里列出的是方法,通過系統(tǒng)考慮一組預(yù)定義假設(shè)下的所有可能性來尋找碰撞前場(chǎng)景。確定的預(yù)碰撞場(chǎng)景可用作安全-緊要的操作情況。
最后,C5群(基于計(jì)算機(jī)視覺功能)的方法總結(jié)如圖所示:
C5分成景象表征和關(guān)鍵景象生成或者探索兩個(gè)主要思路。在C5群的評(píng)估圖像關(guān)鍵性方法,大多數(shù)將被評(píng)估的圖像提供給系統(tǒng)(即被驗(yàn)證的函數(shù))作為評(píng)估性能的輸入。因此,評(píng)估的關(guān)鍵性針對(duì)實(shí)現(xiàn)而言。評(píng)估方法的分類:
- C1: 幾乎所有研究都將案例研究作為評(píng)估方法來驗(yàn)證方法和關(guān)鍵場(chǎng)景。大多數(shù)案例研究都是通過模擬實(shí)現(xiàn)的。
- C2: 類似C1
- C3:最常用的評(píng)估方法是將識(shí)別場(chǎng)景與法規(guī)場(chǎng)景進(jìn)行比較。通過來自真實(shí)數(shù)據(jù)的聚類生成功能或邏輯預(yù)碰撞場(chǎng)景,直接與法規(guī)或測(cè)試組織的測(cè)試場(chǎng)景進(jìn)行比較,例如 Euro NCAP。
- C4:不是都做評(píng)估。
- C5:幾乎都使用案例研究作為評(píng)估方法。與 C1 和 C2 類似,也沒有進(jìn)行驗(yàn)證確定模擬識(shí)別的關(guān)鍵場(chǎng)景對(duì)于計(jì)算機(jī)視覺系統(tǒng)在現(xiàn)實(shí)世界是否也很關(guān)鍵。覆蓋率主要取決于使用的數(shù)據(jù)集,但對(duì)覆蓋結(jié)果沒有驗(yàn)證。
相關(guān)研究方向有:
- 在線風(fēng)險(xiǎn)評(píng)估
- 基于場(chǎng)景的功能評(píng)估
- 基于場(chǎng)景的系統(tǒng)設(shè)計(jì)
- 故障注入
- ontology設(shè)計(jì)和影響因子分析
- 形式方法
- 計(jì)算機(jī)視覺中未知的未知物檢測(cè)
- 數(shù)據(jù)增強(qiáng)
幾個(gè)討論點(diǎn):覆蓋范圍:覆蓋范圍可以通過 3 種方式定義(類型):1) 針對(duì)給定場(chǎng)景空間探索的覆蓋范圍;2) 給定場(chǎng)景空間內(nèi)所有關(guān)鍵場(chǎng)景的覆蓋率(即在給定場(chǎng)景空間內(nèi)所有關(guān)鍵場(chǎng)景中識(shí)別關(guān)鍵場(chǎng)景的比例);3) 在給定的功能場(chǎng)景或 ODD 下,所有關(guān)鍵功能不足及其觸發(fā)條件的覆蓋范圍。ALARP (”As Low As Reasonably Practicable”)原理:確保傷害風(fēng)險(xiǎn)最小。場(chǎng)景空間探索:場(chǎng)景空間分成兩個(gè)角度,一是分解ODD成各種應(yīng)用用例,二是分成不同的感興趣系統(tǒng)。要進(jìn)行完整的安全分析,需要明確分析系統(tǒng)的容錯(cuò)(即識(shí)別上游功能意外行為所無法解決的場(chǎng)景),特別是分析目標(biāo)跟蹤和傳感器融合的容錯(cuò)。此外,還需要一個(gè)系統(tǒng)的觀點(diǎn)來確保劃分到感興趣系統(tǒng)中以及隨后的“證據(jù)”組成是完整的,例如關(guān)于共同原因故障。討論了一些研究空白,例如覆蓋度量、關(guān)鍵性度量、影響因素的識(shí)別和分類,以及缺乏一個(gè)方法框架將不同 CSI 方法組合起來并把它們與其他安全分析過程相結(jié)合。?