arXiv綜述論文“Collaborative Perception for Autonomous Driving: Current Status and Future Trend“，2022年8月23日，上海交大。

感知是自主駕駛系統(tǒng)的關鍵模塊之一，然而單車的有限能力造成感知性能提高的瓶頸。為了突破單個感知的限制，提出協(xié)同感知，使車輛能夠共享信息，感知視線之外和視野以外的環(huán)境。本文回顧了很有前途的協(xié)同感知技術相關工作，包括基本概念、協(xié)同模式以及關鍵要素和應用。最后，討論該研究領域的開放挑戰(zhàn)和問題，并給出進一步方向。

如圖所示，單個感知的兩個重要問題是，遠距離遮擋和稀疏數(shù)據(jù)。這些問題的解決方案是，同一區(qū)域內(nèi)的車輛彼此共享共同感知信息（CPM，collective perception message），協(xié)同感知環(huán)境，稱為協(xié)同感知或協(xié)作感知。

得益于通信基礎設施的建設和V2X等通信技術的發(fā)展，車輛可以以可靠的方式交換信息，從而實現(xiàn)協(xié)作。最近的工作表明，車輛之間的協(xié)同感知可以提高環(huán)境感知的準確性以及交通系統(tǒng)的魯棒性和安全性。

此外，自動駕駛車輛通常配備高保真?zhèn)鞲衅饕詫崿F(xiàn)可靠的感知，造成昂貴的成本。協(xié)同感知可以緩解單個車輛對感知設備的苛刻要求。

協(xié)同感知與附近的車輛和基礎設施共享信息，使自主車輛能夠克服某些感知限制，如遮擋和短視野。然而，實現(xiàn)實時和魯棒的協(xié)同感知需要解決通信容量和噪聲帶來的一些挑戰(zhàn)。最近，有一些工作研究了協(xié)同感知的策略，包括什么是協(xié)同、何時協(xié)同、如何協(xié)同、共享信息的對齊等。

類似于融合，協(xié)同的分類也有4類：

1 早期協(xié)同

早期協(xié)同在輸入空間中進行協(xié)同，在車輛和基礎設施之間共享原始感官數(shù)據(jù)。它匯總了所有車輛和基礎設施的原始測量值，得到一個整體觀點。因此，每個車輛都可以進行以下處理，并基于整體視角完成感知，這可以從根本上解決單體感知中出現(xiàn)的遮擋和遠距離問題。

然而，共享原始感官數(shù)據(jù)需要大量通信，并且容易使通信網(wǎng)絡因數(shù)據(jù)負載過大而擁塞，這在大多數(shù)情況下阻礙了其實際應用。

2. 后期協(xié)同

后期協(xié)同在輸出空間中進行協(xié)同，這促進了每個智體輸出的感知結果融合，實現(xiàn)細化。

雖然后期協(xié)同具有帶寬經(jīng)濟性，但它對智體的定位誤差非常敏感，并且由于不完全的局部觀測而遭受高估計誤差和噪聲。

3 中間協(xié)同

中間協(xié)同在中間特征空間中進行協(xié)同。它能夠傳輸單獨智體預測模型生成的中間特征。融合這些特征后，每個智體對融合的特征進行解碼并產(chǎn)生感知結果。從概念上講，可以將代表性信息壓縮到這些特征中，與早期協(xié)同相比，可以節(jié)省通信帶寬，與后期協(xié)同相比，還可以提高感知能力。

在實踐中，這種協(xié)同策略的設計在算法上具有兩個方面的挑戰(zhàn)性：i）如何從原始測量中選擇最有效和緊湊的特征進行傳輸；以及ii）如何最大限度地融合其他智體的特征以增強每個智體的感知能力。

4 混合協(xié)同

如上所述，每種協(xié)同模式都有其優(yōu)缺點。因此，一些工作采用了混合協(xié)同，將兩種或多種協(xié)同模式結合起來，以優(yōu)化協(xié)同策略。

協(xié)同感知的主要因素包括：

1 協(xié)同圖

圖是協(xié)同感知建模的有力工具，因為它建模非歐數(shù)據(jù)結構有良好的可解釋性。在一些工作中，參與協(xié)同感知的車輛組成一個完整的協(xié)同圖，其中每個車輛是一個節(jié)點，兩個車輛之間的協(xié)同關系是這兩個節(jié)點之間的邊。

2 姿態(tài)對齊

由于協(xié)同感知需要在不同位置和不同時間融合來自車輛和基礎設施的數(shù)據(jù)，因此實現(xiàn)精確的數(shù)據(jù)對齊對于成功協(xié)同至關重要。

3 信息融合

信息融合是多智體系統(tǒng)的核心組成部分，其目標是以有效的方式融合來自其他智體的信息量最大的部分。

4 基于強化學習的資源分配

現(xiàn)實環(huán)境中有限的通信帶寬要求充分利用可用的通信資源，這使得資源分配和頻譜共享非常重要。在車輛通信環(huán)境中，快速變化的信道條件和日益增長的服務需求使得分配問題的優(yōu)化非常復雜，難以使用傳統(tǒng)的優(yōu)化方法來解決。一些工作利用多智體強化學習（MARL）來解決優(yōu)化問題。

協(xié)同感知的應用：

1 3D 目標檢測

基于激光雷達點云的3D目標檢測是協(xié)同感知研究中最受關注的問題。原因如下：i）激光雷達點云比圖像和視頻具有更多的空間維度。ii）激光雷達點云可以在一定程度上保留個人信息，如人臉和車牌號。iii）點云數(shù)據(jù)是用于融合的適當數(shù)據(jù)類型，因為當點云數(shù)據(jù)從不同的姿態(tài)對齊時，其損失比像素少。iv）3D目標檢測是自主駕駛感知的一項基本任務，跟蹤和運動預測等許多任務都基于此。

2 語義分割

3D場景的語義分割也是自動駕駛所需的關鍵任務。3D場景目標的協(xié)同語義分割，給定來自多個智體的3D場景觀察（圖像、激光雷達點云等），為每個智體生成語義分割掩碼。?

挑戰(zhàn)性問題：

1 通信魯棒性

有效的協(xié)統(tǒng)依賴于智體之間的可靠通信。然而，通信在實踐中并不完美：i）隨著網(wǎng)絡中車輛數(shù)量的增加，每輛車的可用通信帶寬有限；ii）由于不可避免的通信延遲，車輛難以從其他車輛接收實時信息；iii）通信有時可能中斷，導致通信中斷；iv）V2X通信遭受破壞，無法始終提供可靠服務。盡管通信技術不斷發(fā)展，通信服務質(zhì)量不斷提高，但上述問題仍將長期存在。然而，大多數(shù)現(xiàn)有的工作都假設信息可以以實時和無損的方式共享，因此考慮這些通信約束并設計魯棒的協(xié)同感知系統(tǒng)對于進一步的工作具有重要意義。

2 異質(zhì)性和跨模態(tài)

大多數(shù)協(xié)統(tǒng)感知工作關注基于激光雷達點云的感知。然而，有更多類型的數(shù)據(jù)可用于感知，如圖像和毫米波雷達點云。這是一種利用多模態(tài)傳感器數(shù)據(jù)進行更有效協(xié)作的潛在方法。此外，在某些場景中，有不同級別的自動車輛提供不同質(zhì)量的信息。因此，如何在異構車輛網(wǎng)絡中進行協(xié)同是協(xié)同感知進一步實際應用的問題。不幸的是，很少有工作關注異構和跨模態(tài)的協(xié)作感知，這個也成為一個開放的挑戰(zhàn)。

3 大規(guī)模數(shù)據(jù)集

大規(guī)模數(shù)據(jù)集和深度學習方法的發(fā)展提高了感知性能。然而，協(xié)同感知研究領域的現(xiàn)有數(shù)據(jù)集要么規(guī)模小，要么不公開。

缺乏公共大規(guī)模數(shù)據(jù)集阻礙了協(xié)同感知的進一步發(fā)展。此外，大多數(shù)數(shù)據(jù)集基于模擬。雖然仿真是驗證算法的經(jīng)濟和安全的方法，但真實的數(shù)據(jù)集也是需要的，可將協(xié)同感知應用于實踐。