攝像頭能否實現(xiàn)激光雷達的檢測效果，以更低成本實現(xiàn)自動駕駛感知？在最新的 CVPR2023 論文《Collaboration helps camera overtake LiDAR in 3D detection》中，來自上海交通大學、加州大學洛杉磯分校、以及上海人工智能實驗室的研究者提出了純視覺協(xié)作探測方法（CoCa3D），通過讓多個基于純視覺的智能車高效協(xié)作，在 3D 目標探測效果上，接近甚至超越基于激光雷達的智能車。

論文標題：Collaboration Helps Camera Overtake LiDAR in 3D Detection

論文鏈接：https://arxiv.org/abs/2303.13560

代碼鏈接：https://github.com/MediaBrain-SJTU/CoCa3D

研究目的和意義

近年來，自動駕駛感知領域存在著巨大的技術分歧：以 Waymo 為代表的多傳感器融合派以激光雷達為主傳感器，而以 Tesla 為代表的視覺優(yōu)先派堅持使用純攝像頭。其中激光雷達的主要問題在于價格昂貴，Velodyne 的 64 線激光雷達成本為 75,000 美金左右，成本高，難以擴大規(guī)模。純視覺的方案極低地降低了成本，Autopilot 2.+ 的 BOM 成本控制在 2,500 美金左右。但同激光雷達相比，攝像頭缺乏深度信息，在 3D 空間的目標檢測上存在天然巨大劣勢。雖然近年來基于鳥瞰圖（BEV）的技術方法快速發(fā)展，大大提升了純視覺探測的效果，但距離激光雷達的探測效果依舊相去甚遠。

為了突破純視覺 3D 空間感知能力瓶頸，CoCa3D 開辟了多車協(xié)作的全新維度，從物理屬性上迅速提升純視覺 3D 目標檢測能力。多輛純視覺智能車通過分布式地交換關鍵信息，使得來自多車多視角幾何信息可以互相校驗，能夠有效提升 2D 相機對 3D 空間的感知能力，從而接近激光雷達的探測效果。除此之外，多車多視角觀測信息的互相補充，能突破單體感知的視角局限性，實現(xiàn)更完備的探測，有效緩解遮擋和遠距離問題，進而超越單個激光雷達的 3D 空間感知效果。

圖 1. 多車協(xié)作可以避免 “鬼探頭” 引發(fā)的事故，實現(xiàn)更安全的智能駕駛

關鍵問題

與許多多視角幾何問題不同，多個純視覺車協(xié)作依賴先進的通信系統(tǒng)來進行信息交互，而現(xiàn)實情況下通信條件多變且受限。因此，多個純視覺車協(xié)作的關鍵問題在如何在通信帶寬限制的情況下，選擇最關鍵的信息進行共享，彌補純視覺輸入中缺失的深度信息，同時彌補單視角下視野受限區(qū)域缺失的信息，提升純視覺輸入的 3D 空間感知能力。

研究方法 

CoCa3D 考慮以上關鍵問題，進行了兩個針對性的設計。

首先，協(xié)作信息應包含深度信息，這將使得來自多個純視覺車的不同角度的觀測，緩解單點觀測的深度歧義性，相互矯正定位正確的深度。同時，每個純視覺車過濾掉不確定性較高的深度信息，選擇最關鍵的深度信息分享，減少帶寬占用。最高效地彌補純視覺輸入相比 LiDAR 輸入缺失的深度信息，實現(xiàn)接近的 3D 檢測效果。

其次，協(xié)作信息中應包含檢測信息以緩解單點觀測的視角局限性，例如遮擋和遠程問題，相互補充檢測信息正確定位物體。并潛在地實現(xiàn)了更全面的 3D 檢測，即檢測所有存在于三維場景中的目標，包括那些超出視覺范圍的目標。同時，每個純視覺車過濾掉置信度較低的檢測信息，選擇最關鍵的檢測信息分享，減少帶寬占用。由于 LiDAR 也受到視野有限的限制，這潛在地使得多個純視覺車協(xié)作有可能取得勝過 LiDAR 的探測效果。

基于此動機，CoCa3D 整體系統(tǒng)包括兩個部分，單體相機 3D 檢測，實現(xiàn)基本的深度估計和檢測能力，以及多體協(xié)作，共享估計的深度信息和檢測特征以提高 3D 表示和檢測性能。其中多體協(xié)作由協(xié)作特征估計和協(xié)作檢測特征學習兩個關鍵部分構成。

圖 2. CoCa3D 整體系統(tǒng)框圖。協(xié)作深度估計（Collaborative depth estimation）和協(xié)作檢測特征學習（Collaborative detection feature learning）是兩大關鍵模塊

協(xié)作深度估計（Collaborative depth estimation, Co-Depth）：旨在消除單體相機深度估計中深度的歧義性，并通過多視圖的一致性定位正確的候選深度。直覺是，對于正確的候選深度，其對應的 3D 位置從多個代理的角度來看應該在空間上是一致的。為此，每個協(xié)作者可以通過通信交換深度信息。同時，通過選擇最關鍵和明確的深度信息來提高通信效率。Co-Depth 由兩部分構成：a) 基于不確定性的深度消息打包模塊，將確定的深度信息打包為緊湊的消息包傳遞出去；和 b) 深度信息融合模塊，通過與接收到的來自其他協(xié)作者視角的深度消息校驗來緩解自身單視角下深度估計的歧義性。

協(xié)作檢測特征學習（Collaborative detection feature learning, Co-FL）：協(xié)作深度估計會仔細細化深度并為每個智能體提供更準確的 3D 表示。然而，單一智能體的物理局限性，如視野受限、遮擋和遠程問題仍然存在。為了實現(xiàn)更全面的 3D 檢測，每個智能體都應該能夠交換 3D 檢測特征并利用互補信息。同時，通過選擇感知上最關鍵的信息來提高通信效率。核心思想是探索感知信息的空間異質(zhì)性。直覺是包含目標的前景區(qū)域比背景區(qū)域更關鍵。在協(xié)作過程中，帶有目標的區(qū)域可以幫助恢復由于有限視野而導致的漏檢問題，而背景區(qū)域則可以忽略以節(jié)省寶貴的帶寬。Co-FL 由兩部分構成：a）基于檢測置信度的感知信息打包模塊，在檢測置信度的指導下打包空間稀疏但感知上關鍵的三維特征；和 b）檢測信息融合模塊，通過補充接收到的來自其他協(xié)作者視角的檢測信息來提升自身受限視角下的不完備的三維特征。

圖 3. 數(shù)據(jù)集 CoPerception-UAVs + 和 OPV2V + 仿真環(huán)境

圖 4. 數(shù)據(jù)集 CoPerception-UAVs+、DAIR-V2X 和 OPV2V + 樣本可視化

實驗效果

為全面展示本文所提出的 CoCa3D 的優(yōu)異性能，研究者在三個數(shù)據(jù)集上對其進行驗證，包括無人飛機集群數(shù)據(jù) CoPerception-UAVs+, 車路協(xié)同仿真數(shù)據(jù)集 OPV2V+，以及車路協(xié)同真實數(shù)據(jù)集 DAIR-V2X。其中 CoPerception-UAVs + 是原始的 CoPerception-UAVs（NeurIPS22）的擴展版本，包括更多的智能體（約 10 個），是更一個大規(guī)模無人機協(xié)同感知的數(shù)據(jù)集，由 AirSim 和 CARLA 共同模擬生成。OPV2V + 是原始的 OPV2V（ICRA 22）的擴展版本，包括更多的智能體（約 10 個），是更一個大規(guī)模車路協(xié)同的數(shù)據(jù)集，由 OpenCDA 和 CARLA 共同模擬生成。

圖 5. CoCa3D 在多數(shù)據(jù)集上均取得了接近激光雷達的 3D 目標檢測效果

研究者發(fā)現(xiàn)，CoCa3D（實線）在 10 個相機的協(xié)作下在 OPV2V+ 上的 AP@0.5/0.7 都優(yōu)于 LiDAR 3D 檢測！由于真實車路協(xié)同數(shù)據(jù)集 DAIR-V2X 僅有 2 個協(xié)作相機，我們使用 OPV2V + 的斜率來擬合真實車路協(xié)同數(shù)據(jù)集上的檢測性能與協(xié)作相機個數(shù)的函數(shù)，發(fā)現(xiàn)在實際場景中，僅 7 個協(xié)作相機即可實現(xiàn)優(yōu)于 LiDAR 3D 檢測的效果！此外，隨著協(xié)作代理數(shù)量的增加，檢測性能的穩(wěn)步提高鼓勵協(xié)作者積極協(xié)作并實現(xiàn)持續(xù)改進。

基于協(xié)同感知數(shù)據(jù)集 OPV2V+，研究者對比了單體感知和協(xié)作感知在 3D 目標探測任務的效果，如下面的動圖所示（綠框為真值，紅框為檢測框）。a/b 圖展示了單個相機 / 激光雷達的探測效果，受限于傳感器的探測范圍和物理遮擋，右側(cè)路口的多量車難以被有效探測，c 圖展示了多個無人車的相機協(xié)作探測的效果，基于本文提出的 CoCa3D 方法，實現(xiàn)了超視距的感知。由此可見，協(xié)作感知通過同一場景中多智能體之間互通有無，分享感知信息，使得單個智能體突破自身傳感器的局限性獲得對整個場景更為準確全面的理解。

圖 6. 3D 檢測結果 3D 視角和 BEV 視角可視化（紅框為檢測框，綠框為真值）。(a) 單個相機檢測效果可視化，(b) 激光雷達檢測效果可視化，(c) 協(xié)作相機檢測效果可視化。

CoCa3D（紅線）在多個數(shù)據(jù)集上多種通信帶寬條件下均實現(xiàn) 3D 感知效果的大幅提升

值得注意的是，相比之前的基線方法 V2X-ViT（ECCV 22），針對某個特定通信量進行了有針對性的模型訓練，因此在通信量 - 探測效果的圖中是一個單點。而 CoCa3D 可以自動調(diào)整和適應各個通信量，因此是一條曲線。由此可見，CoCa3D 實現(xiàn)了感知效果與通信消耗的有效權衡，能自適應資源多變的通信環(huán)境，且在各種通信條件下均取得了優(yōu)于基線方法 Where2comm（NeurIPS 22）的感知效果。

圖 7. CoCa3D 在多個數(shù)據(jù)集上多種通信帶寬條件下均取得最優(yōu)的 3D 感知效果

CoCa3D 有效提升單體深度估計，使得協(xié)作深度估計接近真實深度

研究者發(fā)現(xiàn)：i）單個視角下深度估計可以估計相對深度，但無法精確地定位深度絕對位置，例如，車輛比其所在的平面更高，但這個平面沒有正確分類；ii）通過協(xié)作的深度信息分享，引入多視圖幾何，協(xié)作估計的深度可以平穩(wěn)而準確地定位平面；iii）對于遠距離和背景區(qū)域，深度的不確定性較大。原因是遠處的區(qū)域很難定位，因為它們占用的圖像像素太少，而背景區(qū)域由于沒有紋理表面而難以定位。

圖 8 深度和不確定性的可視化

總結與展望

CoCa3D 聚焦在核心思想是引入多體協(xié)作來提高純視覺的 3D 目標檢測能力。同時，優(yōu)化了通信成本，每個協(xié)作者都仔細選擇空間稀疏但關鍵的消息進行共享。相關技術方法將 AI 和通信技術高度整合，對車路協(xié)同，無人集群等群體智能應用有著深刻影響。在未來，也期待這種思路可以被更廣泛應用于高效提升單體的各類型能力，將協(xié)作感知拓展到協(xié)作自動系統(tǒng)，全方位地提升單體智能。