本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

本文是對(duì)ECCV2024接受的文章 HTCL: 的介紹，HTCL在SemanticKITTI基準(zhǔn)測(cè)試中超過(guò)了所有基于相機(jī)的方法，甚至在和OpenOccupancy基準(zhǔn)測(cè)試中超過(guò)了LiDAR，實(shí)現(xiàn)了最先進(jìn)的性能。代碼已開(kāi)源，歡迎大家試用和Star~

代碼鏈接：https://github.com/Arlo0o/HTCL
論文鏈接：https://arxiv.org/abs/2407.02077

Demo video 展示：

我們對(duì)比了同樣采用時(shí)序雙目圖像輸入的VoxFormer-T，并用更少的輸入幀數(shù)（3 vs. 4）取得了更好的預(yù)測(cè)效果，在場(chǎng)景整體布局、相機(jī)視野外區(qū)域、遠(yuǎn)距離動(dòng)態(tài)物體等的預(yù)測(cè)中表現(xiàn)出明顯優(yōu)勢(shì)。

Motivation

基于相機(jī)的三維語(yǔ)義場(chǎng)景補(bǔ)全（SSC）對(duì)于從有限的二維圖像觀測(cè)中預(yù)測(cè)復(fù)雜的三維場(chǎng)景信息至關(guān)重要?，F(xiàn)有的主流解決方案通過(guò)對(duì)歷史幀信息的粗略堆疊來(lái)試圖補(bǔ)充當(dāng)前視角下的不完整觀測(cè)，這種簡(jiǎn)單的時(shí)序建模方式不可避免地減少了有效的視覺(jué)線索，增加了模型學(xué)習(xí)難度。

為了解決上述問(wèn)題，我們提出了HTCL，一種新穎的分層時(shí)序上下文學(xué)習(xí)范式，用于改進(jìn)基于相機(jī)的語(yǔ)義場(chǎng)景補(bǔ)全。HTCL將時(shí)序上下文學(xué)習(xí)分解為兩個(gè)層次步驟：(a)跨幀親和度測(cè)量；(b)基于親和度的動(dòng)態(tài)細(xì)化。首先，為了從冗余信息中分離關(guān)鍵相關(guān)上下文，我們提出了尺度感知隔離策略，用于構(gòu)建多個(gè)獨(dú)立的學(xué)習(xí)模塊，進(jìn)而建模細(xì)粒度上下文對(duì)應(yīng)關(guān)系。隨后，為了動(dòng)態(tài)補(bǔ)償不完整的觀測(cè)結(jié)果，我們基于識(shí)別出的具有高親和度特征的空間位置及其鄰近的相關(guān)區(qū)域，自適應(yīng)地細(xì)化特征采樣位置。

Method

我們提出的分層時(shí)序上下文學(xué)習(xí)（HTCL）范式可以有效改進(jìn)時(shí)序特征聚合的可靠性，從而實(shí)現(xiàn)精確的三維語(yǔ)義場(chǎng)景補(bǔ)全。HTCL從不同時(shí)間幀的RGB圖像中分層地推斷三維語(yǔ)義Occupancy，以實(shí)現(xiàn)細(xì)粒度的場(chǎng)景理解。如下圖所示，我們提出的分層時(shí)時(shí)序下文建模包括兩個(gè)順序步驟：(1)顯式地測(cè)量當(dāng)前幀和歷史幀之間的上下文特征親和力，提取最相關(guān)的高親和度特征；(2)基于高親和力特征的空間位置及其附近的相關(guān)上下文自適應(yīng)地細(xì)化采樣位置，以動(dòng)態(tài)補(bǔ)償不完整的觀測(cè)。HTCL在創(chuàng)新性方面主要做出了以下貢獻(xiàn)：

• 提出了一種時(shí)序上下文學(xué)習(xí)范式，以用于動(dòng)態(tài)和可靠的三維語(yǔ)義場(chǎng)景補(bǔ)全。
• 提出了一種具有尺度感知隔離和多個(gè)獨(dú)立學(xué)習(xí)模塊的親和度測(cè)量策略，用于細(xì)粒度的上下文對(duì)應(yīng)關(guān)系建模。
• 提出了一個(gè)基于親和度的動(dòng)態(tài)細(xì)化方案，以重新分配時(shí)序上下文信息，并自適應(yīng)地補(bǔ)償不完整的觀測(cè)結(jié)果。
• HTCL在SemanticKITTI基準(zhǔn)測(cè)試中超過(guò)了所有基于相機(jī)的方法，甚至在和OpenOccupancy基準(zhǔn)測(cè)試中超過(guò)了LiDAR，實(shí)現(xiàn)了最先進(jìn)的性能。

如上圖所示，我們提出的方法整體框架主要由三個(gè)部分組成：Aligned Temporal Volume Construction，Voxel Feature Volume Construction，以及Reliable Temporal Aggregation。

效果如下圖所示，跨幀模式親和（CPA）有效地表示了時(shí)間內(nèi)容中的上下文對(duì)應(yīng)關(guān)系。

鑒于我們的目標(biāo)是完成并理解與當(dāng)前幀相對(duì)應(yīng)的三維場(chǎng)景，因此必須為最相關(guān)的位置分配更大的權(quán)重，同時(shí)也需要調(diào)查其鄰近的相關(guān)區(qū)域以彌補(bǔ)不完整的觀察結(jié)果。為此，我們提出基于親和力的動(dòng)態(tài)細(xì)化（ADR），根據(jù)已確定的高親和性位置及其鄰近相關(guān)區(qū)域，用三維可變形卷積自適應(yīng)地改進(jìn)特征采樣位置。具體來(lái)說(shuō)，我們通過(guò)引入基于親和力的對(duì)應(yīng)權(quán)重和可變形位置偏移來(lái)實(shí)現(xiàn)動(dòng)態(tài)細(xì)化:

為了進(jìn)一步通過(guò)分層上下文推理動(dòng)態(tài)建模，我們通過(guò)考慮級(jí)聯(lián)的不同特征層上下文信息 ：

Experiment

實(shí)驗(yàn)表明，我們的方法在SemanticKITTI Benchmark上排名第一，并在OpenOccupancy BenchMark中取得了超過(guò)基于LiDAR方法的mIoU。

• 定量實(shí)驗(yàn)結(jié)果：

在SemanticKITTI基準(zhǔn)測(cè)試中，我們提出的方法明顯優(yōu)于所有其他方法。與VoxFomer-T相比，我們的方法即使在較少的歷史輸入（3 vs. 4）中也取得了顯著的相對(duì)增益。在OpenOccupancy基準(zhǔn)測(cè)試中，盡管基于LiDAR的在IoU方面具有固有的優(yōu)勢(shì)，但我們的HTCL在mIoU方面超過(guò)了所有其他方法（包括基于LiDAR的LMSCNet和JS3C-Net ），證明了我們的方法在語(yǔ)義場(chǎng)景補(bǔ)全方面的有效性。

• 定性試驗(yàn)結(jié)果：

圖5展示了我們提出的方法與VoxFormer在SemanticKITTI上的定性比較?？梢杂^察到，真實(shí)世界的場(chǎng)景非常復(fù)雜，而注釋的地面實(shí)況相對(duì)稀少，這給從有限的視覺(jué)線索中完全重建語(yǔ)義場(chǎng)景帶來(lái)了挑戰(zhàn)。與 VoxFormer 相比，我們的方法能捕捉到更完整、更準(zhǔn)確的場(chǎng)景布局（如第二行和第三行的十字路口）。此外，我們的方法還能有效地補(bǔ)全攝像機(jī)視野外更多合適的景物（如第一行和第二行中的陰影區(qū)域），并在移動(dòng)物體（如第二行中的卡車(chē)）方面表現(xiàn)出明顯的優(yōu)勢(shì)。圖6展示了我們的方法在 OpenOccupancy 上的預(yù)測(cè)結(jié)果，我們提出的方法與GT相比，可以生成的結(jié)果更密集、更真實(shí)的Semantic Occupancy。