本文經(jīng)自動(dòng)駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

【RenderOcc，首篇僅使用2D標(biāo)簽訓(xùn)練多視圖3D占用模型的新范式】作者從多視圖圖像中提取NeRF風(fēng)格的3D體積表示，并使用體積渲染技術(shù)來建立2D重建，從而實(shí)現(xiàn)從2D語義和深度標(biāo)簽的直接3D監(jiān)督，減少了對昂貴的3D占用標(biāo)注的依賴。大量實(shí)驗(yàn)表明，RenderOcc的性能與使用3D標(biāo)簽完全監(jiān)督的模型相當(dāng)，突顯了這種方法在現(xiàn)實(shí)世界應(yīng)用中的重要性。已開源。

題目: RenderOcc: Vision-Centric 3D Occupancy Prediction with 2DRendering Supervision

作者單位: 北京大學(xué)，小米汽車，港中文MMLAB

開源地址: GitHub - pmj110119/RenderOcc

3D占用預(yù)測在機(jī)器人感知和自動(dòng)駕駛領(lǐng)域具有重要前景，它將3D場景量化為帶有語義標(biāo)簽的網(wǎng)格單元。最近的工作主要利用3D體素空間中的完整占用標(biāo)簽進(jìn)行監(jiān)督。然而，昂貴的標(biāo)注過程和有時(shí)模糊的標(biāo)簽嚴(yán)重限制了3D占用模型的可用性和可擴(kuò)展性。為了解決這個(gè)問題，作者提出了RenderOcc，這是一種僅使用2D標(biāo)簽訓(xùn)練3D占用模型的新范式。具體而言，作者從多視圖圖像中提取NeRF風(fēng)格的3D體積表示，并使用體積渲染技術(shù)來建立2D重建，從而實(shí)現(xiàn)從2D語義和深度標(biāo)簽的直接3D監(jiān)督。此外，作者引入了一種輔助光線方法來解決自動(dòng)駕駛場景中的稀疏視點(diǎn)問題，該方法利用順序幀為每個(gè)目標(biāo)構(gòu)建全面的2D渲染。RenderOcc是第一次嘗試僅使用2D標(biāo)簽來訓(xùn)練多視圖3D占用模型，從而減少了對昂貴的3D占用標(biāo)注的依賴。大量實(shí)驗(yàn)表明，RenderOcc的性能與使用3D標(biāo)簽完全監(jiān)督的模型相當(dāng)，突顯了這種方法在現(xiàn)實(shí)世界應(yīng)用中的重要性。

網(wǎng)絡(luò)結(jié)構(gòu)：

圖 1.RenderOcc 代表了一種新的訓(xùn)練范例。與之前專注于使用昂貴的 3D 占用標(biāo)簽進(jìn)行監(jiān)督的工作不同，本文提出的 RenderOcc 利用 2D 標(biāo)簽來訓(xùn)練 3D 占用網(wǎng)絡(luò)。通過 2D 渲染監(jiān)督，該模型受益于細(xì)粒度 2D 像素級語義和深度監(jiān)督。

圖2.RenderOcc的總體框架。本文通過 2D 到 3D 網(wǎng)絡(luò)提取體積特征并預(yù)測每個(gè)體素的密度和語義。因此，本文生成了語義密度場(Semantic Density Field)，它可以執(zhí)行體積渲染來生成渲染的 2D 語義和深度。對于Rays GT的生成，本文從相鄰幀中提取輔助光線來補(bǔ)充當(dāng)前幀的光線，并使用所提出的加權(quán)光線采樣策略來凈化它們。然后，本文用光線 GT 和 {,} 計(jì)算損失，實(shí)現(xiàn)2D標(biāo)簽的渲染監(jiān)督。

圖3。輔助光線: 單幀圖像不能很好地捕捉物體的多視圖信息。兩個(gè)相鄰的相機(jī)之間只有很小的重疊區(qū)域，視角的差異是有限的。通過引入來自相鄰幀的輔助光線，該模型將顯著地受益于多視圖一致性約束。

實(shí)驗(yàn)結(jié)果：

原文鏈接：https://mp.weixin.qq.com/s/WzI8mGoIOTOdL8irXrbSPQ