當(dāng) 4K 畫(huà)質(zhì)、60 幀視頻在某些 APP 上還只能開(kāi)會(huì)員觀看時(shí)，AI 研究者已經(jīng)把 3D 動(dòng)態(tài)合成視頻做到了 4K 級(jí)別，而且畫(huà)面相當(dāng)流暢。

在現(xiàn)實(shí)生活中，我們接觸的大多數(shù)視頻都是 2D 的。在觀看這種視頻時(shí)，我們是沒(méi)有辦法選擇觀看視角的，比如走到演員中間，或者走到空間的某個(gè)角落。VR、AR 設(shè)備的出現(xiàn)彌補(bǔ)了這一缺陷，它們提供的 3D 視頻允許我們變換視角、甚至隨意走動(dòng)，沉浸感大大提升。

但是，這種 3D 動(dòng)態(tài)場(chǎng)景的合成一直是個(gè)難點(diǎn)，無(wú)論是在畫(huà)質(zhì)上還是流暢度上。

最近，來(lái)自浙江大學(xué)、像衍科技和螞蟻集團(tuán)的研究者對(duì)這個(gè)問(wèn)題發(fā)起了挑戰(zhàn)。在一篇題為「4K4D: Real-Time 4D View Synthesis at 4K Resolution」的論文中，他們提出了一種名為4K4D的點(diǎn)云表示方法，大大提升了高分辨率3D動(dòng)態(tài)場(chǎng)景合成的渲染速度。具體來(lái)說(shuō)，使用 RTX 4090 GPU，他們的方法能以 4K 分辨率進(jìn)行渲染，幀率可達(dá)80 FPS；以1080p分辨率進(jìn)行渲染時(shí)，幀率可達(dá)400FPS?？傮w來(lái)看，它的速度是以前方法的30多倍，而且渲染質(zhì)量達(dá)到了SOTA。

以下是論文簡(jiǎn)介。

論文概覽

• 論文鏈接：https://arxiv.org/pdf/2310.11448.pdf
• 項(xiàng)目鏈接：https://zju3dv.github.io/4k4d/

動(dòng)態(tài)視圖合成旨在從捕獲的視頻中重建動(dòng)態(tài) 3D 場(chǎng)景，并創(chuàng)建沉浸式虛擬回放，這是計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)中長(zhǎng)期研究的問(wèn)題。這種技術(shù)實(shí)用性的關(guān)鍵在于它能夠以高保真度實(shí)時(shí)渲染，使其能夠應(yīng)用于 VR/AR、體育廣播和藝術(shù)表演捕捉。傳統(tǒng)方法將動(dòng)態(tài) 3D 場(chǎng)景表示為紋理網(wǎng)格序列，并使用復(fù)雜的硬件進(jìn)行重建。因此，它們通常僅限于受控環(huán)境。

最近，隱式神經(jīng)表示在通過(guò)可微渲染從 RGB 視頻重建動(dòng)態(tài) 3D 場(chǎng)景方面取得了巨大成功。例如《Neural 3d video synthesis from multi-view video》將目標(biāo)場(chǎng)景建模為動(dòng)態(tài)輻射場(chǎng)，利用體渲染合成圖像，并與輸入圖像進(jìn)行對(duì)比優(yōu)化。盡管動(dòng)態(tài)視圖合成結(jié)果令人印象深刻，但由于網(wǎng)絡(luò)評(píng)估昂貴，現(xiàn)有方法通常需要幾秒鐘甚至幾分鐘才能以 1080p 分辨率渲染一張圖像。

受靜態(tài)視圖合成方法的啟發(fā)，一些動(dòng)態(tài)視圖合成方法通過(guò)降低網(wǎng)絡(luò)評(píng)估的成本或次數(shù)來(lái)提高渲染速度。通過(guò)這些策略，MLP Maps 能夠以 41.7 fps 的速度渲染前景動(dòng)態(tài)人物。然而，渲染速度的挑戰(zhàn)仍然存在，因?yàn)?MLP  Maps 的實(shí)時(shí)性能只有在合成中等分辨率（384×512）的圖像時(shí)才能實(shí)現(xiàn)。當(dāng)渲染 4K 分辨率的圖像時(shí)，它的速度降低到只有 1.3 FPS。

在這篇論文中，研究者提出了一種新的神經(jīng)表示 ——4K4D，用于建模和渲染動(dòng)態(tài) 3D 場(chǎng)景。如圖 1 所示，4K4D 在渲染速度上明顯優(yōu)于以前的動(dòng)態(tài)視圖合成方法，同時(shí)在渲染質(zhì)量上具有競(jìng)爭(zhēng)力。

作者表示，他們的核心創(chuàng)新在于 4D 點(diǎn)云表示和混合外觀模型。具體而言，對(duì)于動(dòng)態(tài)場(chǎng)景，他們使用空間雕刻算法獲得粗點(diǎn)云序列，并將每個(gè)點(diǎn)的位置建模為可學(xué)習(xí)向量。他們還引入 4D 特征網(wǎng)格，為每個(gè)點(diǎn)分配特征向量，并將其輸入 MLP 網(wǎng)絡(luò)，以預(yù)測(cè)點(diǎn)的半徑、密度和球諧函數(shù)（SH）系數(shù)。4D 特征網(wǎng)格自然地在點(diǎn)云上應(yīng)用了空間正則化，使得優(yōu)化更加穩(wěn)健?；?4K4D，研究者開(kāi)發(fā)了一種可微深度剝離算法，利用硬件光柵化實(shí)現(xiàn)前所未有的渲染速度。

研究者發(fā)現(xiàn)，基于 MLP 的 SH 模型難以表示動(dòng)態(tài)場(chǎng)景的外觀。為了緩解這個(gè)問(wèn)題，他們還引入了一個(gè)圖像混合模型來(lái)與 SH 模型結(jié)合，以表示場(chǎng)景的外觀。一個(gè)重要的設(shè)計(jì)是，他們使圖像混合網(wǎng)絡(luò)獨(dú)立于觀看方向，因此可以在訓(xùn)練后預(yù)先計(jì)算，以提高渲染速度。作為一把雙刃劍，該策略使圖像混合模型沿觀看方向離散。使用連續(xù) SH 模型可以彌補(bǔ)這個(gè)問(wèn)題。與僅使用 SH 模型的 3D Gaussian Splatting 相比，研究者提出的混合外觀模型充分利用了輸入圖像捕獲的信息，從而有效地提高了渲染質(zhì)量。

為了驗(yàn)證新方法的有效性，研究者在多個(gè)廣泛使用的多視圖動(dòng)態(tài)新視圖合成數(shù)據(jù)集上評(píng)估了 4K4D，包括 NHR、ENeRF-Outdoo、DNA-Rendering 和 Neural3DV。廣泛的實(shí)驗(yàn)表明，4K4D 不僅渲染速度快了幾個(gè)數(shù)量級(jí)，而且在渲染質(zhì)量方面也明顯優(yōu)于 SOTA 技術(shù)。使用 RTX 4090 GPU，新方法在 DNA-Rendering 數(shù)據(jù)集上達(dá)到 400 FPS，分辨率為 1080p；在 ENeRF-Outdoor 數(shù)據(jù)集上達(dá)到 80 FPS，分辨率為 4k。

方法介紹

給定捕獲動(dòng)態(tài) 3D 場(chǎng)景的多視圖視頻，本文旨在重建目標(biāo)場(chǎng)景并實(shí)時(shí)地進(jìn)行視圖合成。模型架構(gòu)圖如圖 2 所示：

接著文中介紹了用點(diǎn)云建模動(dòng)態(tài)場(chǎng)景的相關(guān)知識(shí)，他們從 4D 嵌入、幾何模型以及外觀模型等角度展開(kāi)。

4D 嵌入：給定目標(biāo)場(chǎng)景的粗點(diǎn)云，本文使用神經(jīng)網(wǎng)絡(luò)和特征網(wǎng)格表示其動(dòng)態(tài)幾何和外觀。具體來(lái)說(shuō)，本文首先定義了六個(gè)特征平面 θ_xy、θ_xz、θ_yz、θ_tx、θ_ty 和 θ_tz，并采用 K-Planes 策略，利用這六個(gè)平面來(lái)建模一個(gè) 4D 特征場(chǎng) Θ(x, t)：

幾何模型：基于粗點(diǎn)云，動(dòng)態(tài)場(chǎng)景幾何結(jié)構(gòu)通過(guò)學(xué)習(xí)每個(gè)點(diǎn)上的三個(gè)屬性（entries）來(lái)表示，即位置 p ∈ R^3 、半徑 r ∈ R 和密度 σ ∈ R。然后借助這些點(diǎn)，計(jì)算空間點(diǎn) x 的體積密度。點(diǎn)位置 p 被建模為一個(gè)可優(yōu)化的向量。通過(guò)將 Eq.(1) 中的特征向量 f 饋送到 MLP 網(wǎng)絡(luò)中來(lái)預(yù)測(cè)半徑 r 和密度 σ。

外觀模型：如圖 2c 所示，本文使用圖像混合技術(shù)和球諧函數(shù)（SH）模型來(lái)構(gòu)建混合外觀模型，其中圖像混合技術(shù)表示離散視圖外觀 c_ibr，SH 模型表示連續(xù)的依賴(lài)于視圖的外觀 c_sh。對(duì)于第 t 幀處的點(diǎn) x，其在視圖方向 d 上的顏色為：

可微深度剝離

本文提出的動(dòng)態(tài)場(chǎng)景表示借助深度剝離算法可以渲染成圖像。

研究者開(kāi)發(fā)了一個(gè)自定義著色器來(lái)實(shí)現(xiàn)由 K 個(gè)渲染通道組成的深度剝離算法。即對(duì)于一個(gè)特定的像素 u，研究者進(jìn)行了多步處理，最后，經(jīng)過(guò) K 次渲染后，像素 u 得到一組排序點(diǎn) {x_k|k = 1, ..., K}。

基于這些點(diǎn) {x_k|k = 1, ..., K}，得到體渲染中像素 u 的顏色表示為：

在訓(xùn)練過(guò)程中，給定渲染的像素顏色 C (u)，本文將其與真實(shí)像素顏色 C_gt (u) 進(jìn)行比較，并使用以下?lián)p失函數(shù)以端到端的方式優(yōu)化模型：

除此以外，本文還應(yīng)用了感知損失：

以及掩碼損失：

最終的損失函數(shù)定義為：

實(shí)驗(yàn)及結(jié)果

本文在 DNA-Rendering、ENeRF-Outdoor、 NHR 以及 Neural3DV 數(shù)據(jù)集上評(píng)估了 4K4D 方法。

在 DNA-Rendering 數(shù)據(jù)集上的結(jié)果如表 1 所示，結(jié)果顯示，4K4D 渲染速度比具有 SOTA 性能的 ENeRF 快 30 多倍，并且渲染質(zhì)量還更好。

在 DNA-Rendering 數(shù)據(jù)集上的定性結(jié)果如圖 5 所示，KPlanes 無(wú)法對(duì) 4D 動(dòng)態(tài)場(chǎng)景下的詳細(xì)外觀和幾何形狀進(jìn)行恢復(fù)，而其他基于圖像的方法產(chǎn)生了高質(zhì)量的外觀。然而，這些方法往往會(huì)在遮擋和邊緣周?chē)a(chǎn)生模糊的結(jié)果，導(dǎo)致視覺(jué)質(zhì)量下降，相反，4K4D 可以在超過(guò) 200 FPS 的情況下產(chǎn)生更高保真度的渲染。

接下來(lái)，實(shí)驗(yàn)展示了不同方法在 ENeRFOutdoor 數(shù)據(jù)集上的定性和定量結(jié)果。如表 2 所示，4K4D 在以超過(guò) 140 FPS 的速度進(jìn)行渲染時(shí)仍然取得了明顯更好的結(jié)果。

而其他方法，如 ENeRF 產(chǎn)生了模糊的結(jié)果；IBRNet 的渲染結(jié)果包含圖像邊緣周?chē)暮谏珎斡埃鐖D 3 所示；K-Planse 無(wú)法重建動(dòng)態(tài)人體以及不同的背景區(qū)域。

表 6 展示了可微深度剝離算法的有效性，4K4D 比基于 CUDA 的方法快 7 倍以上。

本文還在表 7 中報(bào)告了 4K4D 在不同分辨率的不同硬件（RTX 3060、3090 和 4090）上的渲染速度。

更多細(xì)節(jié)請(qǐng)參見(jiàn)原論文。