本文經AIGC Studio公眾號授權轉載，轉載請聯(lián)系出處。

單目視覺4D重建再突破！谷歌DeepMind等團隊，推出了多視角視頻擴散模型CAT4D，它支持輸入單個視角的視頻，轉換后可以自行拖動。

該模型可以分別固定視角和時間，然后分別輸出了視角不動（機位固定）時間變、時間不變視角動，以及視角時間均變動的效果。 如下圖所示：

相關鏈接

? 論文：https://arxiv.org/pdf/2411.18613

? 主頁：https://cat-4d.github.io/

論文介紹

    CAT4D：使用多視圖視頻擴散模型以 4D 形式創(chuàng)建任何內容

工作原理

它是如何運作的

給定輸入單目視頻，我們使用多視圖視頻擴散模型生成新視點的多視圖視頻。然后，使用這些生成的視頻將動態(tài) 3D 場景重建為變形 3D 高斯。

獨立的攝像頭和時間控制

CAT4D 的核心是多視圖視頻擴散模型，它可以解開攝像機和場景運動的控制。我們通過給定 3 個輸入圖像（帶有相機姿勢）生成三種類型的輸出序列來演示這一點：1）固定視點和變化時間，2）變化視點和固定時間，3）變化視點和變化時間。

比較

將我們的方法與不同任務的基線進行比較。嘗試選擇不同的任務和場景！

給定 3 個輸入圖像，我們生成三種類型的輸出序列：

1. 固定視點和變化時間

2. 變化視點和固定時間

3. 變化視點和變化時間。

僅給定動態(tài)場景的一些姿勢圖像，我們就可以通過重建與一個輸入視圖的時間相對應的靜態(tài) 3D 場景來創(chuàng)建“子彈時間”效果。三個輸入圖像顯示在左側，其中第一個是目標子彈時間幀。

DyCheck 數據集上單目視頻動態(tài)場景重建的比較。