牛津&Meta最新！PartGen：基于多視圖擴散模型的多模態(tài)部件級3D生成和重建！
文章鏈接：https://arxiv.org/pdf/2412.18608
項目鏈接：?https://silent-chen.github.io/PartGen/
總結速覽
解決的問題
當前的3D生成與掃描技術能夠生成具有高質量形狀和紋理的3D資產，但這些資產通常是單一的、不具備結構的整體表示（如隱式神經場、高斯混合體或網格）。然而，專業(yè)應用與創(chuàng)意工作流中需要結構化的3D資產，這些資產由具有獨立意義的部分組成，便于重用、編輯與動畫制作。
提出的方案
本文提出了PartGen，能夠將無結構的3D對象轉化為具有語義意義的組成部分。方法分為兩個關鍵階段：
- 部分分割：通過多視圖擴散模型生成多個視角的一致分割圖，將3D對象分割為多個部分。
- 部分補全與重建：利用第二個多視圖擴散模型補全各部分的遮擋區(qū)域，并通過3D重建網絡生成完整的3D部件，確保部件間的無縫整合。
應用的技術
- 多視圖擴散模型：用于生成視角一致的分割圖，并捕捉多種可能的分割方案，符合藝術家分割對象的習慣。
- 生成式補全：通過上下文信息完成遮擋部件，甚至在信息缺失的情況下進行“合理幻覺”，生成完整的不可見部分。
- 3D重建網絡：將補全的視圖轉換為高質量的3D部件，實現(xiàn)模型的整體性和一致性。
達到的效果
- 提升分割與重建質量：相比現(xiàn)有分割與部件提取baseline，PartGen在分割精度和部件完整性上表現(xiàn)出色。
- 多輸入支持：支持從文本、圖像或無結構3D對象生成具有部分結構的3D資產。
- 下游任務應用：支持3D部分編輯任務，例如部件替換、移除、獨立編輯等，滿足動畫制作、游戲開發(fā)和機器人應用需求。
- 語義一致性：生成的部件語義清晰，整體結構完整，為3D理解和空間智能提供支持。
方法
PartGen是一個能夠將 3D 對象完全分解為完整 3D 部件的框架。每個部件都是獨立的、可供人類理解的、自包含的元素，組成了 3D 對象的組合表示。PartGen 能夠接受不同的輸入模態(tài)（文本提示、圖像提示或 3D 資產），并通過重新利用一個強大的多視角擴散模型來執(zhí)行部件分割和補全任務。PartGen 的概述如下圖 2 所示。
本節(jié)簡要介紹了 3D 生成的多視角擴散模型背景，以及 PartGen 如何應用于文本、圖像或 3D 模型輸入。然后，描述了 PartGen 如何自動分割、補全和重建 3D 部件。
3D 生成的背景
多視角擴散模型方法通常采用兩階段的 3D 生成方法。
多視角部件分割
通過多視角擴散的視角處理 3D 對象分割有以下幾個優(yōu)勢：
- 它能輕松集成到現(xiàn)有的多視角框架中。
- 將對象分解為部件本質上是一個非確定性、模糊的任務，因為它取決于所需的詳細程度、個人偏好以及藝術意圖。
實現(xiàn)細節(jié)
上下文部件補全
部件重建
訓練數(shù)據
根據三種需要微調的模型，對數(shù)據進行了不同的預處理：
多視角生成器數(shù)據
實驗
評估協(xié)議
首先分別評估pipeline中的兩個主要組件：部件分割和部件補全與重建。然后，評估分解后的重建結果與原始對象的匹配程度。所有實驗均使用數(shù)據集中的 100 個保留對象。
部件分割
評估協(xié)議
為分割任務設置了以下兩種場景：
排序列表通過對候選區(qū)域評分并移除冗余部分生成。隨后，將這些分割與真實分割Mk進行匹配，并報告平均精度均值（mAP）。
由于問題本身的不確定性，該精度在實際應用中可能較低：算法預測的許多部件可能無法完全匹配特定藝術家的選擇。
Baselines
采用原始的和微調后的 SAM2 作為多視角分割的基線方法，并使用以下兩種方式對 SAM2 進行微調：
- mask解碼器微調：在本文的數(shù)據集上使用真實mask和隨機選擇的種子點微調 SAM2 的mask解碼器，針對不同視角進行訓練。
- 多視角拼接微調：將四個正交視角拼接為多視角圖像I，并微調 SAM2 以預測多視角mask M（此情況下，種子點隨機落在某一視角中）。
對于每個輸入圖像和種子點，SAM2 生成三個區(qū)域：
- 自動分割：在對象上分布一組查詢點作為種子點，獲得每個種子點的三個不同區(qū)域。
- 種子分割：直接返回給定種子點的分割結果。
此外，與最新工作 Part123 進行了比較。
結果
如下表 1 所示，本文的方法在 mAP 指標上的結果顯著高于其他方法，包括微調后的 SAM2。這主要歸因于分割任務的模糊性，基于生成器的方法能夠更好地捕捉這種模糊性。定性結果如下圖 4 所示。
部件補全與重建
對于每個模型，隨機選擇一個部件索引k，以下表示中省略k以簡化符號。
評估協(xié)議
如下表 2 所示，本文的方法在性能上大幅超越基線方法。聯(lián)合多視角推理和上下文部件補全對取得良好性能至關重要。定性結果見前面圖 5。
部件重組
應用
基于部件的文本到 3D 生成
將 PartGen 應用于基于部件的文本到 3D 生成。訓練的文本到多視角生成器類似于 [76]，接受文本提示作為輸入，輸出四視圖網格。
- 示例中使用了DreamFusion的提示。
- 下圖 6 表明，PartGen 即使在高度遮擋（如橡皮糖熊）等具有挑戰(zhàn)性的情況下，也能有效生成具有清晰和完整部件的 3D 對象。
基于部件的圖像到 3D 生成
進一步擴展 PartGen 到基于部件的圖像到 3D 生成，在文本到多視角生成器的基礎上，通過類似于 [95] 的策略微調生成器以接受圖像作為輸入。上圖 6 的結果表明，PartGen 在這一任務中同樣表現(xiàn)出色。
真實世界 3D 對象分解
PartGen 還可以分解真實世界的 3D 對象。使用 Google Scanned Objects (GSO) 的對象進行實驗。
- 對于每個 GSO 3D 對象，渲染不同視角以獲得圖像網格，并按上述方式應用 PartGen。
- 上圖 6 的最后一行展示了 PartGen 在分解真實世界 3D 對象方面的效果。
3D 部件編輯
展示了分解后的 3D 部件可以通過文本輸入進一步修改。
- 如下圖 7 所示，方法的變體使得能夠基于文本提示有效編輯部件的形狀和紋理。
- 3D 編輯模型的詳細信息見補充材料。
結論
PartGen，一種從文本、圖像或非結構化 3D 對象生成或重建組成性 3D 對象的新方法。PartGen 可以重建即使是僅部分可見或完全不可見的 3D 部件，利用特制的多視角擴散先驗進行引導。還展示了 PartGen 的幾個應用，包括基于文本的部件編輯。這是朝著生成更適用于專業(yè)工作流的 3D 資產邁出的重要一步。
本文轉自AI生成未來 ，作者：AI生成未來
