TripoSG：一鍵使用AI在數(shù)秒內(nèi)生成3D設(shè)計(jì)，支持文本/圖像/涂鴉等多種方式，引領(lǐng)3D生成潮流！
TripoAI發(fā)布了最新3D生成模型 TripoSG，能夠生成與輸入圖像精確對應(yīng)的高保真 3D 形狀樣本。涵蓋各種復(fù)雜結(jié)構(gòu)、多樣風(fēng)格、富有想象力的設(shè)計(jì)、多對象組合以及細(xì)節(jié)豐富的輸出，展現(xiàn)了其強(qiáng)大的生成能力。
主要特點(diǎn)總結(jié)如下：
- 高保真生成：生成具有清晰幾何特征、精細(xì)表面細(xì)節(jié)和復(fù)雜結(jié)構(gòu)的網(wǎng)格
- 語義一致性：生成的形狀準(zhǔn)確反映輸入圖像的語義和外觀
- 強(qiáng)大的泛化能力：處理多種輸入風(fēng)格，包括逼真的圖像、卡通和素描
- 穩(wěn)健的性能：即使對于具有復(fù)雜拓?fù)涞木哂刑魬?zhàn)性的輸入，也能創(chuàng)建連貫的形狀
TripoSG 模型生成的高質(zhì)量 3D 形狀樣本。涵蓋各種復(fù)雜結(jié)構(gòu)、多樣風(fēng)格、富有想象力的設(shè)計(jì)、多對象組合以及細(xì)節(jié)豐富的輸出，展現(xiàn)了其強(qiáng)大的生成能力。
相關(guān)鏈接
- 論文：https://arxiv.org/abs/2502.06608
- 代碼：https://github.com/VAST-AI-Research/TripoSG
- 主頁：https://yg256li.github.io/TripoSG-Page/
- Tripo3d官網(wǎng)：https://www.tripo3d.ai/
- 試用：https://huggingface.co/spaces/VAST-AI/TripoSG
論文介紹
TripoSG：使用大規(guī)模整流流模型進(jìn)行高保真三維形狀合成
擴(kuò)散技術(shù)的最新進(jìn)展將圖像和視頻生成質(zhì)量推向了前所未有的水平，顯著加速了生成式人工智能的部署和應(yīng)用。然而，3D 形狀生成技術(shù)迄今為止發(fā)展滯后，受到 3D 數(shù)據(jù)規(guī)模的限制、3D 數(shù)據(jù)處理的復(fù)雜性以及對 3D 領(lǐng)域先進(jìn)技術(shù)的探索不足等因素制約。當(dāng)前的 3D 形狀生成方法在輸出質(zhì)量、泛化能力以及與輸入條件的匹配方面面臨著巨大挑戰(zhàn)。我們提出了TripoSG，一種新的簡化形狀擴(kuò)散范式，能夠生成與輸入圖像精確對應(yīng)的高保真 3D 網(wǎng)格。具體而言，我們提出：
- 一種用于 3D 形狀生成的大規(guī)模整流流變換器，通過在大量高質(zhì)量數(shù)據(jù)上進(jìn)行訓(xùn)練實(shí)現(xiàn)最佳保真度。
- 一種結(jié)合 SDF、法線和艾科納損失的混合監(jiān)督訓(xùn)練策略，用于 3D VAE，實(shí)現(xiàn)高質(zhì)量的 3D 重建性能。
- 構(gòu)建了一條數(shù)據(jù)處理流程，用于生成 200 萬個高質(zhì)量 3D 樣本，凸顯了數(shù)據(jù)質(zhì)量和數(shù)量在訓(xùn)練 3D 生成模型中至關(guān)重要的規(guī)則。
通過全面的實(shí)驗(yàn)，我們驗(yàn)證了新框架中每個組件的有效性。這些組件的無縫集成使 TripoSG 在 3D 形狀生成方面達(dá)到了最佳性能。由于其高分辨率能力，生成的 3D 形狀展現(xiàn)出增強(qiáng)的細(xì)節(jié)，并展現(xiàn)出對輸入圖像的出色保真度。此外，TripoSG 在從各種圖像風(fēng)格和內(nèi)容生成 3D 模型方面展現(xiàn)出更強(qiáng)大的通用性，展現(xiàn)出強(qiáng)大的泛化能力。
方法
方法概述包含兩個主要部分：(i) 數(shù)據(jù)構(gòu)建系統(tǒng)和 (ii) TripoSG 模型。
數(shù)據(jù)構(gòu)建系統(tǒng)通過一系列數(shù)據(jù)處理步驟處理來自各種數(shù)據(jù)集（例如 Objaverse 和 ShapeNet）的 3D 模型，以創(chuàng)建訓(xùn)練數(shù)據(jù)。然后，我們的 TripoSG 模型在此精選數(shù)據(jù)集上進(jìn)行訓(xùn)練，以便從單個輸入圖像生成高保真形狀。
VAE管道
TripoSG 基于 Transformer 的 VAE 架構(gòu)。上層為編碼器，下層為解碼器。
數(shù)據(jù)處理管道
TripoSG 數(shù)據(jù)構(gòu)建系統(tǒng)演示。I：數(shù)據(jù)評分程序；II：數(shù)據(jù)篩選程序；III：數(shù)據(jù)修復(fù)和增強(qiáng)程序。IV：現(xiàn)場數(shù)據(jù)生成程序。
結(jié)果比較
在相同圖像輸入下，TripoSG 與其他先前最先進(jìn)的方法的 3D 生成性能比較。
更多無紋理 3D 形狀生成結(jié)果
TripoSG 生成的各種無紋理 3D 形狀。每種形狀的第一張圖像是輸入圖像，其余四張圖像是從生成模型渲染的多視圖。
更多紋理 3D 形狀生成結(jié)果
TripoSG 生成的各種紋理 3D 形狀。每種情況下的第一張圖像是輸入圖像，其余四張圖像是從生成模型渲染的多視圖。
本文轉(zhuǎn)載自??AIGC Studio??，作者：AIGC Studio
