「空間智能」和「世界模型」是最近學術界和產業(yè)界非?；馃岬难芯糠较?，走向虛實結合、模擬世界機理的關鍵一步，就是創(chuàng)造出一個生動的虛擬世界。

然而，想要打造豐富多樣、充滿細節(jié)，同時具備高度可編輯性和物理真實性的3D虛擬世界，仍然困難重重。

為了解決這些難題，來自中國科學院自動化研究所和北京科技大學的聯(lián)合團隊，首次提出了一種全新的3D場景生成框架SceneX，只需簡單的文字描述，就能快速生成高質量的3D虛擬場景。

不論是遼闊的自然風景，還是充滿活力的城市街道，模型都能輕松應對。

圖片

網站：https://zhouzq1.github.io/SceneX/

論文：https://arxiv.org/abs/2403.15698

更重要的是，SceneX還能根據需求靈活調整，讓場景更貼合用戶設想。

有了SceneX，虛擬世界的構建也會更輕松，簡單且高效。

SceneX開啟高效、逼真場景生成新時代

SceneX以創(chuàng)新的方式打破傳統(tǒng)局限，全面提升效率與真實感，主要包括兩個核心模塊：

PCGHub：通過集成多種程序化生成模塊并封裝為標準化API，PCGHub提供了一個靈活的平臺，解決單一生成模塊因固有算法和規(guī)則受限而導致的局限性，大幅擴展了資源生成的多樣性和靈活性。

PCGPlanner：作為智能規(guī)劃器，PCGPlanner高效協(xié)調PCGHub的資源完成場景生成。其全自動化流程包括場景分解、地形生成、資產生成與檢索、資產放置等階段。通過模塊化設計，確保生成結果的連貫性與幾何一致性。

相比傳統(tǒng)方法需要數(shù)周完成的大規(guī)模場景建模，SceneX將時間壓縮至數(shù)小時，同時支持通過簡單的文字指令精確控制場景的細節(jié)。SceneX的跨模態(tài)協(xié)同能力，賦予場景生成前所未有的靈活性與可控性。

圖片

圖1：SceneX可根據文本指令自動生成大規(guī)模3D自然場景或城市。生成的模型具備精細的幾何結構、真實的材質紋理和自然的光照效果，可無縫應用于工業(yè)流程

PCGHub：多樣化程序化資產與布局生成平臺

場景的多樣性離不開資產的多樣性。

為此，PCGHub提供了一個集成豐富程序化生成模塊和3D資產的平臺，旨在解決傳統(tǒng)方法的局限性并提升內容真實感。

PCGHub提供了172個涵蓋自然環(huán)境、建筑等多領域的程序化資產，并配備了散射、網格、線性等多種靈活的布局生成器，使開發(fā)者能夠輕松創(chuàng)建豐富多樣的3D場景。

表1：PCGHub中各元素功能概覽

這些資產可通過調整幾何和材質參數(shù)實現(xiàn)多樣化變化。

從2,362個原始參數(shù)中提取了263個核心參數(shù)，并封裝為標準化API，每個API配有詳盡文檔，包括功能描述和參數(shù)規(guī)格，方便用戶調用和擴展。

此外，PCGHub還包含11,284個高質量3D靜態(tài)資產，極大地豐富了資源庫的多樣性。

PCGHub的推出，為生成多樣化且真實感強的場景提供了高效而靈活的解決方案。

圖2：某個樹木程序化生成模塊的API文檔、API功能及生成結果示例

PCGPlanner：智能場景生成與布局規(guī)劃

PCGPlanner利用PCGHub提供的資源，實現(xiàn)高效的自動化場景生成。整個生成過程包括四個關鍵階段：

（1）場景分解：根據用戶需求分析場景并列出所需資產；

（2）地形生成：構建基礎地形并應用適當?shù)牟馁|；

（3）物體生成與檢索：根據需求生成或導入場景所需的資產；

（4）資產放置：根據不同的布局類型和程序化生成器，在場景中安排資產。

圖片

圖3：SceneX框架通過四個階段將用戶文本輸入轉換為不同的3D場景：場景分解階段、地形生成階段、物體生成和檢索階段以及資產放置階段

一系列實驗驗證了SceneX在質量、效率和場景編輯上的全方位優(yōu)勢。主要成果如下：

用戶與專家一致好評

在對場景質量進行評分時，邀請了用戶和專業(yè)設計師參與測試。

結果表明，SceneX生成的場景獲得了用戶和專家的一致認可，評分結果幾乎持平。

這意味著，無論是普通用戶還是行業(yè)專家，都對SceneX生成的場景贊不絕口。

表2：美學平均得分（AS）和美學專家平均得分（AES）的比較分析

圖4：不同場景下個性化編輯結果的可視化

圖5：SceneX場景生成效果對比

所見即所得的精準還原

通過提示詞與場景匹配度評估，SceneX展現(xiàn)了卓越的語義理解和生成能力。

無論是靜謐的河邊風光，還是繁華的城市景象，SceneX都能完美復現(xiàn)用戶想象，實現(xiàn)「所見即所得」。

圖6：大規(guī)模場景和城市生成結果

效率無與倫比

時間就是一切，而SceneX讓場景生成變得又快又準。

實驗結果顯示，生成一片壯麗的自然景觀只需要短短幾分鐘，打造一座大型城市也快得令人驚訝。

圖片

結語

SceneX框架展示了程序化內容生成與多Agent工作流結合的巨大潛力，為大規(guī)模場景生成提供了全新的解決方案。

通過其強大的可控性和高質量的生成能力，SceneX為虛擬世界構建、游戲開發(fā)、影視制作等領域開辟了新的可能性。

未來，SceneX將進一步優(yōu)化生成過程，為用戶提供更加高效便捷的場景生成體驗。

參考資料：https://arxiv.org/abs/2403.15698