本文介紹一種人類 - 場景交互合成方法

人類 - 場景交互（HSI）生成對于具身人工智能、虛擬現(xiàn)實和機器人技術(shù)等領(lǐng)域的應(yīng)用至關(guān)重要。雖然現(xiàn)有的方法能夠在三維場景中合成逼真的人類動作，并生成看似合理的人與物體之間的交互，但這些方法嚴重依賴于包含配對的三維場景和動作捕捉數(shù)據(jù)的數(shù)據(jù)集。而在各種不同的環(huán)境和交互情況下收集這些數(shù)據(jù)既昂貴又耗時。本文介紹一種 ZeroHSI，通過整合視頻生成技術(shù)和神經(jīng)人體技術(shù)，實現(xiàn)了零樣本的四維人類 - 場景交互合成。

模型介紹

本文提出的 ZeroHSI 方法主要通過整合視頻生成和神經(jīng)人體渲染技術(shù)，實現(xiàn)零樣本 4D 人類 - 場景交互合成，具體步驟如下：

• HSI 視頻生成：基于渲染的初始狀態(tài)和文本提示生成人類 - 場景交互（HSI）視頻。利用先進的視頻生成模型，從學(xué)習(xí)到的豐富運動先驗中提取人類 - 場景交互動作，無需 3D 人類動作或交互數(shù)據(jù)。這一步驟利用了視頻生成模型在大量數(shù)據(jù)上學(xué)習(xí)到的通用運動知識，為后續(xù)的交互合成提供基礎(chǔ)。
• 通過可微神經(jīng)渲染進行優(yōu)化：運用可微神經(jīng)渲染技術(shù)，通過最小化渲染視頻與生成的參考視頻之間的差異，來優(yōu)化每幀的相機姿態(tài)、人體姿態(tài)參數(shù)以及物體的六維姿態(tài)。具體來說，使用 3D 高斯表示場景、對象和人體，在此基礎(chǔ)上計算渲染損失，進而調(diào)整相關(guān)參數(shù)。這一過程使得生成的交互動作在視覺上更加逼真，與參考視頻的一致性更高。
• 在潛在空間中優(yōu)化結(jié)果：在 VPoser 的潛在空間中對上述優(yōu)化結(jié)果進一步處理，以提升生成動作的物理合理性。通過在潛在空間中的調(diào)整，使得生成的人類動作更加符合現(xiàn)實世界中的物理規(guī)律，避免出現(xiàn)不合理的動作姿態(tài)或交互效果。
• 數(shù)據(jù)處理與表示：在整個過程中，采用合適的數(shù)據(jù)處理和表示方法。如對場景、對象和人體使用 3D 高斯表示，這種表示方式有助于在渲染和優(yōu)化過程中更準(zhǔn)確地模擬和調(diào)整它們的形態(tài)和位置，從而提高交互合成的質(zhì)量和效率。

實驗結(jié)果

• 動多樣性豐富：與 TRUMANS、LINGO 和 CHOIS 等基線方法相比，ZeroHSI 可以生成更加多樣的人類 - 場景交互動作。它能夠捕捉到不同風(fēng)格、不同方式的交互行為，使得合成的交互場景更加生動和真實。這對于模擬現(xiàn)實世界中復(fù)雜多樣的人類行為非常重要，能夠滿足不同應(yīng)用場景對于豐富交互動作的需求。
• 物理合理性較高：通過在 VPoser 的潛在空間中對結(jié)果進行優(yōu)化，ZeroHSI 生成的動作在物理層面上更加合理。動作的姿態(tài)、力度和運動軌跡等方面都更符合現(xiàn)實世界的物理規(guī)律，避免了出現(xiàn)不自然或違背物理常識的動作。比如在與物體進行接觸和操作時，動作的力度和方式能夠合理地反映出物體的質(zhì)量、形狀等屬性。
• 零樣本合成優(yōu)勢：ZeroHSI 方法最大的優(yōu)勢在于實現(xiàn)了零樣本的 4D 人類 - 場景交互合成，無需依賴包含配對 3D 場景和動作捕捉數(shù)據(jù)的數(shù)據(jù)集。這大大降低了數(shù)據(jù)收集的成本和時間，同時也使得該方法能夠在更廣泛的場景和對象上進行應(yīng)用，具有更強的泛化能力。

文轉(zhuǎn)載自公眾號瓦力算法學(xué)研所，作者：喜歡瓦力的卷卷

原文鏈接：??https://mp.weixin.qq.com/s/y1VtUO1hVvb7oFdobqPl8w??