設(shè)定一個3D場景，你便可以用文字編織你的劇情。

一句話，就能讓兩個人激烈爭吵。

吵完之后，又溫馨共舞起來~

想怎么排就怎么排，就像影視拍攝或舞臺劇的編排一樣，只需在劇本中設(shè)定角色的行動、互動和環(huán)境要素，就能自動生成符合邏輯的3D角色動畫，讓你的劇情真正“動”起來。

來自北京航空航天大學(xué)、香港中文大學(xué)（深圳）、悉尼科技大學(xué)、中山大學(xué)等高校的研究者提出Sitcom-Crafter。成果已被ICLR 2025會議接收。

作為一項(xiàng)探索性研究，它重點(diǎn)解決基于場景的多人交互運(yùn)動生成問題，嘗試如何整合多種動作生成技術(shù)，為創(chuàng)意工作者提供更加高效的工具。

來看看是如何解決的吧。

助你打造3D劇情世界

你是否曾夢想，只需撰寫一個劇本，就能在3D場景中自動呈現(xiàn)生動的角色演出？現(xiàn)在，這一愿景正逐步成為現(xiàn)實(shí)！

在動畫和游戲制作中，角色的動作設(shè)計(jì)是一項(xiàng)關(guān)鍵任務(wù)，通常需要人工精細(xì)調(diào)節(jié)或依賴昂貴的動作捕捉技術(shù)。

而現(xiàn)有的自動化方案往往局限于單一類型的動作，難以滿足復(fù)雜劇情中多人互動和場景交互的需求。

Sitcom-Crafter的核心創(chuàng)新在于場景感知的多人交互運(yùn)動生成。

在多人互動的3D劇情動畫中，角色之間的動作協(xié)調(diào)和場景適應(yīng)性是決定動畫質(zhì)量的關(guān)鍵。Sitcom-Crafter提出了場景感知的角色-角色交互生成模塊，專門解決多人交互中的碰撞、動作同步以及場景適應(yīng)性等問題。

現(xiàn)有的多人交互運(yùn)動生成方法未考慮3D場景信息，直接應(yīng)用到3D場景時，角色容易與環(huán)境物體發(fā)生嚴(yán)重碰撞。

Sitcom-Crafter采用自監(jiān)督SDF（Signed Distance Function）策略，在訓(xùn)練過程中自動生成環(huán)境3D體素點(diǎn)信息，自動標(biāo)注哪些區(qū)域可行走，哪些為障礙物：

• 提取角色運(yùn)動軌跡，生成3D網(wǎng)格模型
• 計(jì)算步行區(qū)域的凸包，標(biāo)記角色可活動的地面范圍
• 合成3D障礙物，通過二值SDF計(jì)算物體分布
• 將SDF作為模型條件輸入，在生成過程中主動規(guī)避場景碰撞

基于此，Sitcom-Crafter在無需額外數(shù)據(jù)采集的情況下，利用已有的人體標(biāo)記點(diǎn)數(shù)據(jù)智能推測場景信息，自動生成物理合理的互動，使角色動作更加自然。這一創(chuàng)新降低了數(shù)據(jù)成本，提高了創(chuàng)作效率，為動畫和游戲行業(yè)提供了一種新的探索方向。

數(shù)據(jù)規(guī)范化策略，優(yōu)化角色交互建模

傳統(tǒng)方法在多人交互數(shù)據(jù)處理時，采用單角色歸一化，即將一個角色固定在原點(diǎn)，另一角色相對其位置進(jìn)行建模。然而，這種方式導(dǎo)致模型難以同時學(xué)習(xí)兩位角色的動態(tài)特性。

Sitcom-Crafter提出了雙角色局部歸一化策略：

• 每個角色的骨盆位置，作為局部坐標(biāo)原點(diǎn)
• 所有骨架標(biāo)記點(diǎn)，相對于角色自身骨盆位置計(jì)算
• 僅對骨盆的全局位移建模，簡化數(shù)據(jù)分布

通過這一策略，Sitcom-Crafter使兩位角色的運(yùn)動分布更加一致，避免了傳統(tǒng)方法中一方角色較易學(xué)習(xí)，而另一方角色較難學(xué)習(xí)的問題。

多模塊協(xié)同，讓角色動作更加自然

Sitcom-Crafter采用“核心動作生成”+“增強(qiáng)優(yōu)化”的雙類型模塊架構(gòu)，以確保動作的多樣性、流暢性與一致性。

三大核心生成模塊——支撐劇情中最重要的角色動作

角色移動 （Locomotion）：基于前沿技術(shù)，角色可在3D場景中自然行走。
角色-場景交互 （Human-Scene Interaction）：角色可感知環(huán)境，與物體進(jìn)行符合物理邏輯的交互。
角色-角色互動 （Human-Human Interaction）：采用創(chuàng)新的3D場景感知方法，減少角色之間及角色與場景的碰撞，使動作更加協(xié)調(diào)。

五大增強(qiáng)模塊——讓生成的動畫更具沉浸感

• 劇情解析：AI自動拆解劇本，轉(zhuǎn)化為具體的角色動作指令。
• 動作同步：確保多個角色在互動時節(jié)奏匹配，避免生硬的動作銜接。
• 手勢優(yōu)化：智能匹配手部動作，使角色的表現(xiàn)更加生動自然。
• 碰撞修正：檢測并修復(fù)角色之間的潛在碰撞問題，提升動畫流暢度。
• 3D角色重定向：將動作適配至不同風(fēng)格的3D角色模型，保證最終視覺效果。

Sitcom-Crafter充分展現(xiàn)了其在智能化角色動畫生成方面的強(qiáng)大潛力。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能夠在多個開源3D場景中生成多樣化且符合物理約束的角色動作。下圖摘錄的部分實(shí)驗(yàn)數(shù)據(jù)進(jìn)一步驗(yàn)證了Sitcom-Crafter在物理一致性和約束生成能力方面的卓越表現(xiàn)。

（FS：足部滑動檢測、FP：足部穿透檢測、HSP：角色與場景碰撞檢測、HHP：角色間干擾檢測）

Sitcom-Crafter在3D劇情動畫和游戲制作領(lǐng)域展現(xiàn)出廣闊的應(yīng)用前景，為多角色動作生成提供了創(chuàng)新性的解決方案，進(jìn)一步推動了角色動畫創(chuàng)作的智能化進(jìn)程。

項(xiàng)目主頁：
https://windvchen.github.io/Sitcom-Crafter/

論文鏈接：https://arxiv.org/abs/2410.10790