相比于依靠創(chuàng)作者手繪的動畫，木偶動畫的制作是個非常繁瑣的過程，我們需要將一個動作分解成若干個環(huán)節(jié)，逐幀拍攝再連續(xù)放映為影片。近日，Adobe 和康奈爾大學提出了一種名為「變形木偶模板」的動畫制作方法，可實現(xiàn)基于少量卡通角色樣本生成新角色動作，和木偶動畫的制作方法倒是有異曲同工之妙。

近日，Adobe 和康奈爾大學的研究人員提出一種基于學習的動畫制作方法——基于卡通角色的少量圖像樣本就可生成新動畫。

傳統(tǒng)動畫制作中，每一幀都是由創(chuàng)作者親手繪制完成的，因而輸入的圖像缺乏共同結(jié)構(gòu)、配準或標簽。研究人員將動畫角色的動作變化演繹為一個層級 2.5D 模板網(wǎng)格的變形，并設(shè)計了一種新型架構(gòu)，來學習預(yù)測能夠匹配模板和目標圖像的網(wǎng)格變形，從而實現(xiàn)由多樣化的角色動作集合中抽象出共同的低維結(jié)構(gòu)。研究人員將可微渲染和網(wǎng)格感知（mesh-aware）模型結(jié)合起來對齊通用模板，哪怕只有少量卡通角色圖像可以用來訓練也沒關(guān)系。

除了動作，卡通角色的外觀也會因為陰影、離面運動（out-of-plane motion）和圖片藝術(shù)效果而呈現(xiàn)細微的差異。研究人員使用圖像平移網(wǎng)絡(luò)（image translation network）來捕捉這些細微變化，并改進了網(wǎng)格渲染結(jié)果。他們還為了生成更高質(zhì)量的卡通角色新動畫搭建了一個端到端的模型，這個模型可用于合成中間幀和創(chuàng)建數(shù)據(jù)驅(qū)動的變形，其模板擬合（template fitting）步驟在檢測圖像配準方面的效果明顯優(yōu)于當前的通用技術(shù)。

Adobe 新方法生成圖像的 1024 × 1024 版本示例。

卡通角色動畫制作的難點

傳統(tǒng)的角色動畫制作過程較為繁瑣，需要多名創(chuàng)作者合力，并且要非常細致地完成每一幀動作的繪制。

[[278987]]

在《起風了：1000日的創(chuàng)作記錄》中，宮崎駿透露，這幾秒鐘的鏡頭耗時1年零3個月。

人類在觀察多個動作序列后，很容易想象出這個角色在做其他姿勢時的細節(jié)樣貌，但這對于算法而言沒那么容易：關(guān)節(jié)接合、藝術(shù)效果和視角變化等都會對圖像外觀產(chǎn)生大量細微差別，這些極大增加了提取底層角色結(jié)構(gòu)的復(fù)雜度。人類的自然圖像尚且可以依賴大量標注或數(shù)據(jù)來提取共同結(jié)構(gòu)，但這種方法不適用于卡通角色，因為拓撲結(jié)構(gòu)、幾何和繪畫風格不具備那么強的一致性。

Adobe 的解決之道

正是為了解決這一難題，Adobe 提出了一種依靠「變形木偶模板（deformable puppet template）」去基于少量圖像樣本生成動畫角色新外觀的方法。

研究人員先假設(shè)所有的角色姿勢都可以通過扭曲變形模板來生成，開發(fā)出一個變形網(wǎng)絡(luò)（deformation network），以及這個網(wǎng)絡(luò)編碼圖像和解碼模板的變形參數(shù)；然后在可微渲染層中使用這些參數(shù)，渲染出與輸入幀相匹配的圖像。重建損失可在所有階段中進行反向傳播，從而學習如何對所有訓練幀登記該模板。

不過，渲染結(jié)果的姿勢雖然合理，但這個結(jié)果相對于創(chuàng)作者繪制成的圖像還是有些遜色，因為它們僅僅扭曲了一個參考輸入，沒有捕捉到陰影、藝術(shù)效果等因素造成的輕微外觀差別。為了進一步改善渲染結(jié)果的視覺質(zhì)量，研究人員使用圖像平移網(wǎng)絡(luò)來合成最終外觀。

這項研究用到的是學界和工業(yè)界常用的層級 2.5D 變形模型（layered 2.5D deformable model），再匹配上多種傳統(tǒng)人工繪制動畫風格。如此一來，相對于需要大量專業(yè)知識才能使用的 3D 建模模板，用戶會輕松許多。假如用戶想生成木偶，選擇單個幀，再將前景角色分割成多個身體構(gòu)成組件，然后就可以使用標準三角剖分（triangulation）工具將其轉(zhuǎn)化為網(wǎng)格。

在六個動畫角色的制作任務(wù)中，研究人員使用 70%-30% 的訓練-測試分割比例去評估了這個新方法：

首先，評估模型重建輸入幀的效果，發(fā)現(xiàn)其輸出的結(jié)果比當前最優(yōu)的光流和自編碼器技術(shù)更加準確。

其次，評估登記模板（registered template）估計出的配準質(zhì)量，發(fā)現(xiàn)其效果優(yōu)于圖像配準方法。

最后，證明該模型可用于數(shù)據(jù)驅(qū)動的動畫制作，即合成動畫幀由訓練時獲取的角色外觀決定。研究人員構(gòu)建了合成中間幀和根據(jù)用戶指定變形制作動畫的原型應(yīng)用，根據(jù)角色生成合理變形后的新圖像。相比于計算機圖形學基于能量的傳統(tǒng)優(yōu)化技術(shù)，這一數(shù)據(jù)驅(qū)動方法得到的角色姿勢更加逼真，也更加接近創(chuàng)作者繪畫水準。

方法

這項研究的目標是學習一個變形模型，基于一組無標注圖像集合生成卡通角色。首先，用戶通過分割一個參考幀來創(chuàng)建層級變形模板木偶；然后訓練一個兩階神經(jīng)網(wǎng)絡(luò)：第一階段學習如何扭曲木偶模板來重新設(shè)計角色外觀，從而將變形木偶與輸入序列中的每一幀進行匹配；第二階段改進變形木偶的渲染結(jié)果，實現(xiàn)上個 2D 扭曲階段無法呈現(xiàn)的紋理變化和動作效果。

層級變形木偶

圖 1：變形木偶。a）為每一個身體部位創(chuàng)建單獨的網(wǎng)格，并標記關(guān)節(jié)（見圖中圓圈）；b）將這些網(wǎng)格連接起來，最終網(wǎng)格的 UV 圖像包括分割紋理圖的平移版本。

與 3D 建模不同，層級 2D 木偶的使用方法要簡單得多，即使沒有經(jīng)驗的用戶也可以使用。首先，用戶選擇一個參考幀，提供不同身體部位及其順序的輪廓，然后用標準三角剖分算法為每個部位生成網(wǎng)格，并在兩個部位重疊區(qū)域的質(zhì)心處創(chuàng)建關(guān)節(jié)點；之后運行中間點網(wǎng)格細分（midpoint mesh subdivision），就可以調(diào)整更多細節(jié)，得到更加精細的網(wǎng)格了。

變形網(wǎng)絡(luò)

獲得變形網(wǎng)絡(luò)模板后，就可以學習如何使模板變形以匹配目標角色圖像的新姿勢了。

圖 2 展示了訓練架構(gòu)：

圖 2：訓練架構(gòu)。編碼器-解碼器網(wǎng)絡(luò)學習網(wǎng)格變形，條件生成對抗網(wǎng)絡(luò)改進渲染圖像，以捕捉紋理變化。

變形網(wǎng)絡(luò)的輸入指的是初始網(wǎng)格和使用新姿勢的目標角色圖像，編碼器-解碼器網(wǎng)絡(luò)通過卷積濾波器將目標圖像編碼至瓶頸層，然后通過全連接層將其解碼為頂點位置偏移（vertex position offset）。這樣一來，網(wǎng)絡(luò)就能夠識別輸入圖像中的姿勢，并推斷出生成這一姿勢的合適模板變形。

外觀改進網(wǎng)絡(luò)

盡管變形網(wǎng)絡(luò)可以捕捉到大部分關(guān)節(jié)，但還是有一些細微的外觀效果變化（如藝術(shù)風格、陰影效果和離面運動）無法通過以上步驟來實現(xiàn)。

所以研究人員跟進推出了「外觀改進網(wǎng)絡(luò)」，對變形得到的圖像再進行細化處理。該架構(gòu)和訓練步驟類似于條件生成對抗網(wǎng)絡(luò)。生成器對渲染圖像進行精細處理，使其更加自然貼合。

實驗結(jié)果及應(yīng)用

圖 3：輸入圖像、Adobe 方法的渲染結(jié)果和最終結(jié)果，以及 PWC-Net [55] 和 DAE [52] 的結(jié)果。（輸入圖像中前三個角色由 Zuzana Studena 繪制，第四個角色由 Adobe Character Animator 繪制。）

表 1：目標圖像和生成圖像之間的平均 L2 距離。該表展示了 Adobe 方法的渲染圖像和生成圖像與 PWC-Net [55]、Deforming Autoencoders [52] 的對比結(jié)果。最后一列表示六個不同角色的平均 L2 距離。

[[278989]]

圖 4：將 Adobe 方法的輸出結(jié)果渲染為 1024 × 1024 圖像的示例。