相比于依靠創(chuàng)作者手繪的動(dòng)畫，木偶動(dòng)畫的制作是個(gè)非常繁瑣的過程，我們需要將一個(gè)動(dòng)作分解成若干個(gè)環(huán)節(jié)，逐幀拍攝再連續(xù)放映為影片。近日，Adobe 和康奈爾大學(xué)提出了一種名為「變形木偶模板」的動(dòng)畫制作方法，可實(shí)現(xiàn)基于少量卡通角色樣本生成新角色動(dòng)作，和木偶動(dòng)畫的制作方法倒是有異曲同工之妙。

近日，Adobe 和康奈爾大學(xué)的研究人員提出一種基于學(xué)習(xí)的動(dòng)畫制作方法——基于卡通角色的少量圖像樣本就可生成新動(dòng)畫。

傳統(tǒng)動(dòng)畫制作中，每一幀都是由創(chuàng)作者親手繪制完成的，因而輸入的圖像缺乏共同結(jié)構(gòu)、配準(zhǔn)或標(biāo)簽。研究人員將動(dòng)畫角色的動(dòng)作變化演繹為一個(gè)層級(jí) 2.5D 模板網(wǎng)格的變形，并設(shè)計(jì)了一種新型架構(gòu)，來學(xué)習(xí)預(yù)測(cè)能夠匹配模板和目標(biāo)圖像的網(wǎng)格變形，從而實(shí)現(xiàn)由多樣化的角色動(dòng)作集合中抽象出共同的低維結(jié)構(gòu)。研究人員將可微渲染和網(wǎng)格感知（mesh-aware）模型結(jié)合起來對(duì)齊通用模板，哪怕只有少量卡通角色圖像可以用來訓(xùn)練也沒關(guān)系。

除了動(dòng)作，卡通角色的外觀也會(huì)因?yàn)殛幱啊㈦x面運(yùn)動(dòng)（out-of-plane motion）和圖片藝術(shù)效果而呈現(xiàn)細(xì)微的差異。研究人員使用圖像平移網(wǎng)絡(luò)（image translation network）來捕捉這些細(xì)微變化，并改進(jìn)了網(wǎng)格渲染結(jié)果。他們還為了生成更高質(zhì)量的卡通角色新動(dòng)畫搭建了一個(gè)端到端的模型，這個(gè)模型可用于合成中間幀和創(chuàng)建數(shù)據(jù)驅(qū)動(dòng)的變形，其模板擬合（template fitting）步驟在檢測(cè)圖像配準(zhǔn)方面的效果明顯優(yōu)于當(dāng)前的通用技術(shù)。

Adobe 新方法生成圖像的 1024 × 1024 版本示例。

卡通角色動(dòng)畫制作的難點(diǎn)

傳統(tǒng)的角色動(dòng)畫制作過程較為繁瑣，需要多名創(chuàng)作者合力，并且要非常細(xì)致地完成每一幀動(dòng)作的繪制。

[[278987]]

在《起風(fēng)了：1000日的創(chuàng)作記錄》中，宮崎駿透露，這幾秒鐘的鏡頭耗時(shí)1年零3個(gè)月。

人類在觀察多個(gè)動(dòng)作序列后，很容易想象出這個(gè)角色在做其他姿勢(shì)時(shí)的細(xì)節(jié)樣貌，但這對(duì)于算法而言沒那么容易：關(guān)節(jié)接合、藝術(shù)效果和視角變化等都會(huì)對(duì)圖像外觀產(chǎn)生大量細(xì)微差別，這些極大增加了提取底層角色結(jié)構(gòu)的復(fù)雜度。人類的自然圖像尚且可以依賴大量標(biāo)注或數(shù)據(jù)來提取共同結(jié)構(gòu)，但這種方法不適用于卡通角色，因?yàn)橥負(fù)浣Y(jié)構(gòu)、幾何和繪畫風(fēng)格不具備那么強(qiáng)的一致性。

Adobe 的解決之道

正是為了解決這一難題，Adobe 提出了一種依靠「變形木偶模板（deformable puppet template）」去基于少量圖像樣本生成動(dòng)畫角色新外觀的方法。

研究人員先假設(shè)所有的角色姿勢(shì)都可以通過扭曲變形模板來生成，開發(fā)出一個(gè)變形網(wǎng)絡(luò)（deformation network），以及這個(gè)網(wǎng)絡(luò)編碼圖像和解碼模板的變形參數(shù)；然后在可微渲染層中使用這些參數(shù)，渲染出與輸入幀相匹配的圖像。重建損失可在所有階段中進(jìn)行反向傳播，從而學(xué)習(xí)如何對(duì)所有訓(xùn)練幀登記該模板。

不過，渲染結(jié)果的姿勢(shì)雖然合理，但這個(gè)結(jié)果相對(duì)于創(chuàng)作者繪制成的圖像還是有些遜色，因?yàn)樗鼈儍H僅扭曲了一個(gè)參考輸入，沒有捕捉到陰影、藝術(shù)效果等因素造成的輕微外觀差別。為了進(jìn)一步改善渲染結(jié)果的視覺質(zhì)量，研究人員使用圖像平移網(wǎng)絡(luò)來合成最終外觀。

這項(xiàng)研究用到的是學(xué)界和工業(yè)界常用的層級(jí) 2.5D 變形模型（layered 2.5D deformable model），再匹配上多種傳統(tǒng)人工繪制動(dòng)畫風(fēng)格。如此一來，相對(duì)于需要大量專業(yè)知識(shí)才能使用的 3D 建模模板，用戶會(huì)輕松許多。假如用戶想生成木偶，選擇單個(gè)幀，再將前景角色分割成多個(gè)身體構(gòu)成組件，然后就可以使用標(biāo)準(zhǔn)三角剖分（triangulation）工具將其轉(zhuǎn)化為網(wǎng)格。

在六個(gè)動(dòng)畫角色的制作任務(wù)中，研究人員使用 70%-30% 的訓(xùn)練-測(cè)試分割比例去評(píng)估了這個(gè)新方法：

首先，評(píng)估模型重建輸入幀的效果，發(fā)現(xiàn)其輸出的結(jié)果比當(dāng)前最優(yōu)的光流和自編碼器技術(shù)更加準(zhǔn)確。

其次，評(píng)估登記模板（registered template）估計(jì)出的配準(zhǔn)質(zhì)量，發(fā)現(xiàn)其效果優(yōu)于圖像配準(zhǔn)方法。

最后，證明該模型可用于數(shù)據(jù)驅(qū)動(dòng)的動(dòng)畫制作，即合成動(dòng)畫幀由訓(xùn)練時(shí)獲取的角色外觀決定。研究人員構(gòu)建了合成中間幀和根據(jù)用戶指定變形制作動(dòng)畫的原型應(yīng)用，根據(jù)角色生成合理變形后的新圖像。相比于計(jì)算機(jī)圖形學(xué)基于能量的傳統(tǒng)優(yōu)化技術(shù)，這一數(shù)據(jù)驅(qū)動(dòng)方法得到的角色姿勢(shì)更加逼真，也更加接近創(chuàng)作者繪畫水準(zhǔn)。

方法

這項(xiàng)研究的目標(biāo)是學(xué)習(xí)一個(gè)變形模型，基于一組無標(biāo)注圖像集合生成卡通角色。首先，用戶通過分割一個(gè)參考幀來創(chuàng)建層級(jí)變形模板木偶；然后訓(xùn)練一個(gè)兩階神經(jīng)網(wǎng)絡(luò)：第一階段學(xué)習(xí)如何扭曲木偶模板來重新設(shè)計(jì)角色外觀，從而將變形木偶與輸入序列中的每一幀進(jìn)行匹配；第二階段改進(jìn)變形木偶的渲染結(jié)果，實(shí)現(xiàn)上個(gè) 2D 扭曲階段無法呈現(xiàn)的紋理變化和動(dòng)作效果。

層級(jí)變形木偶

圖 1：變形木偶。a）為每一個(gè)身體部位創(chuàng)建單獨(dú)的網(wǎng)格，并標(biāo)記關(guān)節(jié)（見圖中圓圈）；b）將這些網(wǎng)格連接起來，最終網(wǎng)格的 UV 圖像包括分割紋理圖的平移版本。

與 3D 建模不同，層級(jí) 2D 木偶的使用方法要簡(jiǎn)單得多，即使沒有經(jīng)驗(yàn)的用戶也可以使用。首先，用戶選擇一個(gè)參考幀，提供不同身體部位及其順序的輪廓，然后用標(biāo)準(zhǔn)三角剖分算法為每個(gè)部位生成網(wǎng)格，并在兩個(gè)部位重疊區(qū)域的質(zhì)心處創(chuàng)建關(guān)節(jié)點(diǎn)；之后運(yùn)行中間點(diǎn)網(wǎng)格細(xì)分（midpoint mesh subdivision），就可以調(diào)整更多細(xì)節(jié)，得到更加精細(xì)的網(wǎng)格了。

變形網(wǎng)絡(luò)

獲得變形網(wǎng)絡(luò)模板后，就可以學(xué)習(xí)如何使模板變形以匹配目標(biāo)角色圖像的新姿勢(shì)了。

圖 2 展示了訓(xùn)練架構(gòu)：

圖 2：訓(xùn)練架構(gòu)。編碼器-解碼器網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)格變形，條件生成對(duì)抗網(wǎng)絡(luò)改進(jìn)渲染圖像，以捕捉紋理變化。

變形網(wǎng)絡(luò)的輸入指的是初始網(wǎng)格和使用新姿勢(shì)的目標(biāo)角色圖像，編碼器-解碼器網(wǎng)絡(luò)通過卷積濾波器將目標(biāo)圖像編碼至瓶頸層，然后通過全連接層將其解碼為頂點(diǎn)位置偏移（vertex position offset）。這樣一來，網(wǎng)絡(luò)就能夠識(shí)別輸入圖像中的姿勢(shì)，并推斷出生成這一姿勢(shì)的合適模板變形。

外觀改進(jìn)網(wǎng)絡(luò)

盡管變形網(wǎng)絡(luò)可以捕捉到大部分關(guān)節(jié)，但還是有一些細(xì)微的外觀效果變化（如藝術(shù)風(fēng)格、陰影效果和離面運(yùn)動(dòng)）無法通過以上步驟來實(shí)現(xiàn)。

所以研究人員跟進(jìn)推出了「外觀改進(jìn)網(wǎng)絡(luò)」，對(duì)變形得到的圖像再進(jìn)行細(xì)化處理。該架構(gòu)和訓(xùn)練步驟類似于條件生成對(duì)抗網(wǎng)絡(luò)。生成器對(duì)渲染圖像進(jìn)行精細(xì)處理，使其更加自然貼合。

實(shí)驗(yàn)結(jié)果及應(yīng)用

圖 3：輸入圖像、Adobe 方法的渲染結(jié)果和最終結(jié)果，以及 PWC-Net [55] 和 DAE [52] 的結(jié)果。（輸入圖像中前三個(gè)角色由 Zuzana Studena 繪制，第四個(gè)角色由 Adobe Character Animator 繪制。）

表 1：目標(biāo)圖像和生成圖像之間的平均 L2 距離。該表展示了 Adobe 方法的渲染圖像和生成圖像與 PWC-Net [55]、Deforming Autoencoders [52] 的對(duì)比結(jié)果。最后一列表示六個(gè)不同角色的平均 L2 距離。

[[278989]]

圖 4：將 Adobe 方法的輸出結(jié)果渲染為 1024 × 1024 圖像的示例。