捏臉玩法是裝扮類(lèi)應(yīng)用的一個(gè)核心功能。本文主要介紹了捏臉的AI相關(guān)玩法之一即基于用戶上傳的照片在淘寶人生2（又名：第二人生）一鍵生成專(zhuān)屬3D數(shù)字人，闡述了淘天FC淘寶人生技術(shù)團(tuán)隊(duì)在圖片捏臉上探索的心路歷程，核心原理以及技術(shù)框架。本文的視角也不局限于圖片捏臉本身，也介紹了其他AI類(lèi)相關(guān)玩法在裝扮類(lèi)應(yīng)用落地的情況，希望能對(duì)大家有所啟發(fā)和幫助。

一、背景

淘寶人生是國(guó)內(nèi)用戶規(guī)模較大的裝扮類(lèi)應(yīng)用之一，在淘寶中扮演了用戶的第二人生的重要作用。淘寶用戶在淘寶既能購(gòu)物，又能自由捏臉，打造自己的虛擬形象和裝扮自己的小屋。

淘寶人生系列應(yīng)用也內(nèi)置了很多互動(dòng)類(lèi)玩法，通過(guò)提供多元的玩法體驗(yàn)讓用戶在逛淘寶時(shí)覺(jué)得好逛又好玩。

淘寶人生1和淘寶人生2風(fēng)格對(duì)比

淘寶人生先后推出了兩個(gè)版本，淘寶人生1和淘寶人生2（又名：第二人生），淘寶人生2作為淘寶人生1的延續(xù)，相比于之前的卡通風(fēng)格更偏向于超寫(xiě)實(shí)風(fēng)格，同時(shí)淘寶人生2也是市面上少有的將超寫(xiě)實(shí)風(fēng)格落地到移動(dòng)端的裝扮類(lèi)應(yīng)用。

淘寶人生2的AI玩法

虛擬服飾資產(chǎn)生成

左：AI 算命師  中：照片風(fēng)格化  右：照片捏臉

淘寶人生2提供了很多AI相關(guān)的玩法。比如購(gòu)買(mǎi)淘寶真實(shí)的衣服以后為你生成一套該樣式的虛擬服飾資產(chǎn)并穿搭到自己捏好的虛擬形象中，AI星象占卜師涂山赫言通過(guò)提供財(cái)運(yùn)占卜等服務(wù)迎合當(dāng)下年輕人的精神需求，同時(shí)照片風(fēng)格化可以將捏好的形象二次創(chuàng)作，產(chǎn)生更多好玩的風(fēng)格。

用戶還可以通過(guò)上傳圖片一鍵生成帶有自己特征的虛擬數(shù)字形象，大幅提升用戶的捏臉效率。

本文將詳細(xì)介紹照片捏臉的功能。

二、照片捏臉背景介紹

捏臉玩法是淘寶人生2中用戶剛需且高頻使用的一個(gè)核心功能。用戶在玩捏臉時(shí)一般會(huì)傾向于利用提供的捏臉滑桿DIY一個(gè)類(lèi)似自己或者自己喜愛(ài)的idol的3D虛擬形象。

根據(jù)提供的捏臉滑桿手動(dòng)捏臉且要與自己心目中的形象達(dá)到一定的相似度是一個(gè)非常耗時(shí)的過(guò)程。

整個(gè)捏臉的調(diào)節(jié)項(xiàng)有80多個(gè)，用戶需要每次進(jìn)入各個(gè)五官調(diào)節(jié)項(xiàng)的界面去調(diào)節(jié)每個(gè)值，同時(shí)每個(gè)五官調(diào)節(jié)項(xiàng)對(duì)應(yīng)還有各個(gè)細(xì)分區(qū)域的子調(diào)節(jié)項(xiàng)。

整體捏一張比較像的人臉不算上細(xì)節(jié)上的微調(diào)，大概需要半小時(shí)左右。

三、照片捏臉解決的痛點(diǎn)

為了追求超寫(xiě)實(shí)風(fēng)格的3D數(shù)字人形象，我們無(wú)法對(duì)八十多個(gè)五官捏臉調(diào)節(jié)項(xiàng)進(jìn)行精簡(jiǎn)去提升用戶的捏臉效率，不然會(huì)影響捏臉的表達(dá)能力。但是整個(gè)復(fù)雜的專(zhuān)業(yè)捏臉系統(tǒng)很容易消耗用戶的耐心，用戶往往在捏個(gè)10分鐘因?yàn)闊o(wú)法得到滿意的形象而被勸退，給用戶帶來(lái)不好的產(chǎn)品體驗(yàn)。

為了提升用戶的捏臉體驗(yàn)，減少用戶的捏臉時(shí)間，有沒(méi)有什么方法可以讓用戶更快的生成心目中的3D數(shù)字人形象呢？

回到文章的標(biāo)題，如何在淘寶人生2中一鍵定制3D數(shù)字人，解決用戶側(cè)手動(dòng)捏臉耗時(shí)較長(zhǎng)的痛點(diǎn)？

經(jīng)過(guò)反復(fù)討論，我們的解決方案是用戶上傳自己的照片或者自己idol的照片通過(guò)AI算法一鍵生成用戶的專(zhuān)屬3D數(shù)字人。

通過(guò)上傳用戶照片自動(dòng)捏臉可以帶來(lái)的優(yōu)點(diǎn)有：

1. 大幅提升捏臉效率，相比于原先手動(dòng)捏臉動(dòng)輒半個(gè)小時(shí)的時(shí)間，當(dāng)前照片捏臉的時(shí)間控制在5s以?xún)?nèi)，捏臉時(shí)間縮短為原有的1/360
2. 利用用戶上傳的圖片可以定制化用戶想要的形象，使得用戶更快速獲取心目中的虛擬數(shù)字形象

四、業(yè)界3D照片捏臉應(yīng)用

2D的照片風(fēng)格化應(yīng)用較多，基于輸入照片重建3D卡通形象由于技術(shù)難度較高相關(guān)應(yīng)用較少。

一般業(yè)界基于照片自動(dòng)重建3D卡通形象的應(yīng)用有三個(gè)方向：

1. 第一個(gè)方向是允許用戶個(gè)性化裝扮自己的虛擬聊天形象，并在聊天窗口中或者視頻通話中使用，隱藏用戶的真實(shí)人臉信息，提升社交的私密感；
2. 第二個(gè)方向是個(gè)性化生成用戶的數(shù)字分身，并基于該數(shù)字分身產(chǎn)生更多互動(dòng)的內(nèi)容生產(chǎn)與創(chuàng)作，通過(guò)照片捏臉提供既美又像的數(shù)字分身，提升用戶在虛擬空間的認(rèn)同感。
3. 第三個(gè)方向是用戶創(chuàng)建個(gè)性化3D游戲形象，并將捏臉形象應(yīng)用在游戲中，提升用戶的沉浸感。

五、照片捏臉技術(shù)指標(biāo)

淘寶人生2的照片捏臉更偏向于第二個(gè)方向，為淘寶用戶提供一個(gè)既像又美的數(shù)字分身，技術(shù)同學(xué)主要的負(fù)責(zé)的是“像”，美術(shù)同學(xué)負(fù)責(zé)讓形象更“美”。那么如何設(shè)置一個(gè)可靠的技術(shù)指標(biāo)去評(píng)估最終的效果有沒(méi)有達(dá)到“像”的預(yù)期呢？經(jīng)過(guò)團(tuán)隊(duì)反復(fù)的探討與調(diào)研，淘寶人生2的照片捏臉采用了業(yè)界3D人臉重建領(lǐng)域常用的評(píng)估方式之一NME指標(biāo)并結(jié)合主觀評(píng)測(cè)打分的方式評(píng)估3D數(shù)字人形象與輸入圖片的相似度。

NME指標(biāo)

公式參考：

NME指標(biāo)全稱(chēng)是normal mean error，該指標(biāo)用來(lái)評(píng)估3D重建的人臉與真實(shí)人臉的重建誤差，業(yè)界評(píng)估基于圖片重建3D人臉的NME常用的做法是將照片建模的3D人臉投影到2D平面上并計(jì)算該人臉輪廓關(guān)鍵點(diǎn)和用戶照片的人臉關(guān)鍵點(diǎn)的距離，來(lái)衡量捏臉的面部五官和輸入照片的相似度。這里的d一般取人臉框的對(duì)角線距離。

NME越大，代表重建誤差越高。

真實(shí)人臉重建算法對(duì)應(yīng)指標(biāo)

基于卡通形象的基礎(chǔ)模型的3D數(shù)字人有一定的風(fēng)格化特征，所以基于圖片捏臉的卡通形象重建都會(huì)比真實(shí)人臉重建的重建誤差要高一些。

淘寶人生2捏臉采用的評(píng)估方式

NME指標(biāo) + 主觀評(píng)測(cè)打分評(píng)估3D風(fēng)格化捏臉  

淘寶人生2的照片捏臉采用量化指標(biāo)加主觀評(píng)判的方式相結(jié)合，量化指標(biāo)覆蓋的只是人臉關(guān)鍵點(diǎn)部分的誤差，更側(cè)重于“形”，在整體“神”的相似度上還需要結(jié)合不同的人的主觀打分來(lái)評(píng)估。

六、照片捏臉難點(diǎn)

超寫(xiě)實(shí)人臉重建

用戶上傳的是2D照片，如何把2D的人臉特征遷移到3D的人臉模型上

風(fēng)格人臉重建

不但要映射到3D數(shù)字人的基礎(chǔ)模型（簡(jiǎn)稱(chēng)基底）上還要有一定的風(fēng)格化特征，比如說(shuō)有些3D形象的基礎(chǔ)模型是偏卡通的風(fēng)格，或者是偏武俠的風(fēng)格，如何保持整個(gè)基底的風(fēng)格化同時(shí)又很像用戶是整個(gè)項(xiàng)目的核心難點(diǎn)

離散屬性匹配對(duì)相似度的影響

除了臉型輪廓鼻型眼型還有哪些特征會(huì)影響到像的評(píng)判？

--- 發(fā)型，眼鏡，胡型等其他人臉屬性都會(huì)對(duì)像有影響

做照片捏臉重建要解決的主要難點(diǎn)有3個(gè)，第一個(gè)是如何將用戶上傳的2D照片的特征映射到3D人臉模型上。第二個(gè)是不但要將2D人臉的特征映射到3D人臉模型上，還要基于該風(fēng)格的卡通形象有一定的風(fēng)格化特征同時(shí)不丟失用戶的2D特征。第三個(gè)是除了臉型以外如何通過(guò)其他面部非臉型屬性去提升用戶的重建數(shù)字人的相似度。

七、淘寶人生2照片捏臉技術(shù)框架

為了解決上述照片捏臉的難點(diǎn)，整個(gè)照片捏臉技術(shù)框架分為四個(gè)模塊，預(yù)處理模塊，面部人臉屬性&非面部人臉屬性模塊以及數(shù)字人形象生成模塊。

預(yù)處理模塊

針對(duì)用戶輸入的圖片進(jìn)行合格性校驗(yàn)以及剔除敏感人物，同時(shí)會(huì)檢測(cè)用戶輸入的人臉五官關(guān)鍵點(diǎn)以及發(fā)型的mask，為接下來(lái)的面部人臉屬性模塊和非面部屬性模塊提供有效信息。

面部人臉屬性模塊

為了解決難點(diǎn)一基于單張照片進(jìn)行3D真實(shí)人臉重建的問(wèn)題，淘寶人生2使用的是基于3DMM(3D Morphable Model)重建人臉的方案。

基于3DMM技術(shù)將2D照片轉(zhuǎn)換到3D人臉的核心思想是任何一張3D人臉都可以由一張3D平均人臉與一系列人臉正交基相加組合而成。所以可以將基于單張照片重建3D人臉的問(wèn)題轉(zhuǎn)化為求解目標(biāo)3D人臉投影到2D人臉上并通過(guò)迭代求解不斷貼合輸入2D圖片對(duì)應(yīng)的人臉正交基系數(shù)的問(wèn)題。

3DMM人臉形狀基底和紋理基底

3DMM求解過(guò)程

基于3DMM重建后的3D真實(shí)人臉的特征會(huì)通過(guò)圖形學(xué)的變形操作遷移到淘寶人生2的3D卡通形象的基礎(chǔ)模型上，這樣就巧妙的解決了難點(diǎn)二的問(wèn)題，既保留了用戶特征又有了一定的風(fēng)格特征。但是由于圖形學(xué)對(duì)人臉網(wǎng)格形變整體的耗時(shí)較慢，我們是利用一個(gè)MLP（多層感知機(jī)）訓(xùn)練了一個(gè)真實(shí)人臉系數(shù)到淘寶人生2捏臉系數(shù)的映射模型，提升了整體照片捏臉的性能，爭(zhēng)取給用戶帶來(lái)更好的使用體驗(yàn)。

非面部屬性模塊

為了加強(qiáng)一些離散屬性（一般眼鏡類(lèi)型，發(fā)型，眉毛種類(lèi)以及胡型在捏臉系統(tǒng)都由一些離散的素材ID來(lái)表示，所以一般稱(chēng)為離散屬性）的表達(dá)來(lái)提升整體的相似度，我們對(duì)用戶的眼鏡，發(fā)型，眉型以及胡型都進(jìn)行了細(xì)粒度的分類(lèi)，提升用戶的非面部屬性特征與捏臉系統(tǒng)素材的匹配度，最終使得整體重建的形象更加立體飽滿。

數(shù)字人形象生成模塊

通過(guò)上述模塊得到的淘寶人生2捏臉系數(shù)，以及對(duì)應(yīng)的素材ID會(huì)經(jīng)過(guò)引擎渲染得到淘寶人生2的3D數(shù)字人形象。

這四個(gè)模塊相互配合，最終實(shí)現(xiàn)了用戶上傳一張圖片，一鍵定制用戶的專(zhuān)屬3D數(shù)字人的功能。此外每個(gè)重建的3D數(shù)字人都帶有用戶的特征，達(dá)到了生成形象的千人千面。

八、照片捏臉效果

九、總結(jié)以及后續(xù)規(guī)劃

當(dāng)前算法僅支持女版的卡通形象，基于淘寶人生2的男版卡通形象的照片捏臉正在同步研發(fā)，期待后續(xù)盡快落地。同時(shí)在眼型嘴型等五官細(xì)節(jié)擬合上仍需要提升，后續(xù)隨著捏臉自由度的提升和算法的迭代會(huì)進(jìn)一步提升這一塊的相似度。

從友商的測(cè)試結(jié)果來(lái)看，受限于base風(fēng)格的損失，業(yè)界的大多數(shù)照片捏臉應(yīng)用也無(wú)法做到對(duì)用戶特征的百分百的還原，但是輸出的捏臉形象都比較美觀，相信這也是經(jīng)過(guò)了算法同學(xué)和美術(shù)產(chǎn)品同學(xué)的大量的聯(lián)調(diào)得到了一個(gè)符合大眾審美的捏臉形象，只有這樣才能成功出圈，在用戶側(cè)打造很好的口碑。

淘寶人生2照片捏臉的迭代會(huì)延續(xù)既像又美的技術(shù)路線繼續(xù)深耕，給用戶帶來(lái)更好的產(chǎn)品體驗(yàn)。同時(shí)計(jì)劃引入更多模態(tài)的捏臉支持，使得用戶可以通過(guò)文字或者語(yǔ)音自由捏臉。

十、引用

[1] Blanz V, Vetter T. A morphable model for the synthesis of 3D faces[C]. international conference on computer graphics and interactive techniques, 1999: 187-194.

[2] Cao C, Weng Y, Zhou S, et al. FaceWarehouse: A 3D Facial Expression Database for Visual Computing[J]. IEEE Transactions on Visualization and Computer Graphics, 2014, 20(3): 413-425.

[3] Paysan P, Knothe R, Amberg B, et al. A 3D Face Model for Pose and Illumination Invariant Face Recognition[C]. advanced video and signal based surveillance, 2009: 296-301.

十一、附：照片捏臉秘籍

2. 項(xiàng)目入口：淘寶APP首頁(yè)->下拉進(jìn)入淘寶二樓->搜索第二人生->點(diǎn)擊圖標(biāo)進(jìn)入淘寶人生2的廣場(chǎng)->點(diǎn)擊底部換裝tab進(jìn)入裝扮頁(yè)



4. 進(jìn)入照片捏臉頁(yè)：在裝扮頁(yè)左側(cè)切換到頭部tab -> 點(diǎn)擊右側(cè) 智能捏臉 進(jìn)入照片捏臉頁(yè)面。



5. 在照片捏臉頁(yè)，選擇拍照或從相冊(cè)中選擇照片，確定后觸發(fā)照片捏臉。
6. 系統(tǒng)會(huì)自動(dòng)檢測(cè)照片質(zhì)量及合規(guī)情況，若兩者都符合規(guī)范，則將基于照片生成新的數(shù)字人形象，并跳轉(zhuǎn)回裝扮頁(yè)；如果有任何一項(xiàng)不符合規(guī)范，則會(huì)給出異常的提示。

十二、團(tuán)隊(duì)介紹

我們是淘天FC淘寶人生技術(shù)團(tuán)隊(duì)，我們肩負(fù)著淘寶人生各類(lèi)數(shù)字人玩法和為淘寶用戶提供數(shù)字分身的使命，是淘天集團(tuán)3D數(shù)字人業(yè)務(wù)的主陣地。淘天FC淘寶人生技術(shù)團(tuán)隊(duì)本著讓用戶在逛淘寶“好玩”的初心，構(gòu)建了以3D捏臉為核心、互動(dòng)類(lèi)AI玩法(AI寫(xiě)真，淘寶購(gòu)后鏈路虛擬服飾生成，AI占卜師等)相結(jié)合的玩法體系，為業(yè)務(wù)打造出覆蓋千萬(wàn)級(jí)的淘寶人生用戶的內(nèi)容社區(qū)，通過(guò)3D和AI技術(shù)相結(jié)合，為淘寶用戶提供既像又美的數(shù)字分身，降低3D內(nèi)容的生產(chǎn)成本，提升淘寶人生的用戶黏性和成就更高的商業(yè)價(jià)值。

本文轉(zhuǎn)載自大淘寶技術(shù)，作者：思遠(yuǎn)

原文鏈接：??https://mp.weixin.qq.com/s/VAXAUYzdGPEgifJygO9WpA??