自拍也能變?yōu)樗?，魔幻修圖界又出新招式，但效果實(shí)在感人。

智能手機(jī)的出現(xiàn)，讓攝影變成了一項(xiàng)大眾藝術(shù)，也讓越來(lái)越多的人愛(ài)上「自拍」。但自拍照常常存在構(gòu)圖問(wèn)題，比如不自然的肩膀姿勢(shì)、占據(jù)一小半鏡頭的手臂，或者極其詭異的視角。

要想解決這個(gè)問(wèn)題，可以選擇隨身攜帶三腳架或自拍桿，也可以選擇隨身攜帶一個(gè)朋友作為攝影師（該方法對(duì)單身狗極其不友好）。

或者，你還可以選擇相信后期修圖的藝術(shù)。近日，來(lái)自 Adobe 研究院、UC 伯克利、魯汶大學(xué)的研究者開(kāi)發(fā)了一種「自拍」變「他拍」的新技術(shù)，通過(guò)識(shí)別目標(biāo)的姿勢(shì)并生成身體的紋理，在給定的自拍背景中完善和合成人物。

在這篇論文中，研究者提出了一種叫做 「Unselfie（非自拍）」的圖片轉(zhuǎn)換方法，能夠?qū)⒆耘恼罩械娜宋?，轉(zhuǎn)變?yōu)槭直?、肩膀、軀干都比較放松舒展的“他拍圖像”。它會(huì)把所有舉起的手臂調(diào)整為向下，然后調(diào)整服裝細(xì)節(jié)，最后填充好所有暴露出來(lái)的背景區(qū)域。

論文鏈接：https://arxiv.org/pdf/2007.15068.pdf

除了用來(lái)修飾社交媒體上的自拍照，這項(xiàng)技術(shù)還有很多應(yīng)用方式，如果你急需一張證件照，而無(wú)人能幫你拍攝，那這項(xiàng)技術(shù)就能派上用場(chǎng)。

當(dāng)然，這個(gè)方法目前還不太成熟，除了效果一般之外，偶爾還有翻車(chē)的時(shí)候，比如生成這樣的圖像：

「自拍」轉(zhuǎn)「他拍」的三大挑戰(zhàn)

總的來(lái)說(shuō)，「自拍」轉(zhuǎn)「他拍」存在三大挑戰(zhàn)：

沒(méi)有成對(duì)的訓(xùn)練數(shù)據(jù)（自拍 - 他拍圖像對(duì)）；

一個(gè)自拍姿勢(shì)可能對(duì)應(yīng)多個(gè)他拍姿勢(shì)；

改變姿勢(shì)會(huì)在背景中留下空洞，因此在轉(zhuǎn)換過(guò)程中要填補(bǔ)這些空洞。

研究者嘗試用之前的幾種方法來(lái)解決挑戰(zhàn)，但實(shí)驗(yàn)結(jié)果表明，這些方法會(huì)產(chǎn)生明顯的偽影，其紋理細(xì)節(jié)也會(huì)由于外觀信息的高度壓縮而丟失。

因此，他們提出借助合成「自拍 - 他拍」圖像對(duì)和自監(jiān)督學(xué)習(xí)的方法來(lái)解決上述問(wèn)題。

具體來(lái)說(shuō)，研究者提出了一種利用他拍圖像合成對(duì)應(yīng)自拍圖像的方法，他們利用非參數(shù)化最近姿態(tài)搜索模塊來(lái)檢索最接近給定他拍圖像的自拍圖像，然后合成對(duì)應(yīng)的自拍照。他們還在推理過(guò)程中應(yīng)用了一個(gè)最近姿態(tài)搜索模塊。給定一個(gè)自拍姿態(tài)輸入，模型會(huì)檢索出與之匹配度最高的他拍姿態(tài)，然后利用這個(gè)姿態(tài)來(lái)合成最后的他拍效果。合成的輸出的結(jié)果不止一個(gè)，用戶(hù)可以從中選擇，這就解決了上面提到的挑戰(zhàn) 2。

利用上述步驟合成的成對(duì)數(shù)據(jù)可以直接用來(lái)訓(xùn)練一個(gè)有監(jiān)督的人像生成網(wǎng)絡(luò)，但實(shí)驗(yàn)結(jié)果顯示，明顯的偽影問(wèn)題依然沒(méi)有解決。之前的各種方法對(duì)于合成的成對(duì)訓(xùn)練數(shù)據(jù)與真實(shí)自拍測(cè)試數(shù)據(jù)之間的像素級(jí) domain gap 非常敏感（如下圖 3 所示）。

受到 CVPR 2019 論文《Coordinate-based texture inpainting for pose-guided image generation》的啟發(fā)，研究者使用基于坐標(biāo)的修補(bǔ)方法在 UV 空間中修補(bǔ)身體紋理，空間中大部分是不變的原始身體姿態(tài)，因此在面臨合成數(shù)據(jù)的瑕疵時(shí)更具魯棒性。此外，基于坐標(biāo)的修補(bǔ)方法可以重新利用可見(jiàn)像素，從而獲得更清晰的結(jié)果。

為了應(yīng)對(duì)挑戰(zhàn) 3，研究者使用了一個(gè)基于合成網(wǎng)絡(luò)的門(mén)控卷積層來(lái)完善身體外觀和填補(bǔ)背景空白，并保持人體與背景之間的平滑過(guò)渡。

總的來(lái)說(shuō)，為了解決「unselfie」任務(wù)，研究者提出了下圖所示的三段式 pipeline：

首先在數(shù)據(jù)庫(kù)中搜索最相近的他拍姿勢(shì)，然后執(zhí)行基于坐標(biāo)的身體紋理修補(bǔ)，最后使用合成模塊來(lái)細(xì)化結(jié)果，并在背景上合成它們。

實(shí)驗(yàn)結(jié)果

研究者在定性評(píng)估、用戶(hù)研究和定量評(píng)估三方面將他們提出的方法與以往類(lèi)似方法進(jìn)行了比較。

下圖 7 表明，與之前的 DPIG 和 PATN 方法相比，Unselfie 方法生成了更逼真的人體姿勢(shì)和背景。

研究者在 Amazon Mechanical Turk (AMT)上對(duì)該方法以及 DPIG、VUNET 和 PATN 方法進(jìn)行了用戶(hù)研究。結(jié)果顯示，該方法優(yōu)于其他方法（如下表 1 所示）。

由于沒(méi)有對(duì)應(yīng)自拍照的 ground truth 他拍照，因而不能使用 SSIM 之類(lèi)的指標(biāo)。所以，為了定量比較該方法與其他基準(zhǔn)方法的成像結(jié)果，研究者使用了 FID 和 KID 兩項(xiàng)指標(biāo)。結(jié)果顯示，定量比較中的 FID 和 KID 結(jié)果與用戶(hù)研究保持一致，該方法顯著優(yōu)于其他方法。

方法局限

不過(guò)，該方法在以下幾個(gè)方面依然存在局限。

首先，如下圖 10（左）所示，對(duì)于具有挑戰(zhàn)性的自拍姿勢(shì)或角度來(lái)說(shuō)，最近姿態(tài)搜索模塊可能難以找到與之匹配的他拍姿態(tài)，這導(dǎo)致合成圖像中的手臂或肩膀相較于頭部區(qū)域過(guò)細(xì)或過(guò)寬。

這一問(wèn)題在 top-1 結(jié)果中出現(xiàn)的比例少于 10%，并且用戶(hù)通?？梢詮?top-5 結(jié)果中找到良好的兼容姿勢(shì)。

圖 10：失敗示例。

此外，圖 10 示例也暴露出了背景合成的局限。不過(guò)，針對(duì)此問(wèn)題，研究者在下圖 11 中也展示了利用已有模型對(duì)圖像背景進(jìn)行修復(fù)的示例，從而證明了在大規(guī)模數(shù)據(jù)集上訓(xùn)練的圖像修復(fù)模型的好處。

圖 11：背景修復(fù)。

最后，系統(tǒng)在 DensePose 檢測(cè)中容易出錯(cuò)。如上圖 10（右）所示，DensePose 沒(méi)有檢測(cè)到她的手臂在前方。所以，合成模塊在結(jié)果中依然保留了她的手臂。