近日，來自 Amazon One 的研究人員提出了一個訓練 GAN 的框架，可以對生成的圖像進行顯式控制。該框架能夠通過設置確切的屬性（例如年齡，姿勢，表情等）來控制生成的圖像。

Amazon One團隊最近提出了一個可以對生成的圖像進行顯式屬性控制的GAN訓練框架，能夠通過設置確切的屬性來控制生成的圖像，如年齡、姿勢、表情等。

這篇論文目前已經(jīng)發(fā)布在arxiv上，并且在Google網(wǎng)盤中有相應的補充說明。

目前大多數(shù)編輯GAN生成的圖像的方法都是通過利用隱空間解構(gòu)屬性來實現(xiàn)部分控制，這些屬性是在標準GAN訓練后隱式獲得的。這種方法能夠改變某些屬性的相對強度，但不能顯式地設置它們的值。

而最近提出的方法，是為顯式的準確控制人臉屬性而設計的，利用可變形的3D人臉模型來實現(xiàn)GAN中的細粒度控制能力。

與以往方法不同的是，這種控制不受限于可變形的三維人臉模型參數(shù)，并且可以擴展到人臉領(lǐng)域之外。

使用對比學習，獲得了具有明確分解隱空間的GAN。這種分解被用來訓練控制編碼器，將人類可解釋的輸入映射到合適的隱向量，從而允許顯式的控制。

在人臉領(lǐng)域，研究人員展示了對身份、年齡、姿勢、表情、頭發(fā)顏色和照明的控制，還演示了我們的框架在畫像和狗圖像生成領(lǐng)域的控制能力，證明了新的方法在質(zhì)量和數(shù)量上都達到了SOTA。

在第一階段，構(gòu)建每一個batch的每個屬性都有一對隱向量，共享一個相應的子向量。 除了對抗性損失外，該批圖像中的每張圖像都會以對比的方式，逐個屬性地與其他所有圖像進行比較，并考慮到它的子向量是相同還是不同。

在第二階段，編碼器被訓練成將可解釋的參數(shù)映射到合適的隱向量。

在推理階段，是通過將第k個編碼器輸入設置為所需值，實現(xiàn)對屬性k的顯式控制。

對光線、角度和表情的顯式控制效果：

研究人員使用了ArcFace提取生成圖像的嵌入向量，具體做法是生成10K個共享ID屬性的圖像對和具有不同的姿勢、照明和表情屬性的圖像。

對發(fā)色和年齡的控制效果：

為了驗證模型確實對輸出有明確的控制，研究人員進行了控制精度的比較。從FFHQ中隨機選取10K張圖像，并對其屬性進行預測，以產(chǎn)生一個在真實圖像中出現(xiàn)的可行屬性池。

還可以實現(xiàn)在保持其他屬性不變的情況下，改變繪畫的藝術(shù)風格：

對于喜歡養(yǎng)寵物的人來說，也可以顯式控制生成的狗狗圖像的一些屬性：

同時，不只可以改變一個屬性，還可以同時控制多個屬性值：

通過測試Amazon One的可控GAN模型，本以為現(xiàn)在的美顏工具已經(jīng)十分好用了，看來未來還會有更加驚艷的功能可以期待。