今年年初，英偉達(dá)（NVIDIA）的研究工程師們公開了StyleGAN的源代碼，并將其作為生成對(duì)抗網(wǎng)絡(luò)的基于Style的生成器架構(gòu)。

比如可以生成無數(shù)逼真的人臉：

還能讓你看到從蘿莉到御姐的變換過程是怎樣的：

雖說功能強(qiáng)大，但畢竟是初代版本，難免有些瑕疵，現(xiàn)如今，升級(jí)版StyleGAN2誕生了，英偉達(dá)近日公開最新論文《Analyzing and Improving the Image Quality of StyleGAN》，通過對(duì) StyleGAN 的生成效果分析，對(duì)不完美的工作設(shè)計(jì)了改進(jìn)和優(yōu)化方法，下面一起來看看都有哪些升級(jí)：

1、消除特征偽影

就如上圖所示，StyleGAN圖像中會(huì)出現(xiàn)類似水滴的偽影，這些在生成的時(shí)候雖然說沒有很明顯，但是問題總歸是存在的，而且從生成64×64的圖像開始就有了，分辨率越高，水滴現(xiàn)象就越嚴(yán)重。在StyleGAN2里面這個(gè)問題已經(jīng)不存在了。

英偉達(dá)的研究人員重新設(shè)計(jì)了StyleGAN架構(gòu)，研究了常見的斑點(diǎn)狀artifacts的起源，并發(fā)現(xiàn)生成器創(chuàng)建它們是為了規(guī)避其架構(gòu)中的設(shè)計(jì)缺陷。英偉達(dá)重新設(shè)計(jì)了生成器中使用的normalization，從而刪除了artifacts。

如上圖所示，(a)是原始StyleGAN架構(gòu)，(b)展示了原始StyleGAN架構(gòu)的細(xì)節(jié)，(c)是在原始架構(gòu)里做了些許改動(dòng)，(d)是修改后的架構(gòu)。

改進(jìn)完之后的效果如下：

已經(jīng)沒有了前面所說的偽影，同時(shí)保留了完全的可控性。

2、生成細(xì)節(jié)改進(jìn)

再來看看StyleGAN中采用的是Progressive Growing的訓(xùn)練方法，細(xì)節(jié)對(duì)位置有強(qiáng)偏好，特征發(fā)生移動(dòng)時(shí)，位置不能隨之發(fā)生相應(yīng)的變化移動(dòng)。

StyleGAN 2研究人員對(duì)其進(jìn)行了優(yōu)化，如上圖所示，up和down分別表示雙線性上、下采樣。當(dāng)牙齒或者眼睛等特征在圖像上平滑移動(dòng)時(shí)，它們可能會(huì)停留在原位，然后跳到下一個(gè)首選位置，下圖顯示了相關(guān)的偽像，生成人臉的五官特征可以同時(shí)變化。

總的來說，StyleGAN 2的改進(jìn)如下：

生成的圖像質(zhì)量明顯更好(FID分?jǐn)?shù)更高、artifacts減少)

提出替代progressive growing的新方法，牙齒、眼睛等細(xì)節(jié)更完美

改善了Style-mixing

更平滑的插值(額外的正則化)

訓(xùn)練速度更快

是不是覺得很強(qiáng)大呢？想不想自己體驗(yàn)一番，最后附上相關(guān)地址：

論文地址：https://arxiv.org/pdf/1912.04958.pdf

Github地址：https://github.com/NVlabs/stylegan2