?[[421561]]?

馬斯克真是為科研事業(yè)奉獻(xiàn)太多！最近以色列的科研人員推出一個(gè)新的生成模型StyleCLIP，只需要輸入文本提示符，就可以獲得一個(gè)你想要的假圖，例如「化妝」就可以獲得一個(gè)精致的馬斯克，或者輸入「短發(fā)」給馬斯克換發(fā)型，那輸入「女裝」豈不是？

馬斯克又被網(wǎng)友以科研的名義玩壞了，只需要輸入你想要的發(fā)型或者膚色的名稱，立刻就能獲得一個(gè)相應(yīng)發(fā)型的馬斯克！

例如輸入蒼白的（Pale），就可以獲得一個(gè)雪白的馬斯克；輸入曬黑的（Tanned），又可以獲得一個(gè)馬斯克日光浴限定版。

輸入化妝、卷發(fā)、直發(fā)等等，解鎖更多馬斯克肖像，不過(guò)第三排的發(fā)型，在馬斯克的腦袋上顯得十分違和。

這是一項(xiàng)來(lái)自以色列的研究人員的工作StyleCLIP，可以使用基于人工智能的生成對(duì)抗性網(wǎng)絡(luò)對(duì)照片進(jìn)行超逼真的修改，并且只需要讓用戶輸入他們想要的東西的描述即可，無(wú)需輸入特定的圖片。

??https://arxiv.org/pdf/2103.17249.pdf??

這個(gè)模型也會(huì)產(chǎn)生一些非常搞笑的結(jié)果。例如可以給Facebook 的CEO馬克 · 扎克伯格的臉隨意修改，例如讓他看起來(lái)禿頂，戴上眼鏡，或者在下巴上扎上山羊胡。

這個(gè)「火星人」的臉上似乎也有了一點(diǎn)人類的感覺(jué)。

目前代碼已經(jīng)開源，快玩一玩看看自己適合什么樣的發(fā)型吧！

??https://github.com/orpatashnik/StyleCLIP??

StyleCLIP

StyleCLIP模型主要由StyleGAN和CLIP模型組成。

StyleGAN可以在不同領(lǐng)域（domain）生成高度真實(shí)圖像，最近也有大量的工作都集中在理解如何使用StyleGAN的隱空間來(lái)處理生成的和真實(shí)的圖像。

但發(fā)現(xiàn)語(yǔ)義上潛在有意義的操作通常需要對(duì)多個(gè)自由度進(jìn)行細(xì)致的檢查，這需要耗費(fèi)大量的人工操作，或者需要為每個(gè)期望的風(fēng)格創(chuàng)建一個(gè)帶注釋的圖像集合。

既然基于注釋，那多模態(tài)模型CLIP（Contrastive Language-Image Pre-training）的能力是否就可以利用上，來(lái)開發(fā)一個(gè)不需要手動(dòng)操作的基于文本的StyleGAN圖像處理。

例如輸入可愛(ài)的貓（cute cat），瞇眼睛的貓就被放大了眼睛，獲取了所有可愛(ài)小貓的特征，還可以老虎變獅子等等。

提出三種方法來(lái)利用CLIP的語(yǔ)義表達(dá)能力：

1、隱優(yōu)化技術(shù)（latent optimization technique）

使用標(biāo)準(zhǔn)的反向傳播方法修改給定的潛編碼，使得生成的圖像和給定的目標(biāo)文本之間的CLIP-space內(nèi)距離最小。

2、隱映射（latent mapper）

訓(xùn)練網(wǎng)絡(luò)將輸入的隱編碼轉(zhuǎn)換為修改生成圖像中文本描述屬性的編碼。這個(gè)映射器使用相同的全局CLIP損失進(jìn)行訓(xùn)練，從而最小化到目標(biāo)文本的CLIP-space距離。對(duì)于一些劇烈的形狀修改，研究人員發(fā)現(xiàn)訓(xùn)練這樣一個(gè)隱映射器可以幫助提高識(shí)別結(jié)果。

文本引導(dǎo)mapper的架構(gòu)，在輸入"surprise"后，源圖像被轉(zhuǎn)換為隱編碼w。訓(xùn)練三個(gè)單獨(dú)的映射函數(shù)來(lái)生成殘差（藍(lán)色），這些殘差被添加到w中以生成目標(biāo)代碼，從中預(yù)訓(xùn)練的樣式（綠色）生成圖像（右側(cè)），通過(guò)CLIP loss進(jìn)行評(píng)估生成效果。

mapper經(jīng)過(guò)訓(xùn)練后，可以操作文本提示t所指示的圖像的所需屬性，同時(shí)保留輸入圖像的其他視覺(jué)屬性。

為了保持原始輸入圖像的視覺(jué)屬性，還需要在隱空間中最小化操作步驟的L2范數(shù)。

文本提示一次不限于單個(gè)屬性，例如可以同時(shí)設(shè)置頭發(fā)屬性的四種不同組合，直發(fā)/卷發(fā)和短發(fā)/長(zhǎng)發(fā)，每種組合都會(huì)產(chǎn)生預(yù)期的結(jié)果，并且任何先前的方法都無(wú)法達(dá)到這種控制程度。

由于隱映射器上為每個(gè)輸入圖像推斷定制的操作步驟，因此檢查潛在空間中的步驟方向在不同輸入上的變化程度也是很有趣的。

3、全局方向（Global Direction）

通過(guò)確定修改哪些維度的隱編碼會(huì)導(dǎo)致圖像空間變化，從而發(fā)現(xiàn)GAN隱空間中有意義的變化方向。盡管隱映射器允許快速推理，但研究人員發(fā)現(xiàn)，當(dāng)需要細(xì)粒度的操作時(shí)，有時(shí)會(huì)出現(xiàn)不足的映射能力。

此外，對(duì)于給定的文本提示，不同操作步驟的方向趨于相似。所以需要一種將文本提示映射到單一、全局的StyleGAN樣式空間中的方法，文中提出的方法已被證明比其他隱空間更為有效。

在實(shí)驗(yàn)部分，和其他基于文本驅(qū)動(dòng)的圖像處理方法如TediGAN相比，輸入強(qiáng)指定文本為"Trump", 弱特指"Mohawk", 更常見(jiàn)的文本"without wrinkles"。

對(duì)于無(wú)皺紋(without wrinkle)的文字提示，Global Direction模型可以成功地消除皺紋，同時(shí)保持其他屬性大部分不受影響，而Mapper模型做不到這點(diǎn)。

可以得出結(jié)論，對(duì)于復(fù)雜和特定屬性（尤其是涉及身份的屬性），Mapper能夠產(chǎn)生更好的生成結(jié)果。

但對(duì)于更簡(jiǎn)單和/或更常見(jiàn)的屬性，一個(gè)全局方向就足夠了，同時(shí)提供了更多的分離操作。

并且可以看到TediGAN產(chǎn)生的結(jié)果在三個(gè)實(shí)驗(yàn)中都不太理想。

但StyleCLIP也有缺陷，例如依賴于一個(gè)預(yù)訓(xùn)練的StyleGAN生成器和CLIP模型來(lái)實(shí)現(xiàn)聯(lián)合語(yǔ)言視覺(jué)embedding，因此無(wú)法將圖像操縱到某些預(yù)訓(xùn)練模型的域外點(diǎn)。

類似地，映射到到CLIP空間中沒(méi)有圖像填充的區(qū)域的文本提示也不能期望產(chǎn)生期待的結(jié)果。

并且在視覺(jué)變化較大的操作是很難實(shí)現(xiàn)的，例如，雖然老虎很容易轉(zhuǎn)化為獅子，但將老虎轉(zhuǎn)化為狼的成功率較低。