大廠們在整活方面開始卷起來了！

前腳字節(jié)阿里的工具火了，現(xiàn)在騰訊這個新照片生成應(yīng)用PhotoMaker直接刷屏，瞧這陣仗……

只需上傳一張或以上照片，無需額外LoRA訓(xùn)練，就能快速可定制。任何人、任何風(fēng)格，高保真那種。

于是秒秒鐘，LeCun化身鋼鐵俠。但隨后LeCun轉(zhuǎn)發(fā)表示：那個文藝復(fù)興時期的繪畫風(fēng)格是他最喜歡的。

楊冪各類風(fēng)格寫真爆出。

除此之外，還有更多有意思的功能，目前應(yīng)用Demo已免費(fèi)開放體驗(yàn)。

這就來提前體驗(yàn)一把。

PhotoMaker刷屏

總結(jié)來看，PhotoMaker主要有這樣三大功能：

第一個，可以根據(jù)描述生成多種風(fēng)格個人照片。

比如，你見過這樣的黑寡婦嗎？

就是在二次元里也行的照片，也可以生成。

第二個，混合不同人物特征，生成全新人物形態(tài)。

腦洞大開一下，奧特曼和喬布斯“生”的孩子，可能長這樣？？？

甚至還可以破次元結(jié)合！

除此之外，還有一些小細(xì)節(jié)的功能，修改個年齡、性別以及照片年代啥的。

小時候的馬斯克，你見過嗎？

當(dāng)LeCun變成幾十歲大媽……

目前，研究團(tuán)隊給了兩個體驗(yàn)版本：官方原版以及風(fēng)格化版本。其中風(fēng)格化版，要想實(shí)現(xiàn)更好的效果，僅需要更改基礎(chǔ)模型并添加LoRA模塊。

不過這兩個版本食用起來沒有任何區(qū)別，主要分為三個步驟。

首先，上傳你想定制的照片。一張可以，多張也行。

值得注意的是，他們這里強(qiáng)調(diào)了，他們不會進(jìn)行人臉檢測，但上傳的圖片人臉已經(jīng)要占據(jù)圖片大部分。

其次，輸入文字提示，確保在要定制的類別詞后面加上觸發(fā)詞：img。

如：男人 img 或女人 img 或女孩 img。

然后再選擇喜歡的樣式、風(fēng)格模版，就可以生成了。

不過現(xiàn)在實(shí)測，效果會出的比較慢，可能是太多人使用了。

如何實(shí)現(xiàn)?

簡單來說，PhotoMaker采用了一種簡單而有效的表示方法——堆疊ID嵌入。

它可將多個身份證明（ID）圖像的信息合并成統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)，這樣能更好保存單個ID信息的同時，還能整合多個不同ID特征。

具體而言，首先，分別從文本編碼器和圖像編碼器中獲取文本嵌入和圖像嵌入。然后，通過合并相應(yīng)的類別嵌入（比如性別）和每個圖像嵌入，提取融合嵌入。接著，沿長度維度串聯(lián)所有融合嵌入，形成堆疊ID嵌入。最后再將其輸入到Diffusion Model生成圖像。

由于訓(xùn)練過程需要使用按ID分類的數(shù)據(jù)集，但現(xiàn)有數(shù)據(jù)集要么沒有注釋ID信息，要么所包含的場景豐富度有限，比如只關(guān)注面部區(qū)域。

為此，研究人員還專門構(gòu)建了一個以ID為導(dǎo)向的文本圖像數(shù)據(jù)集構(gòu)建管線，它能按照不同ID進(jìn)行分類。每個ID都有多幅圖像，這些圖像包括不同的表情、屬性、場景等。

需要注意的是，雖然訓(xùn)練過程中使用的是帶背景遮蔽的同一ID圖像，但在推理過程，可直接輸入不同ID、且不帶背景遮蔽的圖形，來創(chuàng)建新ID。

實(shí)驗(yàn)結(jié)果表明，與其他方法相比，PhotoMaker具備高質(zhì)量和多樣化的生成能力，以及可編輯性、保真性。

此外，這一方法還能實(shí)現(xiàn)更多以往難實(shí)現(xiàn)的有趣功能。比如改變年齡或性別、將舊照片或藝術(shù)作品中的人物還原到現(xiàn)實(shí)中以及身份混合等。

好了，感興趣的朋友可戳下方鏈接玩玩~
https://huggingface.co/spaces/TencentARC/PhotoMaker
https://huggingface.co/spaces/TencentARC/PhotoMaker-Style
論文鏈接：
https://arxiv.org/abs/2312.04461
項(xiàng)目鏈接：
https://github.com/TencentARC/PhotoMaker?tab=readme-ov-file#start-a-local-gradio-demo