不得不說，現(xiàn)在拍寫真真是“簡單到放肆”了。

真人不用出鏡，不用費(fèi)心凹姿勢、搞發(fā)型，只需一張本人圖像，等待幾秒鐘，就能獲得7種完全不同風(fēng)格：

仔細(xì)看，造型/pose全都給你整得明明白白，并且原圖直出修也不用修了。

這擱以前，不得在寫真館耗上至少整整一天，把咱和攝影師、化妝師都累個(gè)半死不活。

以上，便是一個(gè)叫做InstantID AI的厲害之處。

除了現(xiàn)實(shí)寫真，它還能整點(diǎn)“非人類的”：

比如貓頭貓身，但仔細(xì)看又有你的臉部特征。

各種虛擬風(fēng)格就更不用說了：

像style 2，真人直接變石像。

當(dāng)然，輸入石像也能直接變：

對了，還能進(jìn)行倆人臉融合的高能操作，看看20%的楊冪+80%的泰勒長什么樣：

一張圖無限高質(zhì)量變身，可是叫它玩明白了。

所以，這是怎么做到的？

基于擴(kuò)散模型，可與SD無縫集成

作者介紹，目前的圖像風(fēng)格化技術(shù)已經(jīng)可以做到只需一次前向推理即可完成任務(wù)（即基于ID embedding）。

但這種技術(shù)也有問題：要么需要對眾多模型參數(shù)進(jìn)行廣泛微調(diào)，要么與社區(qū)開發(fā)的預(yù)訓(xùn)練模型缺乏兼容性，要么無法保持高保真度的面部特征。

為了解決這些挑戰(zhàn)，他們開發(fā)了InstantID。

InstantID基于擴(kuò)散模型打造，其即插即用（plug-and-play）模塊僅靠單張面部圖像即可熟練地處理各種風(fēng)格化變身，同時(shí)確實(shí)高保真度。

最值得一提的是，它可與時(shí)下流行的文本到圖像預(yù)訓(xùn)練擴(kuò)散模型無縫集成（例如SD1.5、SDXL），作為插件使用。

具體來看，InstantID由三個(gè)關(guān)鍵組成部分：

（1）捕獲魯棒語義人臉信息的ID embedding；

（2）具有解耦交叉注意力的輕量級適配模塊，方便圖像作為視覺提示；

（3）IdentityNet網(wǎng)絡(luò)，它通過額外的空間控制對參考圖像的詳細(xì)特征進(jìn)行編碼，最終完成圖像生成。

而相比業(yè)內(nèi)此前的工作，InstantID有幾點(diǎn)不同：

一是不用訓(xùn)練UNet，因此可以保留原始文本到圖像模型的生成能力，并兼容社區(qū)中現(xiàn)有的預(yù)訓(xùn)練模型和ControlNet。

二是不需要test-time調(diào)整，因此對于特定風(fēng)格，不需要收集多張圖像進(jìn)行微調(diào)，只需要對單個(gè)圖像進(jìn)行一次推斷即可。

三是除了實(shí)現(xiàn)更好的面部保真度，也保留了文本可編輯性。如下圖所示，只需幾個(gè)字，即可讓形象變性別、換套裝、改發(fā)型以及發(fā)色。

再次強(qiáng)調(diào)，以上所有效果只需1張參考圖像在幾秒內(nèi)即可完成。

如下圖實(shí)驗(yàn)證明，多來幾張參考圖的作用基本不大，1張就能做得很好。

下面是一些具體對比。

比較對象是現(xiàn)有的免調(diào)優(yōu)SOTA方法：IP-Adapter (IPA)、IP-Adapter-FaceID以及前兩天騰訊剛剛出品的PhotoMaker。

可以看到，大家都挺“卷”的，效果都不賴——但仔細(xì)對比的話，PhotoMaker和IP-Adapter-FaceID保真度都不錯(cuò)，但文本控制能力明顯差一點(diǎn)。

相比之下，InstantID的面孔和樣式能更好地融合，在實(shí)現(xiàn)了更好保真度的同時(shí)，還保留了良好的文本可編輯性。

除此之外，還有與InsightFace Swapper模型的比較，你覺得哪個(gè)效果更好呢？

作者介紹

本文一共5位作者，來自神秘的InstantX團(tuán)隊(duì)（網(wǎng)上沒有搜到太多信息）。

不過一作是來自小紅書的Qixun Wang。

通訊作者王浩帆也是小紅書的工程師，從事可控和條件內(nèi)容生成（AIGC）方面的研究，是CMU’20屆校友。