Pika北大斯坦福聯(lián)手，開源最新文本-圖像生成/編輯框架！

無需額外訓練，即可讓擴散模型擁有更強提示詞理解能力。

面對超長、超復雜提示詞，準確性更高、細節(jié)把控更強，而且生成圖片更加自然。

效果超越最強圖像生成模型Dall·E 3和SDXL。

比如要求圖片左右冰火兩重天，左邊有冰山、右邊有火山。

SDXL完全沒有符合提示詞要求，Dall·E 3沒有生成出來火山這一細節(jié)。

還能通過提示詞對生成圖像二次編輯。

這就是文本-圖像生成/編輯框架RPG（Recaption,Plan and Generate），已經(jīng)在網(wǎng)上引起熱議。

它由北大、斯坦福、Pika聯(lián)合開發(fā)。作者包括北大計算機學院崔斌教授、Pika聯(lián)合創(chuàng)始人兼CTO Chenlin Meng等。

目前框架代碼已開源，兼容各種多模態(tài)大模型（如MiniGPT-4）和擴散模型主干網(wǎng)絡（如ControlNet）。

利用多模態(tài)大模型做增強

一直以來，擴散模型在理解復雜提示詞方面都相對較弱。

一些已有改進方法，要么最終實現(xiàn)效果不夠好，要么需要進行額外訓練。

因此研究團隊利用多模態(tài)大模型的理解能力來增強擴散模型的組合能力、可控能力。

從框架名字可以看出，它是讓模型“重新描述、規(guī)劃和生成”。

該方法的核心策略有三方面：

1、多模態(tài)重新描述（Multimodal Recaptioning）：利用大模型將復雜文本提示拆解為多個子提示，并對每個子提示進行更加詳細的重新描述，以此提升擴散模型對提示詞的理解能力。

2、思維鏈規(guī)劃（Chain-of-Thought Planning）:利用多模態(tài)大模型的思維鏈推理能力，將圖像空間劃分為互補的子區(qū)域，并為每個子區(qū)域匹配不同的子提示，將復雜的生成任務拆解為多個更簡單的生成任務。

3、互補區(qū)域擴散（Complementary Regional Diffusion）：將空間劃分好后，非重疊的區(qū)域各自根據(jù)子提示生成圖像，然后進行拼接。

最后就能生成出一張更加符合提示詞要求的圖片。

RPG框架還可以利用姿態(tài)、深度等信息進行圖像生成。

和ControlNet對比，RPG能進一步拆分輸入提示詞。

用戶輸入：在一間明亮的房間里，站著一位身穿香檳色長袖正裝、正閉著雙眼的漂亮黑發(fā)女孩。房間左邊放著一只插著粉色玫瑰花的精致藍花瓶，右邊有一些生機勃勃的白玫瑰。

基礎提示詞：一個漂亮女孩站在她的明亮的房間里。

區(qū)域0：一個裝著粉玫瑰的精致藍花瓶

區(qū)域1：一個身穿香檳色長袖正裝的漂亮黑發(fā)女孩閉著雙眼。

區(qū)域2：一些生機勃勃的白玫瑰。

也能實現(xiàn)圖像生成、編輯閉環(huán)。

實驗對比來看，RPG在色彩、形狀、空間、文字準確等維度都超越其他圖像生成模型。

研究團隊

該研究有兩位共同一作Ling Yang、Zhaochen Yu，都來自北大。

參與作者還有AI創(chuàng)企Pika聯(lián)合創(chuàng)始人兼CTO Chenlin Meng。

她是斯坦福計算機博士，在計算機視覺、3D視覺方面有著豐富學術經(jīng)歷，參與的去噪擴散隱式模型（DDIM）論文，如今單篇引用已有1700+。并有多篇生成式AI相關研究發(fā)表在ICLR、NeurIPS、CVPR、ICML等頂會上，且多篇入選Oral。

去年，Pika憑借AI視頻生成產品Pika 1.0一炮而紅，2位斯坦福華人女博士創(chuàng)辦的背景，使其更加引人注目。

△左為郭文景（Pika CEO），右為Chenlin Meng

參與研究的還有北大計算機學院副院長崔斌教授，他還是數(shù)據(jù)科學與工程研究所長。

另外，斯坦福AI實驗室博士Minkai Xu、斯坦福助理教授Stefano Ermon共同參與這項研究。

論文地址：https://arxiv.org/abs/2401.11708

代碼地址：https://github.com/YangLing0818/RPG-DiffusionMaster