對(duì)人類來說，理解一張圖的信息，不過是一件微不足道的小事，人類幾乎不用思考，就能隨口說出圖片的含義。就像下圖，手機(jī)插入的充電器多少有點(diǎn)不合適。人類一眼就能看出問題所在，但對(duì) AI 來說，難度還是非常大的。

GPT-4 的出現(xiàn)，開始讓這些問題變得簡(jiǎn)單，它能很快的指出圖中問題所在：VGA 線充 iPhone。

其實(shí) GPT-4 的魅力遠(yuǎn)不及此，更炸場(chǎng)的是利用手繪草圖直接生成網(wǎng)站，在草稿紙上畫一個(gè)潦草的示意圖，拍張照片，然后發(fā)給 GPT-4，讓它按照示意圖寫網(wǎng)站代碼，嗖嗖的，GPT-4 就把網(wǎng)頁(yè)代碼寫出來了。

但遺憾的是，GPT-4 這一功能目前仍未向公眾開放，想要上手體驗(yàn)也無從談起。不過，已經(jīng)有人等不及了，來自阿卜杜拉國(guó)王科技大學(xué)（KAUST）的團(tuán)隊(duì)上手開發(fā)了一個(gè) GPT-4 的類似產(chǎn)品 ——MiniGPT-4。團(tuán)隊(duì)研究人員包括朱德堯、陳軍、沈曉倩、李祥、Mohamed H. Elhoseiny，他們均來自 KAUST 的 Vision-CAIR 課題組。

• 論文地址：https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf
• 論文主頁(yè)：https://minigpt-4.github.io/
• 代碼地址：https://github.com/Vision-CAIR/MiniGPT-4

MiniGPT-4 展示了許多類似于 GPT-4 的能力，例如生成詳細(xì)的圖像描述并從手寫草稿創(chuàng)建網(wǎng)站。此外，作者還觀察到 MiniGPT-4 的其他新興能力，包括根據(jù)給定的圖像創(chuàng)作故事和詩(shī)歌，提供解決圖像中顯示的問題的解決方案，根據(jù)食品照片教用戶如何烹飪等。

MiniGPT-4 看圖說話不在話下

MiniGPT-4 效果到底如何呢？我們先從幾個(gè)示例來說明。此外，為了更好的體驗(yàn) MiniGPT-4，建議使用英文輸入進(jìn)行測(cè)試。

首先考察一下 MiniGPT-4 對(duì)圖片的描述能力。對(duì)于左邊的圖，MiniGPT-4 給出的回答大致為「圖片描述的是生長(zhǎng)在冰凍湖上的一株仙人掌。仙人掌周圍有巨大的冰晶，遠(yuǎn)處還有白雪皚皚的山峰……」假如你接著詢問這種景象能夠發(fā)生在現(xiàn)實(shí)世界中嗎？MiniGPT-4 給出的回答是這張圖像在現(xiàn)實(shí)世界并不常見，并給出了原因。

接著，在來看看 MiniGPT-4 圖片問答能力。問：「這棵植物出現(xiàn)了什么問題？我該怎么辦？」MiniGPT-4 不但指出了問題所在，表示帶有棕色斑點(diǎn)的樹葉可能由真菌感染引起，并給出了治療步驟：

幾個(gè)示例看下來，MiniGPT-4 看圖聊天的功能已經(jīng)非常強(qiáng)大了。不僅如此，MiniGPT-4 還能從草圖創(chuàng)建網(wǎng)站。例如讓 MiniGPT-4 按照左邊的草稿圖繪制出網(wǎng)頁(yè)，收到指令后，MiniGPT-4 給出對(duì)應(yīng)的 HTML 代碼，按照要求給出了相應(yīng)網(wǎng)站：

借助 MiniGPT-4，給圖片寫廣告語(yǔ)也變得非常簡(jiǎn)單。要求 MiniGPT-4 給左邊的杯子寫廣告文案。MiniGPT-4 精準(zhǔn)的指出了杯子上有嗜睡貓圖案，非常適合咖啡愛好者以及貓愛好者使用，還指出了杯子的材質(zhì)等等：

MiniGPT-4 還能對(duì)著一張圖片生成菜譜，變身廚房小能手：

 解釋廣為流傳的梗圖：

根據(jù)圖片寫詩(shī)：

此外，值得一提的是，MiniGPT-4 Demo 已經(jīng)開放，在線可玩，大家可以親自體驗(yàn)一番（建議使用英文測(cè)試）：

Demo 地址：https://0810e8582bcad31944.gradio.live/

項(xiàng)目一經(jīng)發(fā)布，便引起網(wǎng)友廣泛關(guān)注。例如讓 MiniGPT-4 解釋一下圖中的物體：

下面還有更多網(wǎng)友的測(cè)試體驗(yàn)：

方法簡(jiǎn)介

作者認(rèn)為 GPT-4 擁有先進(jìn)的大型語(yǔ)言模型（LLM）是其具有先進(jìn)的多模態(tài)生成能力的主要原因。為了研究這一現(xiàn)象，作者提出了 MiniGPT-4，它使用一個(gè)投影層將一個(gè)凍結(jié)的視覺編碼器和一個(gè)凍結(jié)的 LLM（Vicuna）對(duì)齊。

MiniGPT-4 由一個(gè)預(yù)訓(xùn)練的 ViT 和 Q-Former 視覺編碼器、一個(gè)單獨(dú)的線性投影層和一個(gè)先進(jìn)的 Vicuna 大型語(yǔ)言模型組成。MiniGPT-4 只需要訓(xùn)練線性層，用來將視覺特征與 Vicuna 對(duì)齊。

MiniGPT-4 進(jìn)行了兩個(gè)階段的訓(xùn)練。第一個(gè)傳統(tǒng)的預(yù)訓(xùn)練階段使用大約 5 百萬對(duì)齊的圖像文本對(duì)，在 4 個(gè) A100 GPU 上使用 10 小時(shí)進(jìn)行訓(xùn)練。第一階段后，Vicuna 能夠理解圖像。但是 Vicuna 文字生成能力受到了很大的影響。

為了解決這個(gè)問題并提高可用性，研究者提出了一種新穎的方式，通過模型本身和 ChatGPT 一起創(chuàng)建高質(zhì)量的圖像文本對(duì)?；诖?，該研究創(chuàng)建了一個(gè)小而高質(zhì)量的數(shù)據(jù)集（總共 3500 對(duì)）。

第二個(gè)微調(diào)階段使用對(duì)話模板在此數(shù)據(jù)集上進(jìn)行訓(xùn)練，以顯著提高其生成可靠性和整體可用性。這個(gè)階段具有高效的計(jì)算能力，只需要一張 A100GPU 大約 7 分鐘即可完成。

其他相關(guān)工作：

• VisualGPT: https://github.com/Vision-CAIR/VisualGPT
• ChatCaptioner: https://github.com/Vision-CAIR/ChatCaptioner

此外，項(xiàng)目中還使用了開源代碼庫(kù)包括 BLIP2、Lavis 和 Vicuna。