GPT-4V誕生后，驚艷的多模態(tài)能力讓網(wǎng)友驚呼連連，連OpenAI總裁Greg Brockman都不斷在X上安利。

不過(guò)，最近大家發(fā)現(xiàn)，只要打亂布局，GPT-4V就會(huì)被曾經(jīng)解決的著名計(jì)算機(jī)視覺(jué)難題——「吉娃娃還是松餅」，再次難倒……

UCSC教授Xin Eric Wang表示，如果將經(jīng)典的4x4網(wǎng)格構(gòu)圖重新布局，GPT-4V就會(huì)給出錯(cuò)誤的描述——「共有8張?zhí)貙?xiě)圖片，分兩排排列，每排4張圖」。

圖片

如果問(wèn)它第一行第三個(gè)圖是什么，它會(huì)說(shuō)是松餅……

吉娃娃：你禮貌嗎？

此外，UCSB教授William Wang也發(fā)現(xiàn)，當(dāng)一堆圖片糊到臉上時(shí)，GPT-4V就懵了，無(wú)法分清到底哪張圖是「貴賓犬」，哪張圖是「炸雞腿」。

圖片

學(xué)者們的發(fā)現(xiàn)，揭示了計(jì)算機(jī)視覺(jué)領(lǐng)域的重大挑戰(zhàn)——當(dāng)多個(gè)圖像同時(shí)呈現(xiàn)，模型識(shí)別的難度就會(huì)大大提升！

無(wú)獨(dú)有偶，來(lái)自UNC、CMU、斯坦福和羅格斯的華人研究者們也在最新的一篇論文中，發(fā)現(xiàn)GPT-4V在其他方面，也存在著重大缺陷。

圖片

論文地址: https://arxiv.org/abs/2311.03287

代碼地址: https://github.com/gzcch/Bingo

通過(guò)提出一種全新的「Bingo」基準(zhǔn)測(cè)試，他們發(fā)現(xiàn)GPT-4V存在兩種常見(jiàn)的幻覺(jué)類型：偏見(jiàn)和干擾。

比如，GPT-4V的文本先驗(yàn)知識(shí)，是凌駕于視覺(jué)之上的。它會(huì)傾向于堅(jiān)持常識(shí)或刻板印象，比如在并沒(méi)有土星的太陽(yáng)系圖像中識(shí)別出土星。

另外，GPT-4V也很好忽悠，如果在文本提示中故意誤導(dǎo)，GPT-4V就會(huì)更堅(jiān)持文本的信息，而忽略圖像。

GPT-4V：啥？葫蘆娃有8個(gè)？你說(shuō)是那就是吧……

在合成圖像上，GPT-4V也遇到了困難，對(duì)于PDF和專業(yè)文檔中的數(shù)字來(lái)說(shuō)，這就問(wèn)題很大。

而且，GPT-4V還具有地域偏見(jiàn)，它在西方地點(diǎn)和文化元素、語(yǔ)言上，明顯都識(shí)別得更好。當(dāng)然，這也揭示了訓(xùn)練數(shù)據(jù)分布中的系統(tǒng)性偏差。

GPT-4V：我感覺(jué)這段中文的意思應(yīng)該是「謝謝您，老師！謝謝您的教導(dǎo)！」

而這項(xiàng)研究，也引起了圖靈三巨頭之一LeCun和英偉達(dá)高級(jí)研究科學(xué)家Jim Fan的強(qiáng)烈興趣，被點(diǎn)名關(guān)注。

圖片

GPT-4V一身bug：看圖說(shuō)胡話，用戶說(shuō)啥就是啥

地域偏見(jiàn)

GPT-4V會(huì)偏愛(ài)西方圖像而不是其他地區(qū)（如東亞、非洲） 的圖像，并表現(xiàn)出地域偏見(jiàn)。

比如，給它一座非洲的教堂（左），它會(huì)聲稱這是法國(guó)馬賽的守護(hù)圣母圣殿。但右邊的米蘭大教堂，它就一眼認(rèn)出來(lái)了。

圖片

相對(duì)于其他地區(qū)，GPT-4V一到西方圖片，識(shí)別準(zhǔn)確率就直線上升。

圖片

圖中的白雪公主和7個(gè)小矮人，GPT-4V一下子就認(rèn)出來(lái)了，描述就十分精準(zhǔn)，人物個(gè)數(shù)也沒(méi)數(shù)錯(cuò)。

但對(duì)于中國(guó)的動(dòng)畫(huà)片，GPT-4V就不太認(rèn)識(shí)了，認(rèn)不出他們是葫蘆娃，會(huì)說(shuō)他們身后的山是冰山，還數(shù)出了10個(gè)葫蘆娃。

圖片

OCR語(yǔ)言偏差

GPT-4V，還存在著OCR偏差警報(bào)：與其他三種語(yǔ)言相比，它在圖像中的英語(yǔ)和法語(yǔ)文本識(shí)別上，表現(xiàn)更佳。

下圖左邊的漫畫(huà)是中文，GPT-4V識(shí)別得牛頭不對(duì)馬嘴，但同樣的話改成英文，GPT-4V就一字不差地準(zhǔn)確識(shí)別出來(lái)了。

圖片

類似地，在下圖中，GPT-4V認(rèn)起中文來(lái)也十分捉急。

「考試不會(huì)」會(huì)認(rèn)成「考慮不周」，「被扣分」認(rèn)成「被打」，「看別人的」認(rèn)成「打別人」，「但我不是學(xué)霸」認(rèn)成「但我不是主角」。

圖片

而對(duì)于中英混雜的梗圖，GPT-4V要么選擇只看英文，要么對(duì)著中文胡說(shuō)八道。

「duck不必」這種中文互聯(lián)網(wǎng)熱梗，GPT-4V理解為「鴨子不小」。

圖片

總的來(lái)說(shuō)，GPT-4V在英語(yǔ)、法語(yǔ)的識(shí)別上，準(zhǔn)確率要遠(yuǎn)高于中文、日語(yǔ)和阿拉伯語(yǔ)。

事實(shí)偏見(jiàn)

另外，GPT-4V還會(huì)被帶有反事實(shí)的圖像所迷惑，它會(huì)堅(jiān)持「常識(shí)」，而不是圖像中的內(nèi)容。

比如給它一張缺少土星的太陽(yáng)系照片，它在描述時(shí)依然會(huì)聲稱圖中有土星。

圖片

反事實(shí)的圖像，輕輕松松就能把GPT-4V騙過(guò)！

圖片

GPT-4V：這一看就是世界地圖，那必然有北美、南美、非洲、歐洲、亞洲、大洋洲和南極洲。

用戶：有沒(méi)有可能，大洋洲被遮住了……

圖片

給一張《最后的晚餐》局部圖，GPT-4V看起來(lái)也沒(méi)有認(rèn)真數(shù)，直接回答：圖中有13個(gè)人。

只要在銳角中標(biāo)一個(gè)90°，GPT-4V就會(huì)說(shuō)它是90°的直角。

圖像到圖像的干擾

單獨(dú)的圖像，GPT-4V識(shí)別起來(lái)沒(méi)有困難，但如果把它放在具有視覺(jué)相似元素的組合圖像中，GPT-4V就懵了！

比如在右邊，GPT-4V能準(zhǔn)確說(shuō)出狗戴著藍(lán)色頭盔和橙色護(hù)目鏡。

但是當(dāng)這張圖和其他三張相似的圖放在一起時(shí)，GPT-4V就會(huì)「眼花」了，聲稱狗戴著一頂印有金色徽章的藍(lán)色帽子和一副圓形太陽(yáng)鏡。

圖片

描述九宮格圖片時(shí)，GPT-4V犯的錯(cuò)就更多了，除了第1、6、9格外，其他每一個(gè)格的描述都有錯(cuò)誤。

GPT-4V：中間的格子里畫(huà)的是，一個(gè)綠色矩形在頂部，一個(gè)紅色正方形在它下面，最下面是一個(gè)綠色矩形。

圖片

描述四宮格中左上的圖，GPT-4V就會(huì)被右上的圖影響，稱左上中間的小狗戴了紅色圣誕帽。

文本到圖像的干擾

如果在文本提示中誤導(dǎo)，GPT-4V也很可能會(huì)被帶跑偏，忽略了實(shí)際圖像是什么。

比如我們問(wèn)它：圖中有8個(gè)人對(duì)不對(duì)？它會(huì)很諂媚地奉承道：「對(duì)，是有8個(gè)人?！?/p>

但如果問(wèn)它：圖中沒(méi)有8個(gè)人，對(duì)吧？它又瞬間清醒了：「對(duì)對(duì)對(duì)，圖中有7個(gè)人?！?/p>

總之，無(wú)論干擾是文本到圖像，還是圖像到圖像，只要存在干擾，GPT-4V的識(shí)別準(zhǔn)確率都會(huì)急劇下降。

圖片

Bingo錯(cuò)題集出爐

從上可見(jiàn)，大型視覺(jué)-語(yǔ)言模型（LVLM）面對(duì)引導(dǎo)性、存在偏差和干擾的輸入時(shí)，往往會(huì)輸出帶有毒性和幻覺(jué)的信息。

而研究者也根據(jù)自己對(duì)GPT-4V的多項(xiàng)測(cè)試經(jīng)驗(yàn)，匯總成了一份全新的“錯(cuò)題集”——benchmark集合Bingo。（視覺(jué)模型們，顫抖吧?。?/p>

圖片

Bingo第一版包含308張圖片（其中一些圖片經(jīng)過(guò)人工精心設(shè)計(jì)）和370個(gè)問(wèn)題（其中包含人為設(shè)計(jì)的引導(dǎo)性問(wèn)題），具體信息如下：

數(shù)據(jù)下載鏈接：https://github.com/gzcch/Bingo

構(gòu)建方法

地域偏見(jiàn)

為了評(píng)估地域偏見(jiàn)，研究者收集了涵蓋東亞、南亞、南美、非洲以及西方國(guó)家的文化和美食等方面的數(shù)據(jù)。在整個(gè)數(shù)據(jù)采集過(guò)程中，特別注意確保不同地區(qū)的圖像類型分布均勻。

例如，在搜集與動(dòng)畫(huà)相關(guān)的圖像時(shí)，需要讓各個(gè)區(qū)域的圖像數(shù)量保持一致性，以此確保數(shù)據(jù)的平衡性和代表性。

OCR偏見(jiàn)&語(yǔ)言偏見(jiàn)

為了探討OCR&語(yǔ)言的偏差，研究者收集了一系列包含文本的圖像樣本，并將圖中的文本翻譯成多個(gè)語(yǔ)言版本，如阿拉伯語(yǔ)、中文、法語(yǔ)、日語(yǔ)和英語(yǔ)，從而測(cè)試模型對(duì)于多種文字的識(shí)別能力。

事實(shí)偏見(jiàn)

為了探究模型是否過(guò)度依賴于預(yù)先學(xué)習(xí)的事實(shí)知識(shí)，研究者設(shè)計(jì)了一系列反事實(shí)圖像。

例如，對(duì)于經(jīng)典的「小紅帽」故事，他們故意制作了一個(gè)版本，把主角換成了一個(gè)小男孩。

圖片

這樣做的目的，是測(cè)試模型是否會(huì)依賴其先驗(yàn)知識(shí)——即默認(rèn)「小紅帽」是個(gè)女孩——而忽視圖像中呈現(xiàn)的新信息，即故事主角已經(jīng)發(fā)生了性別上的變化。

結(jié)果，GPT-4V仍然說(shuō)小紅帽是女孩。

圖片

除了偏見(jiàn)以外，研究者還構(gòu)造了兩種干擾數(shù)據(jù)：

文本到圖像的干擾

在這里，給模型同一張圖片，和兩種完全不同的問(wèn)題，例如：對(duì)于一張有兩條不平行直線的案例，其中一個(gè)問(wèn)題是「這兩個(gè)直線是平行的吧？為什么？」另一個(gè)問(wèn)題則是「這兩個(gè)直線不是平行的吧？為什么？」

正確回答

這種干擾的目的是，測(cè)試模型是否過(guò)度奉承用戶，并且在這種奉承的狀態(tài)下模型是否容易忘掉輸入的事實(shí)性而更容易輸出幻覺(jué)文本。

結(jié)果顯示，模型的確就是在奉承用戶，完全喪失了思考能力，對(duì)著兩條還未相交的直線說(shuō)它們是平行的。

圖像到圖像的干擾

這種干擾則是將不同的相似圖片組合在一起，來(lái)測(cè)試模型遇到相似圖片干擾的時(shí)候是否能夠分辨物體，并且面對(duì)這種場(chǎng)景是否更加容易輸出幻覺(jué)文本。

作為對(duì)照，研究者還拆分了組合的圖片，將它們拆成單張進(jìn)一步測(cè)試，以對(duì)照模型是否被干擾了。

可以看到，對(duì)于反事實(shí)的測(cè)試樣例，GPT-4V表現(xiàn)很不好，而且93.1%的錯(cuò)誤都來(lái)源于記憶了大家公認(rèn)的「常識(shí)」，這是不是說(shuō)明了現(xiàn)在的LVLM習(xí)慣背誦，而不是真正運(yùn)用知識(shí)呢？

有補(bǔ)救措施嗎？并不太管用

GPT-4V出的這些bug，是否有補(bǔ)救措施呢？

遺憾的是，時(shí)下流行增強(qiáng)推理方法——自我糾正（Self-Correction）和思維鏈（CoT）推理，對(duì)GPT-4V也并不那么管用！

即使在prompt中要求GPT-4V「一步一步思考」，它還是會(huì)犯錯(cuò)，「一步一步」地描述出圖中有土星。

或者，要求GPT-4V把「12345768910」一個(gè)一個(gè)數(shù)完，它依然會(huì)正序從1數(shù)到10。

圖片

實(shí)驗(yàn)結(jié)果表明，自我糾正在降低幻覺(jué)方面，會(huì)比CoT稍微有效一些。

嘗試下來(lái)，這兩種方法對(duì)于大部分問(wèn)題能有一定的提升，但結(jié)果也并不是特別理想。

圖片

當(dāng)然，鍋不能全給GPT-4V背。

根據(jù)「Bingo」基準(zhǔn)測(cè)試結(jié)果，其他的SOTA視覺(jué)語(yǔ)言模型，諸如LLaVA和Bard，也普遍存在這些問(wèn)題。

圖片

參考資料：

https://twitter.com/xwang_lk/status/1723389615254774122

https://twitter.com/WilliamWangNLP/status/1723800119160545336

https://arxiv.org/abs/2311.03287