谷歌扳回一局！

在Gemini開放API不到一周的時間，港中文等機(jī)構(gòu)就完成評測，聯(lián)合發(fā)布了多達(dá)128頁的報(bào)告，結(jié)果顯示：

在37個視覺理解任務(wù)上，Gemini-Pro表現(xiàn)出了和GPT-4V相當(dāng)?shù)哪芰?/strong>。

在多模態(tài)專有基準(zhǔn)MME上，Gemini-Pro的感知和認(rèn)知綜合表現(xiàn)則直接獲得了1933.4的高分，超越GPT-4V（1926.6）。

此前，CMU測評發(fā)現(xiàn)Gemini-Pro的綜合能力居然和GPT-3.5差不多。

現(xiàn)在，在多模態(tài)這個一大主推的賣點(diǎn)上，Gemini-Pro可算是扳回一局。

那么具體如何？

測評報(bào)告一共128頁，咱們就挑重點(diǎn)來看。

Gemini-Pro的首份多模態(tài)能力報(bào)告來了

這份測評主要是對Gemini-Pro的視覺理解能力進(jìn)行評估。

一共涵蓋基礎(chǔ)感知、高級認(rèn)知、挑戰(zhàn)性視覺任務(wù)和各種專家能力四大領(lǐng)域，在37個細(xì)分任務(wù)項(xiàng)上進(jìn)行定性比較。

定量評估則在專為多模態(tài)大語言模型專門設(shè)計(jì)的評測基準(zhǔn)MME上展開。

首先來看定量測試結(jié)果。

MME上綜合表現(xiàn)比GPT-4V強(qiáng)

MME基準(zhǔn)包含兩大類任務(wù)。

一個是感知，涵蓋目標(biāo)存在性判斷、物體計(jì)數(shù)、位置關(guān)系、顏色判斷、OCR識別、海報(bào)識別、名人識別、場景識別、地標(biāo)識別和藝術(shù)品識別等。

一個是認(rèn)知，涵蓋常識推理、數(shù)值計(jì)算、文本翻譯和代碼推理等。

結(jié)果如下：

可以看到Gemini-Pro和GPT-4V可謂“各有所長”。

而計(jì)分顯示，Gemini-Pro的總分為1933.4，比GPT-4V（1926.6）要高那么一點(diǎn)點(diǎn)。

具體來看：

1、Gemini-Pro在文本翻譯、顏色/地標(biāo)/人物識別、OCR等任務(wù)中表現(xiàn)突出；

2、GPT-4V在名人識別任務(wù)上的得分為0，主要是因?yàn)榫芙^回答名人相關(guān)的問題；

3、無論是Gemini還是GPT-4V在位置識別任務(wù)上表現(xiàn)都不佳，表明他們對空間位置信息不敏感；

4、開源模型SPHINX在感知任務(wù)上與GPT-4V以及Gemini平齊甚至更優(yōu)，但認(rèn)知和兩者有較大差距。

下面就是四大項(xiàng)任務(wù)上的定性結(jié)果了。

基礎(chǔ)感知

感知能力直接影響模型在高階任務(wù)中的能力，因?yàn)樗鼪Q定了模型獲取和處理原始視覺輸入的準(zhǔn)確性和有效性。

報(bào)告中分別測試了模型的對象級感知能力、場景級感知能力和基于知識的感知能力。

具體一共10個細(xì)分任務(wù)：

鑒于篇幅有限，我們在此只展示其中5個：

1、空間關(guān)系

都不分左右。但GPT-4V可以通過上下文少樣本學(xué)習(xí)這項(xiàng)任務(wù)，然后做出正確回答。

2、物體計(jì)數(shù)

簡單樣例整體還OK，但復(fù)雜一點(diǎn)的全軍覆沒。不過在數(shù)NBA籃球運(yùn)動員時，Gemini-Pro的答案已經(jīng)相當(dāng)接近了（正確為42個）。

3、視覺錯覺

左側(cè)樣例中，兩個梨實(shí)際上具有相同的亮度。Gemini Pro正確識別，而GPT-4V和SPHNIX被欺騙。

4、場景理解

模型都能夠描繪場景中的關(guān)鍵視覺元素。相比之下，GPT-4V顯示出優(yōu)越的性能，描述更加詳細(xì)，并且幻覺的實(shí)例也更少。

5、視頻場景理解

從視頻中抽取三個時刻的關(guān)鍵幀，Gemini Pro能夠?qū)⒉煌瑤男畔⒄铣梢粋€連貫的場景描述。

而GPT-4V只是逐幀描述圖像的內(nèi)容。相比之下，SPHNIX的描述并沒有表現(xiàn)出對圖像序列的全面理解。

高級認(rèn)知

這類任務(wù)需要模型進(jìn)行深入的推理、解決問題和決策。

在此，報(bào)告中分別測試了模型的富含文本的視覺推理能力、抽象視覺推理能力、解決科學(xué)問題能力、情感分析能力、智力游戲能力。具體包括13項(xiàng)細(xì)分任務(wù)，同樣限于篇幅我們只展示其中幾項(xiàng)。

1、代碼生成

將結(jié)構(gòu)化視覺內(nèi)容轉(zhuǎn)換為相應(yīng)的代碼是多模態(tài)大模型的一項(xiàng)重要技能，在此分別測試了模型識別公式生成LaTex代碼和識別網(wǎng)頁生成HTML代碼的能力。

Gemini Pro和GPT-4V在公式識別上表現(xiàn)出更好的結(jié)果，但仍然會錯誤識別一些小字符或符號。

三個模型的識別網(wǎng)頁生成相應(yīng)HTML代碼的能力仍然存在很大的改進(jìn)空間。

2、抽象視覺刺激

對抽象視覺刺激和符號的理解和推理是人類智能的一項(xiàng)基本能力。GPT-4V展示了最好的抽象性能，提供了對象如何由形狀組成的詳細(xì)描述。Gemini Pro能識別一些簡單的抽象模式。

3、圖像情感分析

模型都可以很好地描繪視圖，并提供其中可能的情感。GPT-4V觀察是中立的，強(qiáng)調(diào)情緒是主觀的，同時給出了更全面的分析。Gemini Pro傾向于直接輸出情感偏好。

4、情感調(diào)節(jié)輸出

情感調(diào)節(jié)輸出是讓多模態(tài)大模型描述以預(yù)定義情感為條件的視覺上下文。

雖然Gemini Pro和GPT-4V能夠正確地將相應(yīng)的情感注入到生成的文本中，但它們都遇到了幻覺問題。

5、數(shù)獨(dú)游戲

如果僅以圖像作為輸入，盡管Gemini Pro嘗試在輸出矩陣內(nèi)提供答案，但無法正確識別空白位置，而GPT-4V和SPHNIX則無法進(jìn)行第一步 光學(xué)字符識別。此外，給定相應(yīng)的文本輸入，Gemini Pro和GPT-4V都可以給出正確的答案。

挑戰(zhàn)性視覺任務(wù)

評估多模態(tài)大模型在超出標(biāo)準(zhǔn)視覺問答范圍的各種具有挑戰(zhàn)性的視覺任務(wù)中的性能。

需要模型具有深厚的視覺感知和理解能力，評估這類表現(xiàn)將有助于深入了解模型在多領(lǐng)域應(yīng)用的可行性。

報(bào)告中分別測試了模型在圖像視覺任務(wù)和時序視覺任務(wù)中的性能。具體包括以下7個細(xì)分任務(wù)：

在此我們展示3個。

1、指稱表達(dá)式理解

Gemini Pro和GPT-4V都能夠識別指稱對象的大致位置，但它們很難提供精確的坐標(biāo)和框大小。而SPHNIX展示了提供引用對象的準(zhǔn)確位置和大小的能力。

2、目標(biāo)跟蹤

Gemini Pro和GPT-4V都能夠描繪出要跟蹤的目標(biāo)的細(xì)節(jié)，但它們隨后兩幀圖像中提供了錯誤的邊界框。

3、視覺故事生成

任務(wù)要求模型完全理解圖像中的信息，并在生成的故事中對其進(jìn)行邏輯組織。

Gemini Pro和SPHNIX提供了連貫的故事，但卻和沒有十分貼近漫畫劇情。

GPT-4V為每個插圖提供了精確的描述，卻未能根據(jù)任務(wù)要求將它們編織成一個有凝聚力的故事。

各種專家能力

專家能力衡量多模態(tài)大模型將其學(xué)到的知識和技能應(yīng)用于不同專業(yè)領(lǐng)域的泛化能力。除了上述的感知和認(rèn)知任務(wù)外，多模態(tài)大模型在專門和獨(dú)特場景下的魯棒性通常具有更實(shí)際的參考意義。也是7個細(xì)分任務(wù)：

在此我們同樣展示3個：

1、缺陷檢測

缺陷檢測需要高精度和對細(xì)節(jié)的關(guān)注。對于缺陷明顯的圖像，模型都可以提供正確答案，其中GPT-4V輸出更詳細(xì)的原因和描述。

對于下圖中的螺紋損壞的樣例，Gemini Pro給出了過于籠統(tǒng)的答案，SPHNIX錯誤地描述了外觀，而GPT-4V給出了標(biāo)準(zhǔn)答案。

2、經(jīng)濟(jì)分析

報(bào)告展示了兩個用于回答問題的股價走勢圖。Gemini Pro擅長專家級金融知識，能夠給出正確答案。GPT-4V由于安全風(fēng)險而沒有給出明確答案。SPHNIX由于缺乏相關(guān)訓(xùn)練數(shù)據(jù)無法理解此類問題。

3、機(jī)器人運(yùn)動規(guī)劃

機(jī)器人規(guī)劃要求機(jī)器人能夠確定如何在給定情況下采取行動以實(shí)現(xiàn)特定目標(biāo)。

Gemini Pro和GPT-4V都可以提供有條理且詳細(xì)的步驟，并且GPT-4V似乎比Gemini Pro給出了更合理的決定，例如電池的安裝順序，但SPHNIX無法完成手機(jī)的組裝，說明其泛化能力有限。

總結(jié)評價：都是“半斤八兩”

鑒于其卓越的多模態(tài)推理能力，Gemini確實(shí)是GPT-4V的有力挑戰(zhàn)者。

在大多數(shù)情況下，與GPT-4V相比，Gemini的回答準(zhǔn)確性具有競爭力，并展示了不同的回答風(fēng)格和偏好。

GPT-4V傾向于生成對感知任務(wù)更詳細(xì)的描述，并為認(rèn)知任務(wù)提供深入的分析和逐步的中間推理，而Gemini更喜歡對答案提供直接而簡潔的回應(yīng)，這有助于用戶快速找到相關(guān)信息。

不過，兩個模型也存在一定的共性問題，比如空間感知能力不強(qiáng)，復(fù)雜OCR和抽象視覺理解不理想，推理過程可能存在不自洽結(jié)果，對提示設(shè)計(jì)的魯棒性不足……在很多情況下仍然陷入困境。

所以，從現(xiàn)階段成果來看，兩者都點(diǎn)“半斤八兩”的意思。

作者最后的結(jié)論就是：

大模型的多模態(tài)能力總的來說都還有很長的路要走。

具體往哪走？

三個方面：視覺表示編碼（細(xì)粒度外觀、空間關(guān)系感知）、多模態(tài)對齊（減輕幻覺、OCR準(zhǔn)確性）以及模型推理能力（定量處理、邏輯一致性）。

關(guān)于Gemini Pro與GPT-4V、SPHNIX的更多評估比較，請查看原論文。