國(guó)內(nèi)Qwen是汪峰，國(guó)外Google是汪峰，昨天Google更新，放出新模型Gemini 2.5 Pro，凌晨OpenAI更新GPT4-o，上新圖像生成功能，難受住了。

GPT4-o沒(méi)測(cè)，但是網(wǎng)上的效果也太好了吧，倒影啥的都太自然了吧。。

這篇主要測(cè)試Gemini2.5 Pro的能力，整體測(cè)試通過(guò)Google的AI Studio上測(cè)試，每天免費(fèi)50次，正常使用夠了，爽玩還是不夠的。

https://aistudio.google.com/

Gemini2.5 Pro在Benchmark上效果還是很好的，甚至在lmsys的對(duì)戰(zhàn)榜單上，現(xiàn)在是第一，當(dāng)然現(xiàn)在投票還不夠多。

先說(shuō)一下整體的測(cè)試體驗(yàn)：

• 文本效果很不錯(cuò)，整體體驗(yàn)很絲滑，速度也很快；
• 代碼也很強(qiáng)，貪吃蛇、彈球游戲、UI設(shè)計(jì)都很強(qiáng)，堪比Claude；
• 但多模態(tài)理解的表格解析任務(wù)依然不理想；
• think的內(nèi)容英文為主，即使問(wèn)題是中文-回答是中文，但think大部分是英文；

正式測(cè)試開(kāi)始：

• 常規(guī)測(cè)試

將“I love Gemini 2.5 Pro”這句話的所有字母反過(guò)來(lái)寫

• 什么東西，我剛要開(kāi)噴，發(fā)現(xiàn)它回答的確實(shí)沒(méi)有問(wèn)題，僅修改字母，空格、數(shù)字和標(biāo)點(diǎn)符號(hào)不修改，我才意識(shí)到這題我出的有bug。
• 修改問(wèn)法，“字母”換成“內(nèi)容”，是我想要的，也沒(méi)問(wèn)題！

  

• 依舊弱智吧
• 生蠔煮熟了叫什么？
• 說(shuō)明：沒(méi)問(wèn)題，只要沒(méi)回答熟蠔，我是可以接受的！
• 用水來(lái)兌水，得到的是濃水還是稀水
• 說(shuō)明：沒(méi)問(wèn)題，是水，是水
• 依舊小紅，依舊老鷹
• 小紅有2個(gè)兄弟，3個(gè)姐妹，那么小紅的兄弟有幾個(gè)姐妹

  

  

未來(lái)的某天，李同學(xué)在實(shí)驗(yàn)室制作超導(dǎo)磁懸浮材料時(shí)，意外發(fā)現(xiàn)實(shí)驗(yàn)室的老鼠在空中飛，分析發(fā)現(xiàn)，是因?yàn)槔鲜蟛恍⌒某粤舜艖腋〔牧?。第二天，李同學(xué)又發(fā)現(xiàn)實(shí)驗(yàn)室的蛇也在空中飛，分析發(fā)現(xiàn)，是因?yàn)樯叱粤死鲜蟆５谌?，李同學(xué)又發(fā)現(xiàn)實(shí)驗(yàn)室的老鷹也在空中飛，你認(rèn)為其原因是

• 說(shuō)明：這題確實(shí)難，老鷹反正不會(huì)飛！
• 數(shù)學(xué)
• 2024年高考全國(guó)甲卷數(shù)學(xué)（理）試題

  

R1滿血測(cè)試題：在平面四邊形ABCD中，AB = AC = CD = 1,\angle ADC = 30^{\circ},\angle DAB = 120^{\circ}。將\triangle ACD沿AC翻折至\triangle ACP，其中P為動(dòng)點(diǎn)。 求二面角A - CP - B的余弦值的最小值。

• 說(shuō)明：沒(méi)對(duì)。
• 大數(shù)計(jì)算：178939247893 * 299281748617等于多少？
• 說(shuō)明：沒(méi)對(duì)，答案是53553251005627872913981。但側(cè)面有個(gè)code execution，開(kāi)了之后會(huì)調(diào)用工具，可以計(jì)算對(duì)，所以大數(shù)計(jì)算，感覺(jué)還是要依賴工具。

倫理、數(shù)學(xué)、生物終極測(cè)試：有一天，一個(gè)女孩參加數(shù)學(xué)考試只得了 38 分。她心里對(duì)父親的懲罰充滿恐懼，于是偷偷把分?jǐn)?shù)改成了 88 分。她的父親看到試卷后，怒發(fā)沖冠，狠狠地給了她一巴掌，怒吼道：“你這 8 怎么一半是綠的一半是紅的，你以為我是傻子嗎？”女孩被打后，委屈地哭了起來(lái)，什么也沒(méi)說(shuō)。過(guò)了一會(huì)兒，父親突然崩潰了。請(qǐng)問(wèn)這位父親為什么過(guò)一會(huì)崩潰了？

• 說(shuō)明：沒(méi)對(duì)，女兒紅綠色盲，并且不是親生。
• 代碼
• 貪吃蛇（ 來(lái)自@洛小山，雖然本人不擅長(zhǎng)，但是本人會(huì)抄 ）
• 彈球（ 來(lái)自@洛小山和@卡茲克，雖然本人不擅長(zhǎng)，但是本人會(huì)抄 ）
• 卡片：生成一個(gè)打工人時(shí)鐘的html頁(yè)面
• 多模態(tài)表格解析
• 中等表格

  

• 說(shuō)明：上為原表，下為識(shí)別，表格結(jié)果有問(wèn)題。
• 復(fù)雜表格

  

• 說(shuō)明：上為原表，下為識(shí)別，表格結(jié)果有問(wèn)題。

本文轉(zhuǎn)載自??NLP工作站??，作者：NLP工作站