谷歌大模型“性價比之王”來了!混合推理模型,思考深度可自由控制,競技場排名僅次于自家Pro
緊跟o4-mini,谷歌上新了Gemini 2.5 Flash preview版本。
作為更注重效率的Flash,在大模型競技場上排名并列第二,第一是自家的Gemini 2.5 Pro。
這樣的表現(xiàn),讓Gemini 2.5 Flash的性價比直接拉滿。
而且還是一款混合推理模型,可以自由設(shè)定思考深度,幫助預(yù)算不足的用戶進(jìn)一步控制推理成本。
目前,preview版本(不同于Gemini網(wǎng)頁版中的版本)已在Google AI Studio和Vertex AI的 API中上線。
主打性價比,思考深度自由調(diào)控
在大模型競技場上,經(jīng)過3000多輪對戰(zhàn),Gemini 2.5 Flash獲得了1392分的成績,與Grok-3、GPT-4.5等模型并列第二。
綜合成績僅次于自家的Pro版,這樣看來在競技場中戰(zhàn)勝谷歌的只有谷歌了。
并且在編程、復(fù)雜提示和長文本三個子榜單中,都和Pro版并列第一。
在大模型競技場推出的WebDev榜單里,Gemini 2.5 Flash位列第七,超過了前一代(2.0)的Pro版本。
此外谷歌還展示了Gemini 2.5 Flash在一系列高難度數(shù)據(jù)集上的表現(xiàn)。
其中包括由1000多名學(xué)者提出的“人類最后的考試”,這套測試集發(fā)布時沒有任何一個模型得分超過10%,現(xiàn)在Gemini 2.5 Flash的成績是12.1%。
作為Flash版本,Gemini 2.5 Flash在谷歌自家的模型中,是至今性價比最高的版本。
其價格為0.15/0.6/3.5美元每百萬輸入/輸出/推理Token,和o4-mini相比便宜了不少。
實際上,如果按照輸入輸出3:1的比例計算,在大模型競技場1400分附近,Gemini 2.5 Flash是最便宜的一款模型。
△請注意橫軸數(shù)字非單調(diào)下降
另外對于價格相對較高的推理過程,Gemini 2.5 Flash支持自由深度控制(甚至完全關(guān)閉),可以幫助預(yù)算不足的用戶節(jié)約成本。
如果不進(jìn)行設(shè)置,模型也會根據(jù)prompt自己判斷適宜的思考深度,避免在簡單的問題上過度思考,從而平衡成本。
o4-mini的競爭者?
在HackerNews上,Gemini 2.5 Flash引發(fā)了熱烈的討論。
有人認(rèn)為,谷歌不搞炒作,但實際上性價比非常高,谷歌正在贏得人工智能競賽。
也有人覺得,便宜是便宜,但是模型有時候會犯懶,不過這也在預(yù)料之中。
當(dāng)然,實際應(yīng)用還是要看具體任務(wù),不過可以確定的是,Gemini 2.5 Flash的性價比已經(jīng)獲得了部分人的認(rèn)可。
另外由于Gemini的Flash版本和OpenAI的mini類似,再加上上線時間鄰近,Gemini 2.5 Flash也被視為o4-mini的競爭者。
不過從谷歌官方發(fā)布的成績單上看,Gemini 2.5 Flash在一些難度較高的測試集中,表現(xiàn)是要稍遜于o4-mini的。
但如果考慮價格,這樣的差距似乎可以接受,而且實際任務(wù)當(dāng)中,也不總是需要模型能夠應(yīng)付這些最難的問題。
那么,在實際環(huán)境當(dāng)中,Gemini 2.5 Flash的表現(xiàn)又如何呢?首先看看編程能力。
先安排一下著名的小球測試變體——一個大五邊形中包含了三個缺一邊的小五邊形,之間互不交叉,小球在其中按照物理規(guī)律運(yùn)動。
五邊形的部分Gemini 2.5 Flash,正確繪制出來了,但對于小球則是完全已讀亂回,經(jīng)過了反復(fù)調(diào)整之后依然翻車。
再看o4-mini,運(yùn)行結(jié)果符合提示詞要求,并且代碼更加精簡,僅128行,而Gemini版本超過了500行。
這一輪,o4-mini勝。
再看數(shù)據(jù)分析能力。
我們找來了最近某班次航班的飛行記錄,包含了起飛到降落過程中各時間點的位置、高度、速度、航向等信息,一共有1700余個數(shù)據(jù)點。
給出的任務(wù)則是繪制出高度和速度隨時間變化的折線圖,并且涉及到了時區(qū)和計量單位的換算(原始數(shù)據(jù)中時間為UTC時間、高度為英尺、速度為節(jié),需要換算成北京時間、高度單位為米、速度單位為公里每小時)。
雖然我們上傳了數(shù)據(jù)文件,但一開始Gemini沒有選擇外掛,而是把數(shù)據(jù)全都寫進(jìn)了Python代碼,導(dǎo)致代碼非常冗長。
經(jīng)過提示之后,Gemini對代碼進(jìn)行了改進(jìn),得到了正確的圖像。
o4-mini這邊,雖然結(jié)果也對,但是沒有考慮清楚坐標(biāo)軸文本的長度,導(dǎo)致橫軸上所有標(biāo)簽都擠成一團(tuán)。
而且相比之下,Gemini的版本還帶有網(wǎng)格線,能夠更清晰地看出各點對應(yīng)的大致數(shù)值。
這一輪,Gemini勝。
最后一輪,來看下兩款模型的多模態(tài)理解能力。
這是英偉達(dá)最近一個月的股票形勢圖,我們讓兩款模型分別分析一下最佳的入手時機(jī)。
它們都從圖中正確發(fā)現(xiàn)了最低點和對應(yīng)的時間,至于回答質(zhì)量,還是直接看他們的輸出結(jié)果:
總的來說,如果不考慮價格,Gemini 2.5 Flash確實和o4-mini比還有些不盡如人意,但落地中考慮性價比,可能綜合競爭力就體現(xiàn)出來了。