在視覺感知方面，o3和o4-mini在思維鏈中進(jìn)行圖像推理， 代表了一個重要突破。

華盛頓大學(xué)計算機(jī)科學(xué)博士生施惟佳站出來表示，o3和o4-mini可能用到了她之前的研究Visual Sketchpad 。

論文鏈接：https://visualsketchpad.github.io/

這項發(fā)表于24年研究中，曾提出通過可視化輔助增強(qiáng)模型推理。一時間，這一猜測如同一石激起千層浪。

更猛烈的炮火來自滑鐵盧大學(xué)CS助理教授、谷歌DeepMind高級研究科學(xué)家陳文虎。

他表示，「OpenAI既不承認(rèn)也不引用任何相關(guān)工作。這真可悲?！?/span>

領(lǐng)導(dǎo)OpenAI感知團(tuán)隊的華人科學(xué)家Jiahui Yu表示：「確實不知道，但看起來很酷?！?/span>

OpenAI的內(nèi)部員工Brandon McKinzie表示，一眼看上去，與我們研究的有很大不同。而且o3和o4-mini行為都是自發(fā)的表現(xiàn)。

隨后，這引發(fā)了關(guān)于o3視覺推理能力的大討論。

但OpenAI陷入爭議的不止是視覺推理，在數(shù)學(xué)基準(zhǔn)測試中被爆出「作弊」！

視覺推理大辯論

首先登場的是Brandon McKinzie。

他瞥過一眼Visual Sketchpad，認(rèn)為OpenAI的技術(shù)與之完全不同：

與我們之前做的事情完全不同，值得注意的是，o3和o4-mini中的行為完全是由大規(guī)模強(qiáng)化學(xué)習(xí)（RL）產(chǎn)生的。

我們只是給它們提供了訪問Python和操作圖像的能力，其余的都交給了模型自己去處理。

但華盛頓大學(xué)的博士生胡雨石（Yushi Hu），對此并不完全認(rèn)同。

模型又是如何學(xué)會操作圖像的？

他猜測到OpenAI可能使用了SFT數(shù)據(jù)，和謝賽寧V*論文或可視化草稿本論文類似。

此時，另一個華人AI大牛謝賽寧加入了辯論。

他提出了「用圖思考」的更深入的思考。

謝賽寧：識別已死，視覺永生

關(guān)于「用圖思考」的概念，謝賽寧有5點進(jìn)一步的思考。

1. 零樣本工具使用有局限性。

不能僅僅調(diào)用一個物體檢測器就實現(xiàn)視覺搜索。

這也是為什么像VisProg、ViperGPT、Visual-sketchpad這樣的方式難以泛化或擴(kuò)展的原因。

它們更像是「外掛式工具調(diào)用」，而不是系統(tǒng)性能力。

謝賽寧在V*項目中就專注于這一點，但兩年前他還沒有意識到強(qiáng)化學(xué)習(xí)（RL）會變得這么強(qiáng)大，因此只能依靠監(jiān)督微調(diào)（SFT）來訓(xùn)練檢測頭。

這種方式雖然能跑通，但速度慢，訓(xùn)練過程也頗為痛苦。

論文鏈接：https://arxiv.org/abs/2312.14135

2. 視覺搜索必須是多模態(tài)大模型的原生組件，且要端到端整合。 

3. 如果所使用的工具本身是簡單、低層次的——比如基礎(chǔ)的Python圖像處理函數(shù)，而不是像Faster R-CNN 這樣的大模型——它們就可以直接被整合進(jìn)端到端系統(tǒng)。

一旦強(qiáng)化學(xué)習(xí)規(guī)?；?，這些簡單工具就能變成「視覺基元」（visual primitives），模型可以自由組合它們，從而構(gòu)建出可擴(kuò)展的視覺能力。

4. 大家應(yīng)該繼續(xù)發(fā)掘這些視覺基元。 

它們絕不僅僅是圖像處理函數(shù)，也應(yīng)該包括對視頻、三維數(shù)據(jù)的處理方式，未來的視覺系統(tǒng)需要構(gòu)建在更廣泛的「感知基礎(chǔ)件」之上。

5. 謝賽寧認(rèn)為大多數(shù)傳統(tǒng)的視覺識別模型已經(jīng)「過時」了。 

正如Ross Girshick所說，它們本質(zhì)上就是「解析器」（parsers）。但視覺本身沒有死，反而比以往任何時候都更有生命力、更令人興奮。

視覺識別模型已過時

此外，謝賽寧爆出了更大的消息：為OpenAI新模型「用圖思考」奠定基礎(chǔ)的Bowen Cheng、Ji Lin，的確與他討論過多模態(tài)基礎(chǔ)相關(guān)話題。

而謝賽寧的V*從GPT-4V的55%性能躍升至o3的95.7%。

看到一個艱難的基準(zhǔn)測試被解決，他感到一種深深的滿足感：

這意味著視覺搜索，正成為多模態(tài)模型推理的一個基本組成部分，就像視覺對人類的意義一樣。

然而，他認(rèn)為不要只是緊跟OpenAI的步伐。

學(xué)術(shù)界需要向前推進(jìn)，構(gòu)建那些不僅僅是眼下相關(guān)的東西，而是能夠塑造未來的事物——

也許還能夠啟發(fā)像OpenAI這樣的偉大公司。

V*證明學(xué)術(shù)界可以做到。

謝賽寧的推文停留在轉(zhuǎn)發(fā)微軟VP Nando de Freitas的推文：

強(qiáng)化學(xué)習(xí)并非一切……  

類似的說法只是宣傳。

這就是對OpenAI的Brandon McKinzie的「一切能力都從RL訓(xùn)練涌現(xiàn)」的一種委婉的反駁。

o3數(shù)學(xué)成績僅為10%，評測結(jié)果再陷爭議

除了圖像推理，o3在數(shù)學(xué)基準(zhǔn)的成績單，也受到了外界質(zhì)疑。

去年12月，OpenAI官宣o3時，聲稱模型在FrontierMath基準(zhǔn)測試中正確率超25%。

當(dāng)時，業(yè)內(nèi)其他頂尖模型的得分普遍低于2%，o3的表現(xiàn)無疑令人矚目。

然而，這一亮眼的成績似乎只是OpenAI內(nèi)部測試的「理想狀態(tài)」。

OpenAI首席研究官Mark Chen在直播中稱，「為o3配置激進(jìn)的測試時計算（test-time compute）后，我們能把成績提高到25%以上?！?/span>

顯然，25%得分來自一個計算資源更強(qiáng)大的o3版本，也就是上周發(fā)布的滿血版。

針對滿血o3，創(chuàng)建FrontierMath基準(zhǔn)的研究機(jī)構(gòu)Epoch AI，發(fā)布了獨立測試結(jié)果：o3得分僅為10%，遠(yuǎn)低于OpenAI聲稱最高成績25%。

這并不意味著，OpenAI故意造假。

OpenAI去年12月公布的基準(zhǔn)測試中，也給出了一個與Epoch實測一致的「下界得分」。

Epoch補(bǔ)充說，測試結(jié)果的差異可能源于以下原因：

• OpenAI內(nèi)部測試使用了更強(qiáng)大的框架，投入了更多測試時計算
• 測試所采用的FrontierMath數(shù)據(jù)集版本不同：OpenAI可能使用的是290題的frontiermath?2025?02?28?private；Epoch使用的是180題的frontiermath?2024?11?26。

與此同時，ARC Prize基金會在X上發(fā)帖證實，預(yù)發(fā)布版o3與公開版并非同一模型，后者「專門為聊天／產(chǎn)品場景調(diào)?！?。

他們還指出，目前發(fā)布的各檔o3計算級別（compute tiers），都比跑基準(zhǔn)時用的版本小。

一般而言，算力檔位越高，基準(zhǔn)成績也會越好。

此外，OpenAI技術(shù)團(tuán)隊成員Wenda Zhou在上周一次直播中坦言，相較于去年12月，經(jīng)過優(yōu)化后的o3更適合現(xiàn)實世界的用例，更側(cè)重于真實使用場景與推理速度。因此，它在基準(zhǔn)測試上可能會出現(xiàn)一些「偏差」。

這樣的成績落差，引起了不少網(wǎng)友質(zhì)疑。

但嚴(yán)格來說，問題并不在于o3的實際表現(xiàn)。OpenAI旗下的其他模型，如o3?mini?high和o4?mini，在FrontierMath上的表現(xiàn)都優(yōu)于o3。

而且，奧特曼表示，計劃在未來幾周推出更強(qiáng)大的o3?pro。

這意味著，o3的基準(zhǔn)測試爭議更多地是「面子問題」，而非OpenAI技術(shù)短板。

不過，這再次提醒我們：AI基準(zhǔn)測試的結(jié)果不能只看表面，尤其當(dāng)數(shù)據(jù)來自一家急于推廣服務(wù)的公司時。

基準(zhǔn)測試，權(quán)威性何在？

其實，o3的風(fēng)波并非是孤例。

科技大廠競相推出新模型吸引眼球，「基準(zhǔn)測試爭議」在AI行業(yè)已屢見不鮮。

今年1月，Epoch還曾因在o3發(fā)布后，才披露得到了OpenAI資金支持而飽受批評。

甚至，許多為FrontierMath貢獻(xiàn)題目的學(xué)者，包括陶哲軒等大牛在內(nèi)，直到消息公開后才得知OpenAI的介入，瞬間引發(fā)全網(wǎng)關(guān)于基準(zhǔn)測試公平性質(zhì)疑。

還有前段時間，Grok 3發(fā)布之后，其基準(zhǔn)測試遭到OpenAI研究員譴責(zé)——用基于64個樣本進(jìn)行多數(shù)投票刷分。

還有最近一次的烏龍，Meta用「特供版」Llama 4去刷分登上了Chatbot Arena榜單TOP 2。

有趣的是，在最新榜單中，Llama 4排名跌至32位，不滾動屏幕根本找不到它。

總而言之，基準(zhǔn)測試「水分」已成為一個不可忽視的問題，關(guān)鍵在于每個人理性看待AI成績單。