偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

o3-pro答高難題文字游戲引圍觀,OpenAI前員工諷刺蘋果:這都不叫推理那什么叫推理

人工智能
系統(tǒng)提示的影響極大。如今模型的可塑性超強(qiáng),那些能讓模型“理解自身所處環(huán)境與目標(biāo)”的LLM調(diào)教框架,能產(chǎn)生遠(yuǎn)超預(yù)期的價(jià)值。

OpenAI“最新最強(qiáng)版”推理模型o3-pro,實(shí)際推理能力到底有多強(qiáng)?

全球首位全職提示工程師Riley Goodside來給它上難度:

說出歌手Sabrina Carpenter的一首歌的歌名,回答這個(gè)問題時(shí),每個(gè)單詞最后一個(gè)字母連起來看,也能對應(yīng)這首歌名。

圖片圖片

結(jié)果,o3-pro在經(jīng)過4分25秒的推理過后,成功給出正確答案。

經(jīng)Sabrina Carpenter實(shí)測,o3只能做對個(gè)大概,通常只能把最后幾個(gè)字母湊對。

圖片圖片

該測試引來OpenAI前AGI Readiness團(tuán)隊(duì)負(fù)責(zé)人Miles Brundage的轉(zhuǎn)發(fā)關(guān)注。

雖然人已經(jīng)不在OpenAI了,但Miles Brundage還是替老東家直接開大陰陽蘋果:如果這都不叫推理那什么叫推理。

PS:蘋果前幾天發(fā)了個(gè)新研究,用漢諾塔等四個(gè)小游戲測試大模型,稱推理模型全都沒在真正思考,只是另一種形式的“模式匹配”,所謂思考只是一種假象。

圖片圖片

除了網(wǎng)友實(shí)測外,各大評測榜單已陸續(xù)同步更新排名。

總結(jié)來看,和官方給的測試結(jié)果略有不同。

官方測評中,o3-pro超越o3、o1-pro,成為當(dāng)前最擅長編碼的OpenAI模型。

圖片圖片

而在大模型權(quán)威榜單LiveBench上,o3-pro和o3編碼平均得分幾乎無差,o3-pro僅有0.07分的優(yōu)勢。

智能體編碼平均得分方面,o3-pro甚至大比分落后于o3(31.67 vs 36.67)。

圖片圖片

亞馬遜云科技&谷歌前高管Bindu Reddy表示:

主要是它在智能體這塊不太行,工具使用也不咋擅長。

昨天的大新聞不是o3-pro ,而是o3降價(jià)了??!

圖片

另外,針對大模型長上下文理解的基準(zhǔn)測試Fiction.LiveBench也放榜了。

o3-pro在較短上下文場景下表現(xiàn)很出色,較o3有所提升。

然鵝,192k超長上下文處理依然是Gemini 2.5 Pro占優(yōu)勢,Gemini 2.5 Pro得分90.6,而o3-pro僅得分65.6。

圖片圖片

讓人困惑的是,在這個(gè)基準(zhǔn)測試中,不管是o3-pro還是o3,在16k上下文中分?jǐn)?shù)都下降了,到了32k,兩個(gè)模型得分又回到了100。

圖片圖片

除此之外,蘋果&SpaceX前工程師Ben Hylak之前分享o1使用心得,得到不少網(wǎng)友關(guān)注,連奧特曼、Brockman都轉(zhuǎn)發(fā)了。

這次o3-pro他同樣沒放過,而且又被奧特曼翻了牌子。

圖片圖片

蘋果&SpaceX前工程師分享使用心得

蘋果&SpaceX前工程師Ben Hylak的分享,好似恰巧解釋了o3-pro的官方測評和各大評測榜單結(jié)果有所出入的問題。

圖片圖片

Ben Hylak曾任SpaceX軟件工程師、蘋果VisionOS人機(jī)交互設(shè)計(jì)師,目前在創(chuàng)業(yè)為AI產(chǎn)品提供分析服務(wù)。

此前o1 pro推出滿血$200/月版本時(shí),Ben Hyla第一天就交了錢,整整測試了一天。

圖片圖片

結(jié)果體驗(yàn)很糟糕,很多人表示同感,但也有人強(qiáng)烈反對。Ben Hylak在與持不同觀點(diǎn)人激烈討論了一番后,意識到自己的使用方法完全錯(cuò)了。

我還在把o1當(dāng)聊天模型來用,但o1已經(jīng)不是聊天模型了。

后來,Ben Hylak從討厭o1轉(zhuǎn)變成了每天都在用它解決最重要的問題。這件事兒的反轉(zhuǎn),讓Ben Hylak測試o3-pro更加用心。

他透露這次自己一周前就已經(jīng)提前接觸到了3-pro,o3-pro“以不同方式測試,實(shí)際體驗(yàn)會有所不同”。

從經(jīng)常測評大模型的經(jīng)驗(yàn)來看,Ben Hylak認(rèn)為“模型能力的發(fā)揮高度依賴背景信息”,他表示自己目前使用o3關(guān)鍵就是:

不把它當(dāng)聊天對象,而是當(dāng)作報(bào)告生成器。給它背景信息、設(shè)定目標(biāo),然后讓它自由發(fā)揮。

由此,要看出o3-pro的真正實(shí)力,得給它多得多的背景信息。然鵝,Ben Hylak手頭的信息素材都快榨干了。于是,Ben Hylak換了種方法:

他和他的聯(lián)合創(chuàng)始人Alexis花時(shí)間把他們在Raindrop所有歷史會議記錄、目標(biāo)全翻出來,甚至錄了語音備忘錄,一股腦塞給o3-pro,讓它做規(guī)劃。

結(jié)果,被o3-pro驚艷到了:

它輸出的計(jì)劃精準(zhǔn)踩中我們想要的點(diǎn)——目標(biāo)數(shù)據(jù)、時(shí)間排期、優(yōu)先級排序,連“必須砍哪些業(yè)務(wù)”都寫得明明白白。

o3給出的計(jì)劃合理、說得通;但o3-pro給出的計(jì)劃足夠具體、有依據(jù),真真切切改變了我們對未來的思考方式。

這在評估中很難體現(xiàn)出來。

除此之外,Ben Hylak認(rèn)為如今的模型在孤立環(huán)境下表現(xiàn)已然十分出色,簡單測試難不倒它,真正的挑戰(zhàn)在于將其融入社會。

這種融入主要體現(xiàn)在工具調(diào)用方面,即模型與人類、外部數(shù)據(jù)以及其它AI協(xié)作得如何。

經(jīng)測試,Ben Hylak表示o3-pro在這方面有了實(shí)實(shí)在在的提升——

“它在識別自身所處環(huán)境、準(zhǔn)確說明可使用的工具、知曉何時(shí)需詢問外部世界信息(而非假裝自己掌握相關(guān)信息或權(quán)限 )以及為任務(wù)挑選合適工具等方面,表現(xiàn)都明顯更優(yōu)?!?/span>

下面是展示示例。Ben Hylak讓o3-pro和o3做一個(gè)日歷。

o3-pro顯然能更好地理解其所處環(huán)境的邊界,明確表示:

在這個(gè)聊天窗口中無法顯示實(shí)時(shí)交互的HTML預(yù)覽(我的環(huán)境僅支持純文本和代碼片段)。

并且給出了要查看渲染后日歷的詳細(xì)步驟操作,還描述了用戶將看到的視覺內(nèi)容。

圖片圖片

相比之下,o3明明做不到還裝能做,表示可以“創(chuàng)建日歷小組件的實(shí)時(shí)交互預(yù)覽”。

下面這個(gè)例子,Ben Hylak讓模型找今年關(guān)于Borges的Substack文章。

o3-pro同樣明確表示進(jìn)行實(shí)時(shí)Substack查詢所需的網(wǎng)頁搜索工具在當(dāng)前環(huán)境未啟用,所以無法直接獲取最新鏈接。

而o3表示搜索了,但沒有找到2025年發(fā)布的Borges的Substack文章。

圖片圖片

Ben Hylak還發(fā)現(xiàn),需要給o3-pro提供更多上下文,要是不提供足夠的上下文,它會出現(xiàn)過度思考的情況。

它在分析方面超強(qiáng),也很擅長借助工具做事,但自己直接動手做事就沒那么在行。我覺得它會是個(gè)超棒的協(xié)調(diào)者。不過,有些ClickHouse SQL相關(guān)問題,o3處理得更好。實(shí)際效果因人而異。

o3-pro給Ben Hylak帶來的體驗(yàn)與Claude Opus、Gemini 2.5 Pro相比,都不同。

Ben Hylak認(rèn)為Claude Opus雖體量龐大,但沒讓他真切感受到這種“大”的獨(dú)特價(jià)值;而o3-pro的輸出更優(yōu),仿佛兩者完全處于不同的競爭維度。

他繼續(xù)補(bǔ)充道,OpenAI正沿著強(qiáng)化學(xué)習(xí)路徑深挖(比如Deep Research、Codex項(xiàng)目),不只是教模型“怎么用工具”,更是教它們“思考何時(shí)該用工具”。

最后,Ben Hylak總結(jié)認(rèn)為推理模型的Prompt技巧核心邏輯不變,之前他寫的o1提示指南,現(xiàn)在依然適用o3-pro。

首先,“語境”是一切,就像給“餅干怪獸”喂餅干,精準(zhǔn)投喂才有效,它是一種引導(dǎo)大語言模型激活“類記憶能力”的方式,但因?yàn)樽銐蚓珳?zhǔn),所以效果拔群。

另外,系統(tǒng)提示的影響極大。如今模型的可塑性超強(qiáng),那些能讓模型“理解自身所處環(huán)境與目標(biāo)”的LLM調(diào)教框架,能產(chǎn)生遠(yuǎn)超預(yù)期的價(jià)值。

參考鏈接:

[1]https://www.latent.space/p/o3-pro

[2]https://x.com/Miles_Brundage/status/1932889744306024815

[3]https://x.com/ficlive/status/1932588629768982751

[4]https://x.com/bindureddy/status/1932889892562088086

責(zé)任編輯:武曉燕 來源: 量子位
相關(guān)推薦

2025-06-11 08:56:54

2025-06-13 08:11:11

2025-06-08 14:15:42

2025-06-11 09:13:44

2025-06-11 14:48:11

OpenAIo3-proGemini

2024-12-24 16:15:04

2024-09-24 11:01:03

2025-05-13 08:24:14

2025-02-08 17:00:11

2025-04-23 08:30:05

2025-01-20 19:52:50

2025-06-17 08:40:44

2025-04-17 06:10:57

2025-02-03 14:06:32

2024-11-25 15:50:00

模型訓(xùn)練

2025-02-18 08:15:03

2025-03-10 08:10:00

AI研究安全

2025-06-11 09:19:46

2024-09-29 13:07:16

2024-11-07 15:40:00

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號