OpenAI剛剛宣布推出其最新的o系列模型：o3和o4-mini，與以往模型不同，o3和o4-mini被設(shè)計為真正的AI系統(tǒng)，模型甚至能連續(xù)調(diào)用超過600次工具來完成一項艱巨任務(wù)，它們在理解和導(dǎo)航大型代碼庫（比如OpenAI自己的代碼庫）方面，超越了人類工程師，極大地提高了開發(fā)效率。

這次發(fā)布會我有兩個沒想到：一是沒想到o系列模型變成了一個融合的模型，另外一個是引入圖像推理“Thinking with Images”，下面第一時間給大家劃個重點。

全面工具訪問與推理能力

o3和o4-mini最顯著的特點是首次實現(xiàn)了對ChatGPT內(nèi)所有工具的智能使用和組合能力。它們可以搜索網(wǎng)絡(luò)、分析上傳的文件、處理視覺輸入、生成圖像，并且能夠智能地判斷何時以及如何使用這些工具來解決復(fù)雜問題。這些模型經(jīng)過專門訓(xùn)練，能夠在大約一分鐘內(nèi)提供詳細(xì)且經(jīng)過深思熟慮的答案，以適當(dāng)?shù)妮敵龈袷浇鉀Q多方面的問題。

o3,o4mini性能

OpenAI o3是目前最強大的推理模型，在編程、數(shù)學(xué)、科學(xué)、視覺感知等領(lǐng)域推動了技術(shù)邊界。它在包括Codeforces、SWE-bench和MMMU在內(nèi)的多項基準(zhǔn)測試中創(chuàng)下新的記錄。在由外部專家進行的評估中，o3在解決困難的現(xiàn)實世界任務(wù)時比OpenAI o1減少了20%的重大錯誤，特別是在編程、商業(yè)咨詢和創(chuàng)意構(gòu)思方面表現(xiàn)出色。早期測試者強調(diào)了它作為思維伙伴的分析嚴(yán)謹(jǐn)性，以及在生物學(xué)、數(shù)學(xué)和工程背景下生成和批判性評估新假設(shè)的能力。

OpenAI o4-mini是一個針對快速、高效推理而優(yōu)化的小型模型。盡管規(guī)模較小，但它在數(shù)學(xué)、編碼和視覺任務(wù)方面表現(xiàn)出色。在2025年AIME數(shù)學(xué)競賽中，當(dāng)獲得Python解釋器訪問權(quán)限時，o4-mini的得分高達99.5%，實際上已經(jīng)飽和了這個基準(zhǔn)測試。在專家評估中，它也在非STEM任務(wù)和數(shù)據(jù)科學(xué)等領(lǐng)域超越了前身o3-mini。由于其高效性，o4-mini支持比o3更高的使用限制，使其成為需要推理能力的高容量、高吞吐量應(yīng)用的理想選擇。

圖像推理能力的突破

o3和o4-mini首次能夠?qū)D像直接整合到思維鏈中，它們不僅能看到圖像，還能通過圖像進行思考。這解鎖了融合視覺和文本推理的新型問題解決方式，在多模態(tài)基準(zhǔn)測試中表現(xiàn)出色。用戶可以上傳白板照片、教科書圖表或手繪草圖，模型能夠解釋它們——即使圖像模糊、顛倒或質(zhì)量低下。借助工具使用能力，模型可以實時操作圖像，作為推理過程的一部分進行旋轉(zhuǎn)、縮放或轉(zhuǎn)換。

負(fù)責(zé)圖像推理的華裔研究員Jiahui Yu解釋圖像推理（“Thinking with Images”）的重要性：

自最初的 o 系列發(fā)布以來，“圖像思考”一直是我們在感知領(lǐng)域的核心戰(zhàn)略之一。我們悄然發(fā)布了 o1 vision，作為對這一戰(zhàn)略的驚鴻一瞥——如今，o3 和 o4-mini 的問世則以臻于完善的姿態(tài)將其變?yōu)楝F(xiàn)實,多模態(tài)技術(shù)對于 OpenAI 實現(xiàn) AGI 的愿景至關(guān)重要。

朝向主動式工具使用

OpenAI o3和o4-mini可以完全訪問ChatGPT內(nèi)的工具，以及通過API中的函數(shù)調(diào)用訪問用戶自定義工具。它們經(jīng)過訓(xùn)練，能夠推理如何解決問題，選擇何時以及如何使用工具，以快速產(chǎn)生詳細(xì)且經(jīng)過深思熟慮的答案。例如，用戶可能會問："今年夏季加利福尼亞的能源使用情況與去年相比如何？"模型可以搜索網(wǎng)絡(luò)獲取公用事業(yè)數(shù)據(jù)，編寫Python代碼建立預(yù)測模型，生成圖表或圖像，并解釋預(yù)測背后的關(guān)鍵因素，將多個工具調(diào)用鏈接在一起。

One More Thing... 開源Codex CLI！

發(fā)布會最后還帶來一個驚喜，OpenAI推出了Codex CLI——一個連接模型與用戶本地計算機環(huán)境的輕量級命令行接口。

它直接在用戶的計算機上工作，旨在最大限度地發(fā)揮像o3和o4-mini這樣的模型的推理能力，未來還將支持GPT-4.1等其他API模型。用戶可以通過向模型傳遞屏幕截圖或低保真草圖，結(jié)合本地代碼訪問，從命令行獲得多模態(tài)推理的好處。

發(fā)布會現(xiàn)場演示環(huán)節(jié)開發(fā)人員利用Codex CLI工具展示了一個非常酷炫的實時攝像頭ASCII藝術(shù)，讓模型直接讀取電腦攝像頭畫面，實時生成酷炫的ASCII動態(tài)畫面。

開源地址：https://github.com/openai/codex

最后

從今天開始，ChatGPT Plus、Pro和Team用戶將在模型選擇器中看到o3、o4-mini和o4-mini-high，取代o1、o3-mini和o3-mini-high。ChatGPT Enterprise和Edu用戶將在一周內(nèi)獲得訪問權(quán)限。免費用戶可以在提交查詢前選擇"Think"來嘗試o4-mini。所有計劃的速率限制與先前的模型集保持不變。

OpenAI預(yù)計將在幾周內(nèi)發(fā)布具有完整工具支持的OpenAI o3-pro。目前，Pro用戶仍可以訪問o1-pro。

成本：

o3和o4-mini今天也通過Chat Completions API和Responses API向開發(fā)者提供。Responses API支持推理摘要，能夠在函數(shù)調(diào)用周圍保留推理標(biāo)記以獲得更好的性能，并將很快支持模型推理中的內(nèi)置工具，如網(wǎng)絡(luò)搜索、文件搜索和代碼解釋器。

個人感覺今天的更新反映了OpenAI模型的發(fā)展方向：將o系列的專業(yè)推理能力與GPT系列更自然的對話能力和工具使用能力融合。通過統(tǒng)一這些優(yōu)勢，未來的模型將支持無縫、自然的對話，同時提供主動工具使用和高級問題解決能力。