剛剛，OpenAI發(fā)布史上最強(qiáng)模型-o1，推理能力超人類(lèi)博士！
今天凌晨1點(diǎn)，OpenAI終于正式發(fā)布了傳說(shuō)中的“草莓”模型——o1。
除了名字不一樣，功能、推理、性能等方面與之前泄漏的內(nèi)容基本一致，o1的推理模式很特殊，在回答用戶(hù)問(wèn)題之前會(huì)進(jìn)入擬人化思考模式，將問(wèn)題分解成更小的步驟逐一解決，生成一個(gè)較長(zhǎng)的內(nèi)部思維鏈，回答的內(nèi)容也更加準(zhǔn)確。
這個(gè)技術(shù)谷歌DeepMind很早之前便進(jìn)行過(guò)解讀稱(chēng)為——訓(xùn)練時(shí)計(jì)算（Test-time computation）。其核心技術(shù)主要使用了密集型、流程導(dǎo)向的驗(yàn)證獎(jiǎng)勵(lì)模型搜索，以及自適應(yīng)地更新模型對(duì)響應(yīng)的概率分布兩種方法。
根據(jù)OpenAI公布測(cè)試的數(shù)據(jù)顯示，o1在美國(guó)數(shù)學(xué)奧林匹克預(yù)選賽中，排名美國(guó)前500 名學(xué)生之列，并且在物理、生物學(xué)、化學(xué)基準(zhǔn)上，首次超過(guò)了人類(lèi)博士。也就是說(shuō)，o1超過(guò)了GPT-4o，是現(xiàn)役最強(qiáng)的超復(fù)雜推理大模型。
o1主要開(kāi)發(fā)人員介紹該產(chǎn)品
已經(jīng)使用上的用戶(hù)表示，o1成功地寫(xiě)出了一首非常困難的藏頭詩(shī)，以前的模型都無(wú)法寫(xiě)出來(lái)。它在生成答案的過(guò)程中瘋狂反復(fù)推理、自我糾正，非常特別的推理模式。
已經(jīng)嘗試了o1 模型，進(jìn)步非常大。推理能力更好，準(zhǔn)確性和思維復(fù)雜性似乎也更好。
超過(guò)人類(lèi)博士水平，這個(gè)結(jié)果太瘋狂了！
期待已久的草莓模型終于來(lái)了。
太陽(yáng)從西邊出來(lái)了，這次居然沒(méi)有候補(bǔ)名單？
感受一下AGI的震撼吧！
推理能力遙遙領(lǐng)先，這下能和Claude競(jìng)爭(zhēng)了。
國(guó)際數(shù)學(xué)奧林匹克資格考試中，GPT-4o 只正確解決了 13% 的問(wèn)題，而新模型的得分為 83%，編程競(jìng)賽中的表現(xiàn)更好，確實(shí)有點(diǎn)瘋狂！
主要技術(shù)特點(diǎn)介紹?
擬人化的推理模式是o1的主打功能之一，與傳統(tǒng)模型不同，它在回答問(wèn)題之前會(huì)進(jìn)行深入的思考，生成一個(gè)較長(zhǎng)的內(nèi)部思維鏈。這種思維鏈的產(chǎn)生使得 o1 能夠更好地理解問(wèn)題的本質(zhì)，分析問(wèn)題的各個(gè)方面，從而給出更準(zhǔn)確和合理的答案。
自適應(yīng)強(qiáng)化學(xué)習(xí)、糾錯(cuò)則是其第二大技術(shù)特點(diǎn)，o1 通過(guò)大規(guī)模的強(qiáng)化學(xué)習(xí)算法進(jìn)行訓(xùn)練，在訓(xùn)練過(guò)程中，模型學(xué)會(huì)了如何有效地利用其思維鏈來(lái)解決問(wèn)題。
這種訓(xùn)練方法使得 o1 能夠不斷優(yōu)化自己的策略，識(shí)別和糾正錯(cuò)誤，學(xué)會(huì)將復(fù)雜的步驟分解為更簡(jiǎn)單的部分，并在當(dāng)前方法不奏效時(shí)嘗試不同的方法來(lái)解決。通過(guò)不斷的學(xué)習(xí)和改進(jìn)，o1 的推理能力得到了極大的提升，也就是說(shuō)o1具備了智能體的功能。
o1使用了谷歌訓(xùn)練時(shí)計(jì)算類(lèi)似的技術(shù)，OpenAI發(fā)現(xiàn)，隨著訓(xùn)練時(shí)計(jì)算資源的增加和測(cè)試時(shí)思考時(shí)間的延長(zhǎng)，o1 的性能會(huì)不斷提升。這表明，通過(guò)增加計(jì)算資源的投入，可以進(jìn)一步挖掘 o1 的潛力，使其在各種任務(wù)中表現(xiàn)得更加出色。
o1的其他主要特色應(yīng)用功能包括，可以直接翻譯一個(gè)不健全的句子，自動(dòng)補(bǔ)全缺失內(nèi)容；可根據(jù)提示自動(dòng)編寫(xiě)復(fù)雜的視頻小游戲；擅長(zhǎng)解決超復(fù)雜、冗長(zhǎng)的推理問(wèn)題。
測(cè)試數(shù)據(jù)
OpenAI對(duì)o1進(jìn)行了一系列的測(cè)試，以評(píng)估其在不同領(lǐng)域的性能。在競(jìng)爭(zhēng)編程問(wèn)題方面，o1 在 Codeforces 編程競(jìng)賽上的表現(xiàn)非常出色，超過(guò)83%的專(zhuān)業(yè)人員。
在數(shù)學(xué)競(jìng)賽中，以 AIME 2024 為例，GPT - 4o 平均只能解決 12% 的問(wèn)題，而 o1 平均能解決74% 的問(wèn)題，若采用 64 個(gè)樣本的共識(shí)，解決率能達(dá)到83%。
使用學(xué)習(xí)到的評(píng)分函數(shù)重新排序 1000 個(gè)樣本時(shí)，解決率更是高達(dá) 93%。這樣的成績(jī)使 o1 在該考試中的得分能夠躋身美國(guó)前 500 名學(xué)生的行列，超過(guò)了美國(guó)數(shù)學(xué)奧林匹克的入選分?jǐn)?shù)線(xiàn)。
在 PhD - Level Science Questions（GPQA Diamond）的測(cè)試中，o1 也展現(xiàn)出了優(yōu)異的性能，超過(guò)了人類(lèi)專(zhuān)家的表現(xiàn)。為了進(jìn)行這項(xiàng)測(cè)試，研究人員招募了具有博士學(xué)位的專(zhuān)家來(lái)回答 GPQA - diamond 問(wèn)題，結(jié)果發(fā)現(xiàn) o1 的表現(xiàn)更為準(zhǔn)確。
此外，o1 在 ML Benchmarks 的多個(gè)子類(lèi)別中也有顯著的改進(jìn)。例如，在 MATH - 500、MathVista、MMMU、MMLU 等測(cè)試中，o1 的準(zhǔn)確率均高于 GPT - 4o。
在其他考試方面，o1 在 APEnglish Lang、APEnglish Lit、APPhysics2、AP Calculus、AP Chemistry、LSAT、SATEBRW、SATMath 等考試中的成績(jī)也顯示出了巨大優(yōu)勢(shì)，整體比GPT-4o高出很多。
值得一提的是，這一次OpenAI沒(méi)有再放鴿子，ChatGPT Plush和team用戶(hù)已經(jīng)可以使用該模型，同時(shí)開(kāi)放了API，想體驗(yàn)的小伙伴們趕緊去試試吧！
本文轉(zhuǎn)自AIGC開(kāi)放社區(qū) ，作者：AIGC開(kāi)放社區(qū)
