大模型持續(xù)震驚科學(xué)家！

以往一小時(shí)才能完成的代碼，現(xiàn)在十分鐘就能實(shí)現(xiàn)「生成、測(cè)試到得出結(jié)果」。

“大模型推廣大神”陶哲軒又來(lái)分享他的親測(cè)體驗(yàn)了。

這一次o3-mini一眼識(shí)破并且糾正了他的一個(gè)錯(cuò)誤，然后在它的幫助下快速完成了一道數(shù)學(xué)題的解答。

而在另一邊，CMU數(shù)學(xué)教授、美國(guó)奧數(shù)國(guó)家隊(duì)前掌舵人羅博深發(fā)現(xiàn)，GPT-o1在卡內(nèi)基梅隆大學(xué)數(shù)學(xué)本科考試中獲得滿分，而且每道題的解題時(shí)間不超過(guò)一分鐘。

關(guān)鍵是，他專門設(shè)計(jì)的是全新的非標(biāo)準(zhǔn)問(wèn)題，這些問(wèn)題都是開(kāi)卷的。

而普通學(xué)生的成績(jī)分布be like：

陶哲軒：o3-mini糾正了我的錯(cuò)誤

事情是這樣的。

他在MathOverflow上遇到了這樣一道題，由于答案不是封閉形式的，所以他想近似地模擬他。

首先，他要求o3-mini-high提供一些代碼。結(jié)果在思考一分12秒之后，首先聲明他試圖計(jì)算的數(shù)量是無(wú)限的，但其實(shí)事實(shí)并非如此。此處o3-mini犯了個(gè)小錯(cuò)誤。

不過(guò)它仍然提供了數(shù)值代碼，確實(shí)粗略地近似了陶哲軒想要的數(shù)量（精確到小數(shù)點(diǎn)后一位）。

那時(shí)它意識(shí)到應(yīng)該使用馬爾可夫鏈理論來(lái)獲得更精確的答案，于是先向 o3-mini-high詢問(wèn)理論公式，然后編寫代碼來(lái)計(jì)算結(jié)果。

有趣的是，它能夠糾正提示中的一個(gè)基本錯(cuò)誤：把min寫成了max。

并且給了完美的代碼，然后陶哲軒在此基礎(chǔ)上對(duì)這一問(wèn)題給出更精確的數(shù)值答案。

對(duì)此，陶哲軒的評(píng)價(jià)是：

總的來(lái)說(shuō)，o3提供了相當(dāng)不錯(cuò)的幫助；它犯了一個(gè)錯(cuò)誤，我糾正了它，但我也犯了一個(gè)錯(cuò)誤，它糾正了它。

而且以前我自己可能需要花一個(gè)小時(shí)的時(shí)間才能完成的代碼，在大約十分鐘內(nèi)就生成、測(cè)試、修改并報(bào)告出來(lái)了。

也就在一周前，陶哲軒才點(diǎn)贊o3-mini不久：

重建圖論中一個(gè)標(biāo)準(zhǔn)（專家級(jí)）結(jié)果的證明，o3-mini是完全可以hold住的。

大模型持續(xù)震驚數(shù)學(xué)家

而在另一邊，羅博深也被o1的數(shù)學(xué)能力震驚到了。

他日常給本科生設(shè)計(jì)了五道數(shù)學(xué)題，分別涉及差分方程、線性代數(shù)、組合數(shù)學(xué)、數(shù)論、斐波那契數(shù)列性質(zhì)等內(nèi)容。

結(jié)果每道題均在一分鐘內(nèi)解決，甚至部分思考時(shí)間僅在20秒以內(nèi)。

而在班級(jí)上考滿分的人當(dāng)中，最快的人只用了30分鐘。

最后，他額外算了算這背后的成本。

已知GPT-o1每百萬(wàn)字的輸出成本僅為60美元，這意味著每個(gè)問(wèn)題的解決成本約為5美分。

對(duì)于大多數(shù)人無(wú)法在1小時(shí)內(nèi)完成的工作來(lái)說(shuō)，總共花費(fèi)約25美分。

對(duì)此，他忍不住驚呼：Oh my goodness.讓我覺(jué)得已經(jīng)接近「能夠從事中等非程序性技術(shù)工作」的臨界點(diǎn)。

值得一提的是，前兩天其實(shí)還是GPT-4發(fā)布的兩周年。兩年之間，大模型的數(shù)學(xué)能力已經(jīng)有了質(zhì)的變化——各種數(shù)學(xué)難題都輕松拿下。

比如挑戰(zhàn)最難本科數(shù)學(xué)考試，o1 Pro只需36分鐘16秒交卷。

最新的o3系列，在最難數(shù)學(xué)測(cè)試的EpochAI Frontier Math（包含最新未公開(kāi)前沿題目）中，比之前SOTA從2分提升到25分。

人類專業(yè)數(shù)學(xué)家解決其中一道題目也要花費(fèi)數(shù)小時(shí)到數(shù)天，現(xiàn)在o3只需要思考幾分鐘了。

眼看著數(shù)學(xué)難題一一被挑戰(zhàn)讓數(shù)學(xué)家們驚呆，大模型下一個(gè)可能被攻克的領(lǐng)域會(huì)是哪一個(gè)呢？