o3數(shù)學(xué)成績(jī)作弊大瓜！提前讓測(cè)試機(jī)構(gòu)給真題，60多名數(shù)學(xué)大牛全被蒙在鼓里
OpenAI o3還沒上線，就被曝?cái)?shù)學(xué)成績(jī)是靠作弊得來？！
Benchmark發(fā)布機(jī)構(gòu)內(nèi)部人員爆料稱，OpenAI給了他們經(jīng)費(fèi)贊助。
就連包括陶哲軒在內(nèi)參與出題的60余名數(shù)學(xué)家，在消息曝光之前也都和普通公眾一樣蒙在鼓里。
直到o3發(fā)布，這一消息才被公開。這意味著嚴(yán)格保密的題目，OpenAI提前拿到了手中。
圖片
這套數(shù)據(jù)集名叫FrontierMath，包含了由陶哲軒等60多名權(quán)威數(shù)學(xué)家命制的高難度題目。
陶哲軒就表示，這些題目足夠困擾AI幾年的時(shí)間；1998年菲爾斯獎(jiǎng)得主Gowers也說，能解決其中的一個(gè)問題就已經(jīng)超越現(xiàn)在的能力范圍了。
當(dāng)時(shí)也正是因?yàn)樵谶@一測(cè)試基準(zhǔn)上大幅領(lǐng)先，o3的能力更進(jìn)一步被得到認(rèn)可。
圖片
Epoch.ai這邊，聯(lián)合創(chuàng)始人Tamay Besiroglu也回應(yīng)并承認(rèn)了秘密贊助和OpenAI提前拿到題目的傳聞，但否認(rèn)題目被OpenAI拿來作弊。
圖片
但有些網(wǎng)友并不買賬，表示OpenAI如果不使用這些信息還要訪問權(quán)限干什么，并推測(cè)有可能被用來訓(xùn)練。
圖片
專家被要求嚴(yán)格保密，但OpenAI卻能拿到題
這家名叫Epoch.ai的機(jī)構(gòu)，開發(fā)了一款名為FrontierMath的數(shù)學(xué)測(cè)試基準(zhǔn)，論文第一版預(yù)印本于去年11月7日（協(xié)調(diào)世界時(shí)，北京時(shí)間為8日凌晨）發(fā)布。
包括第一版在內(nèi)，F(xiàn)rontierMath的論文在近兩個(gè)月的時(shí)間里一共發(fā)布了五個(gè)版本，但直到最后12月20日的第五版才披露了OpenAI的資助。
圖片
不過也只是在腳注中提了一句，感謝OpenAI對(duì)構(gòu)建Benchmark的支持。
圖片
并且12月20日剛好是OpenAI發(fā)布o(jì)3的日子，并且Besiroglu也透露，之前沒有公開正是由于OpenAI的保密要求：
在o3推出之前，我們一直被限制披露合作關(guān)系，事后看來，我們應(yīng)該更加努力地談判，以便能夠盡快向基準(zhǔn)貢獻(xiàn)者保持透明。
如果不看OpenAI這場(chǎng)風(fēng)波，F(xiàn)rontierMath是一套含金量非常高的測(cè)試基準(zhǔn)，由全球六十余位數(shù)學(xué)家聯(lián)手命題，包括教授、IMO命題人、菲爾茲獎(jiǎng)獲得者，其中就有大牛陶哲軒等人。
而且難度也非常高，包括數(shù)百個(gè)極具挑戰(zhàn)性的數(shù)學(xué)問題，在o3之前的模型解決率不到2%。
哪怕o3真的作了弊，得分也才20多分。
圖片
像下面的這道題目，在FrontierMath當(dāng)中算是難度最低的一檔：
圖片
正常來說，F(xiàn)rontierMath里的題目和答案是嚴(yán)格保密的，就連出題的數(shù)學(xué)家也被要求簽訂保密協(xié)議，甚至不能使用Overleaf、Colab或電子郵件傳輸有關(guān)題目的信息。
諷刺的是，這樣“嚴(yán)格保密”的題目卻被OpenAI拿到，而出題專家對(duì)OpenAI的情況毫不知情。
斯坦福博士、MIT羅德獎(jiǎng)學(xué)金得主Carina Hong（洪樂潼）就表示，至少有六名專家能夠證實(shí)這一點(diǎn)，并且大部分專家表示不確定如果知道（OpenAI的獨(dú)家訪問權(quán)）是否還會(huì)選擇貢獻(xiàn)。
圖片
后來她表示，（和出題人）簽保密協(xié)議確實(shí)是為了防止數(shù)據(jù)污染，對(duì)OpenAI的目的則不做猜測(cè)。
圖片
聯(lián)創(chuàng)承認(rèn)錯(cuò)誤，但否認(rèn)OpenAI作弊
內(nèi)部爆料和外部質(zhì)疑之下，Epoch.ai聯(lián)創(chuàng)Besiroglu也承認(rèn)了和OpenAI存在秘密協(xié)議，并表示沒有公開透明確實(shí)是“犯了一個(gè)錯(cuò)誤”。
但Epoch.ai否認(rèn)了OpenAI作弊的說法，表示一方面OpenAI拿到的數(shù)據(jù)并不是全部，另一方面OpenAI也口頭承諾拿到的數(shù)據(jù)不會(huì)用于模型訓(xùn)練。
Besiroglu回應(yīng)全文如下（中文為機(jī)翻）：
圖片
但對(duì)于Besiroglu提到的“口頭承諾”，有網(wǎng)友表示至少要有個(gè)書面的協(xié)議，但猜測(cè)OpenAI不會(huì)愿意提供，還有人補(bǔ)充說哪怕有書面材料也很難監(jiān)督實(shí)施。
不過到現(xiàn)在，確實(shí)是所有的回應(yīng)都來自Epoch.ai這邊，OpenAI還沒給出說明。
圖片
另外Epoch.ai首席數(shù)學(xué)家Ellot Glazer也承諾，之后會(huì)對(duì)受到的資助進(jìn)行說明。
對(duì)于o3的成績(jī)，Ellot表示Epoch.ai無法給出承諾，但他個(gè)人相信OpenAI的報(bào)告是準(zhǔn)確的，因?yàn)樵谒磥鞳penAI“沒有撒謊的動(dòng)機(jī)”。
同時(shí)他說Epoch.ai正在開發(fā)一個(gè)保留數(shù)據(jù)集，能夠確保OpenAI在測(cè)試之前無法事先接觸。
圖片
不過有網(wǎng)友對(duì)“沒有動(dòng)機(jī)”的說法表示懷疑，Ellot也進(jìn)行了解釋，表示OpenAI沒有傻到搬起石頭砸自己的腳。
圖片
話又說回來，o3到現(xiàn)在依然是個(gè)黑盒，到底是名副其實(shí)還是炒作噱頭，等到發(fā)布的那天就揭曉答案了。
參考鏈接：
[1]https://www.lesswrong.com/posts/cu2E8wgmbdZbqeWqb/meemi-s-shortform
[3]https://www.reddit.com/r/singularity/comments/1i4n0r5/this_is_so_disappointing_epoch_ai_the_startup/
