編輯 | 言征、伊風(fēng)
出品 | 51CTO技術(shù)棧（微信號：blog51cto）
在炒作將近9個月后，OpenAI代號“草莓”的模型o1終于深夜突然亮相，一時間具備試用資格的大牛紛紛開始了測評，業(yè)內(nèi)許多AI項目、公司的大佬如英偉達高級研究經(jīng)理JimFan、Devin的DeepWisdom創(chuàng)始人紛紛發(fā)表了自己對于o1的使用感受。
整體上看分兩派：一派認為o1代表著Scaling Law以外的新賽道的開啟，另一派則認為——
“炒作大于實際”、“有坑”、“很難說”。
這里不再花篇幅去介紹這款主打“慢思考”的模型的官宣能力。僅僅長話短說地列舉開發(fā)者最關(guān)心的幾個信息。
一、開啟復(fù)雜任務(wù)推理新賽道
通用模型GPT5發(fā)布前，開啟復(fù)雜推理模型賽道OpenAI o1。o1在回答前，會反復(fù)的思考、拆解、理解、推理，然后給出最終答案。
通過Self-play RL，o1學(xué)會了回溯、打磨自己的思維鏈并完善所使用的策略，學(xué)會了將復(fù)雜步驟拆解為更簡單的子步驟，并能識別和糾正自己的錯誤。
o1工作原理：先思考，再總結(jié)輸出 圖源：賽博禪心
二、兩款：preview主打強推理，mini主打代碼
o1-preview：預(yù)覽版具有很強的推理能力和廣闊的世界知識，但還沒有達到滿血o1的性能，還會持續(xù)更新和改進；
o1-mini：更快、更便宜（o1-mini 比 o1-preview 便宜 80%），在代碼方面特別有效，特別適合開發(fā)人員使用。
三、速率限制和價格
不過主打“慢思考”的草莓，OpenAI對外開放的相當(dāng)吝嗇：竟然以周為單位來計算對話條數(shù)：
- o1-preview 的每周速率限制為 30 條消息
- o1-mini 的每周速率限制為 50 條消息
而對于開發(fā)者而言，只面向Tier5級別（付費超過1000美元）的用戶開放，每分鐘并發(fā)限制20次。
不過，價格上面卻是個令人頭疼的家伙。
API的價格上，o1預(yù)覽版每百萬輸入15美元，每百萬輸出60美元，o1-mini會便宜一些，每百萬輸入3美元，每百萬輸出12美元。
而對于這個價格，賽博禪心認為這個模型有坑：在正常使用中，o1 的開銷，會比 4o 貴百倍！因為，從 pricing table 上看，o1 的價格是 4o 的 6 倍，但這是有迷惑性的！o1 計費并不按最終輸出，其中間思考過程所消耗的 token，并被視作 output tokens，這意味著 100 tokens 的內(nèi)容輸出，可能會被按 10000 tokens 計費。
這一點也得了“NLP工作站”博主劉聰NLP的認證：內(nèi)在思維鏈比思維鏈長的多。
o1展示的外部思維鏈：
圖片
但內(nèi)部隱藏的未對齊的思維鏈卻非常長：
圖片
四、幕后團隊
可以看到在基礎(chǔ)貢獻一欄里，大佬Ilya赫然在列。完整表單見：
https://openai.com/openai-o1-contributions/
圖片
此次，OpenAI還特別發(fā)布了一支幕后團隊的特別短片，來聊聊他們對o1的想法。
圖片
第一個發(fā)言的男生就是華人面孔，領(lǐng)導(dǎo)了整個o1研發(fā)的Mark Chen，他解釋了o1的命名背后的原因：“與GPT-4o等以前的型號相比，您可能會感到不同。正如其他人稍后會解釋的那樣，o1是一個推理模型，因此它會思考更多?！?/p>
他從麻省理工大學(xué)畢業(yè)，已經(jīng)在OpenAI工作了6年之久，現(xiàn)任研究副總裁一職。
圖片
五、網(wǎng)友實測
1.9.8和9.11的無限反思
小紅書網(wǎng)友@小水剛醒 反饋，“一上難度就崩潰……讓模型比較9.8和9.11的大小，結(jié)果無限循環(huán)發(fā)瘋般CoT”
圖片
另一位網(wǎng)友@ChRlesWaa在評論區(qū)吐槽o1依舊沒主見，“很垃圾，和以前一樣一反問就改答案”。
圖片
2.卡茲克：“中秋國慶調(diào)休”問題沒有翻車
“這是中國2024年9月9日（星期一）開始到10月13日的放假調(diào)休安排:上6休3上3休2上5休1上2休7再上5休1。
請你告訴我除了我本來該休的周末，我因為放假多休息了幾天？”
在o1思考了整整30秒以后，給出了一天不差的極度精準的答案。
圖片
圖片
不過據(jù)小編觀察，卡茲克這次的提問應(yīng)該有運氣的成分，因為有其他博主測試了同樣的問題，翻車了：最后的回答是多休了2天~
圖片
3.賽博禪心：有坑，更像是工程優(yōu)化
賽博禪心隨后進行了與其說是模型優(yōu)化，不如說是工程優(yōu)化
圖片
因為他從訓(xùn)練數(shù)據(jù)和訓(xùn)練時間發(fā)現(xiàn)，o1的截止時間是2023年10月，而GPT-4-turbo的時間則更晚是2023年12月，新舊立見了~ GPT-4在o1之后。
此外，o1與4o的輸出語言風(fēng)格高度類似，可以猜測是草莓視4o進行對齊之后的agent版本。
圖片
4.預(yù)訓(xùn)練工程師：小修小補，很難說是突破
小紅書上的一位大模型預(yù)訓(xùn)練算法工程師，則發(fā)表了更為消極的看法，“深夜看到o1發(fā)布，感覺我的職業(yè)生涯結(jié)束了”，他認為o1實際還在做“小修小補”，并且也將難以看到范式上的其他突破了。他說，未來的方向也許是“功能專精模型和多模態(tài)真正融合”。
圖片
六、Devin：自我反思與傳統(tǒng)提示詞的革新時刻
過去幾周跟OpenAI有密切合作的Cognition團隊也第一時間對o1的推理能力進行了測試。
團隊使用簡化版本的Devin進行了測試，與4o相比，o1具有驚人的反思和分析能力。它通常會回溯并考慮不同的選擇，然后才能得出正確的答案，并且產(chǎn)生幻覺或自信的錯誤的概率也很低。
并透露：使用o1-preview時，Devin更容易正確診斷問題的根本原因，而不是解決問題的癥狀。
并舉了一個例子：Devin遇到了一個錯誤，o1就像人類一樣搜索互聯(lián)網(wǎng)，并經(jīng)過幾步后找到了與其問題相關(guān)的Github問題。
但是，o1需要的提示詞明顯更加密集，對混亂和不必要的token也會更加敏感。傳統(tǒng)的提示詞方法通常會有冗余，這會對o1的性能造成負面影響。
不過關(guān)于這一點，有人士發(fā)表了不同的看法，AI沃茨體驗o1后表示：以前的提示詞模版還能繼續(xù)沿用幾個月。
圖片
七、JimFan：o1的飛躍不再是Scaling Law，而是搜索
英偉達大佬Jim Fan透露o1的重點從此前的“學(xué)習(xí)”轉(zhuǎn)向了“搜索”，也就是說，此次讓o1能力飛躍的不再是scaling law了。他的完整貼文翻譯如下：
OpenAI Strawberry (o1) 發(fā)布了！我們終于看到推理時間縮放的范式在生產(chǎn)中流行并得到部署。正如Sutton在《苦澀的教訓(xùn)》中所說，只有兩種技術(shù)可以無限擴展計算：學(xué)習(xí)和搜索。現(xiàn)在是轉(zhuǎn)向后者的時候了。
1.你不需要一個巨大的模型來進行推理。很多參數(shù)都專門用來記憶事實，以便在像智力問答這樣的基準測試中表現(xiàn)良好。可以將推理與知識分開，即一個小的“推理核心”，它知道如何調(diào)用瀏覽器和代碼驗證器等工具。預(yù)訓(xùn)練的計算量可以減少。
2.大量的計算資源轉(zhuǎn)移到了服務(wù)推理，而不是預(yù)/后訓(xùn)練。LLMs是基于文本的模擬器。通過在模擬器中推出許多可能的策略和情景，模型最終會收斂到良好的解決方案。這個過程就像AlphaGo的蒙特卡洛樹搜索(MCTS)一樣，是一個被廣泛研究的問題。
3.OpenAI 很久以前就已經(jīng)掌握了推理縮放定律，而學(xué)術(shù)界最近才剛剛發(fā)現(xiàn)。上個月Arxiv上相隔一周發(fā)表了兩篇論文：
- 大語言猴子：使用重復(fù)采樣擴展推理計算。Brown等人發(fā)現(xiàn)DeepSeek-Coder在SWE-Bench上從一個樣本增加到250個樣本時，性能從15.9%提升到56%，超過了Sonnet-3.5。有關(guān)論文可以移步：
https://arxiv.org/abs/2407.21787v1
- 在推理時最優(yōu)地擴展LLM的計算比擴展模型參數(shù)更有效。Snell等人發(fā)現(xiàn)，在MATH上，PaLM 2-S 在測試時搜索上擊敗了一個體積大14倍的模型。
4.將 o1 投入生產(chǎn)要比達到學(xué)術(shù)基準更加困難。對于野外的推理問題，如何決定何時停止搜索？獎勵函數(shù)是什么？成功標準是什么？何時調(diào)用代碼解釋器等工具？如何考慮這些CPU進程的計算成本？他們的研究文章中沒有分享太多相關(guān)信息。
5.Strawberry 很容易變成一個數(shù)據(jù)的飛輪。如果答案是正確的，整個搜索跟蹤就成為一個小型的訓(xùn)練樣本數(shù)據(jù)集，其中包含正面和負面的獎勵。這反過來會改進未來版本的GPT的推理核心，就像AlphaGo的價值網(wǎng)絡(luò)——用來評估每個棋盤位置的質(zhì)量——隨著MCTS生成越來越精細的訓(xùn)練數(shù)據(jù)而改進一樣。
圖片
八、MetaGPT創(chuàng)始人吳承霖：沒有其他秘密，最簡單的自我博弈
DeepWisdom公司CEO吳承霖深夜發(fā)出了自己的想法：（裸推理極限）
1.self-play 可行，設(shè)計空間也不大
2.OpenAI 只做了最簡單的 self-play
3.記憶模塊仍然沒有任何突破
4.思維模式仍然難以琢磨，很難說 o1 是好的思維模式
5.沒有其他秘密，這就是現(xiàn)在的裸推理極限，所以 OpenAI 核心成員都去了其他公司
self-play是一種強化學(xué)習(xí)手段，可以理解為：智能體通過與自身副本或歷史版本進行自我博弈而進行演化的方法。
圖片
九、寫在最后
其實，就連奧特曼自己也承認o1并非完美之作。
圖片
不過，當(dāng)人們實際上手o1時，巨大的落差感可能在所難免。
在OpenAI官方的演示視頻中，o1已經(jīng)在玩量子物理、奧賽數(shù)學(xué)了，但在實際的測評中，面對9.11和9.8哪個大的“經(jīng)典老題”時，o1依然自顧自的重復(fù)著“wait,9.8 is 9.80”……。不由得讓人長嘆，“理想很豐滿，現(xiàn)實很骨感”。
圖片
這體現(xiàn)了模型能力發(fā)展中巨大的不平衡，也提醒著我們，即使AI已經(jīng)看起來如此的聰明，但通往AGI的道路仍然撲朔迷離。
然而，OpenAI找到了一個尚可前進的方向。
在看到o1的命名法則時，有人調(diào)侃說，“原來GPT-5永遠不會來了”。但是，由o1生成數(shù)據(jù)進行訓(xùn)練的下一代模型“獵戶座”，終將會與人們見面，不是嗎？
也許，科技最有魅力的地方，也許不是當(dāng)下的成果有多么驚艷。而是告訴我們：邊界尚未抵達，這里仍有無限期待。
