OpenAI 的 o1-preview 模型已經(jīng)發(fā)布兩周了，網(wǎng)上也有了很多零星的測(cè)評(píng)。不過(guò)，大部分測(cè)評(píng)都側(cè)重于某一個(gè)方面，對(duì)于 o1-preview 的系統(tǒng)評(píng)估目前還比較匱乏。

在一篇長(zhǎng)達(dá) 280 頁(yè)的論文中，來(lái)自加拿大阿爾伯塔大學(xué)等機(jī)構(gòu)的研究者報(bào)告了他們對(duì) o1-preview 的系統(tǒng)評(píng)估結(jié)果，非常具有參考價(jià)值。

• 論文標(biāo)題：Evaluation of OpenAI o1: Opportunities and Challenges of AGI
• 論文鏈接：https://arxiv.org/pdf/2409.18486

具體來(lái)說(shuō)，這項(xiàng)綜合研究評(píng)估了 o1-preview 在各種復(fù)雜推理任務(wù)中的性能，涵蓋多個(gè)領(lǐng)域，包括計(jì)算機(jī)科學(xué)、數(shù)學(xué)、自然科學(xué)、醫(yī)學(xué)、語(yǔ)言學(xué)和社會(huì)科學(xué)。通過(guò)嚴(yán)格的測(cè)試，o1-preview 展示了非凡的能力。

主要結(jié)論如下：

• 編程挑戰(zhàn)：在解決復(fù)雜的競(jìng)賽性編程問(wèn)題上，o1-preview 的成功率達(dá)到了 83.3%，超過(guò)了眾多的人類(lèi)專(zhuān)家。
• 放射學(xué)報(bào)告生成：在生成連貫且準(zhǔn)確的放射學(xué)報(bào)告方面，o1-preview 的表現(xiàn)優(yōu)于其他評(píng)估過(guò)的模型。
• 高中數(shù)學(xué)推理：在高中水平的數(shù)學(xué)推理任務(wù)中，o1-preview 達(dá)到了 100% 的準(zhǔn)確性，并提供了詳細(xì)的解題步驟。
• 自然語(yǔ)言推理：無(wú)論是在通用領(lǐng)域還是醫(yī)療等專(zhuān)業(yè)領(lǐng)域，o1-preview 都展現(xiàn)出了高級(jí)的自然語(yǔ)言推理能力。
• 芯片設(shè)計(jì)任務(wù)：在 EDA 腳本生成和錯(cuò)誤分析等芯片設(shè)計(jì)任務(wù)中，o1-preview 的表現(xiàn)超過(guò)了專(zhuān)門(mén)的模型。
• 人類(lèi)學(xué)和地質(zhì)學(xué)：o1-preview 在人類(lèi)學(xué)和地質(zhì)學(xué)這兩個(gè)專(zhuān)業(yè)領(lǐng)域展示了深刻的理解和推理能力。
• 量化投資：o1-preview 具有全面的金融知識(shí)和統(tǒng)計(jì)建模技能，在量化投資領(lǐng)域表現(xiàn)良好。
• 社交媒體分析：在包括情感分析和情緒識(shí)別在內(nèi)的社交媒體分析任務(wù)中，o1-preview 也有有效的表現(xiàn)。

盡管 o1-preview 在一些簡(jiǎn)單的問(wèn)題上偶爾會(huì)出現(xiàn)錯(cuò)誤，并且在某些高度專(zhuān)業(yè)的概念面前遇到了挑戰(zhàn)，但總體結(jié)果表明，該模型在向通用人工智能（AGI）邁進(jìn)的過(guò)程中取得了顯著進(jìn)展。

評(píng)估不僅突顯了 o1-preview 目前的優(yōu)勢(shì)和局限性，還指出了未來(lái)發(fā)展的關(guān)鍵領(lǐng)域，如多模態(tài)集成、特定領(lǐng)域的驗(yàn)證和實(shí)際應(yīng)用中的倫理考慮。這些發(fā)現(xiàn)為大型語(yǔ)言模型在眾多領(lǐng)域的潛力提供了寶貴的見(jiàn)解，并為 AI 研究和應(yīng)用的進(jìn)一步發(fā)展鋪平了道路。

論文目錄如下：   

以下是論文中的部分結(jié)果展示。

代碼生成

為了評(píng)估 o1-preview 的編碼能力，作者在 Leetcode 競(jìng)賽環(huán)境中對(duì)其性能進(jìn)行了擴(kuò)展測(cè)試。

如表 2 所示，o1-preview 成功通過(guò)了 12 個(gè)問(wèn)題中的 10 個(gè)，通過(guò)率高達(dá) 83.3%。該模型在 Weekly Contest 413 中只答錯(cuò)了一個(gè)問(wèn)題，在 Biweekly Contest 138 中又答錯(cuò)了一個(gè)問(wèn)題。值得注意的是，這兩個(gè)問(wèn)題都被歸類(lèi)為「hard」級(jí)別。雖然花了幾分鐘才能生成解決方案，但 o1-preview 無(wú)法在三次提交嘗試中通過(guò)這些挑戰(zhàn)。

盡管存在這些挑戰(zhàn)，但與頂級(jí)人類(lèi)競(jìng)爭(zhēng)者相比，01 -preview 展示了相當(dāng)或更快的代碼生成速度。這說(shuō)明 01 -preview 具有較強(qiáng)的推理能力，可以有效處理大部分的編碼任務(wù)。然而，在特別復(fù)雜或計(jì)算密集的情況下，模型的性能仍然有限，正如在這些困難的問(wèn)題中觀察到的那樣。

圖 3 和圖 4 演示了編碼評(píng)估中的兩個(gè)示例。在圖 3 中，01 -preview 展示了它有效解決簡(jiǎn)單問(wèn)題的能力，用最少的計(jì)算時(shí)間完成任務(wù)并成功通過(guò)所有測(cè)試用例。然而，如圖 4 所示，該模型遇到了一個(gè)難題。在這個(gè)失敗案例中，01 -preview 最初生成了一個(gè)正確的解決方案，但是解決方案超出了時(shí)間限制。在第一次提交之后，模型陷入了試圖優(yōu)化代碼時(shí)間復(fù)雜度的循環(huán)中，這在隨后的嘗試中導(dǎo)致了不正確的解決方案。這個(gè)例子突出了該模型在處理需要顯著優(yōu)化的復(fù)雜問(wèn)題時(shí)的掙扎，它為提高效率所做的努力導(dǎo)致了重復(fù)的錯(cuò)誤。

放射學(xué)報(bào)告生成

為了評(píng)估 o1-preview 的醫(yī)學(xué)報(bào)告生成能力，作者使用了來(lái)自中南大學(xué)湘雅二醫(yī)院的中文放射學(xué)報(bào)告數(shù)據(jù)集 SXY。它包含 317,339 份放射學(xué)報(bào)告，分為五個(gè)類(lèi)別：胸部報(bào)告、腹部報(bào)告、肌肉骨骼報(bào)告、頭部報(bào)告和頭頸面部報(bào)告。

作者通過(guò)比較 o1-preview 與基線模型（如 gpt-4-turbo、gpt-4o 等）的 ROUGE 指標(biāo)，評(píng)估了 o1-preview 生成醫(yī)學(xué)報(bào)告的能力。表 3 提供了 o1-preview 與另外五種模型的詳細(xì)性能對(duì)比。

如表 3 所示，與醫(yī)生撰寫(xiě)的報(bào)告相比，o1-preview 生成的報(bào)告的 ROUGE 評(píng)分為：R-1: 0.3019, R-2: 0.0448, R-L: 0.2841，在 6 種模型中排名最高。值得注意的是，o1-preview 的平均報(bào)告生成時(shí)間也最長(zhǎng)，為 15.051 秒。

圖 5 和圖 6 展示了兩個(gè)例子，說(shuō)明了作者對(duì)放射學(xué)報(bào)告生成的評(píng)估結(jié)果。在評(píng)估過(guò)程中，o1-preview 展示了在零樣本情況下快速生成可靠放射學(xué)報(bào)告的能力，突顯了其強(qiáng)大的推理和知識(shí)遷移能力，以及在醫(yī)療領(lǐng)域的潛力。作者觀察到，o1-preview 的報(bào)告與人類(lèi)寫(xiě)作模式高度一致，結(jié)構(gòu)清晰，語(yǔ)言簡(jiǎn)潔。盡管其他模型未能達(dá)到最高的相似度分?jǐn)?shù)，但大多數(shù)模型能夠遵循指令并完成任務(wù)。

自然語(yǔ)言推理

在本節(jié)中，作者評(píng)估 o1-preview 在自然語(yǔ)言推理（NLI）任務(wù)上的表現(xiàn)。NLI 任務(wù)涉及確定兩個(gè)句子之間的邏輯關(guān)系，結(jié)構(gòu)化為一個(gè)分類(lèi)任務(wù)，其中第二個(gè)句子要么從第一個(gè)句子邏輯上推導(dǎo)出來(lái)，要么與第一個(gè)句子矛盾，要么是中立的（可能是真實(shí)的）。

作者從每個(gè)數(shù)據(jù)集的測(cè)試集中隨機(jī)抽取兩個(gè)測(cè)試樣本，共進(jìn)行 10 個(gè)測(cè)試用例。表 4 給出了每個(gè)數(shù)據(jù)集的示例，其中 01 -preview 準(zhǔn)確地分析了邏輯關(guān)系，展示了高級(jí)推理能力和特定于領(lǐng)域的知識(shí)。這展示了它在各種復(fù)雜場(chǎng)景中的實(shí)際應(yīng)用的潛力。

芯片設(shè)計(jì)

o1-preview 在芯片設(shè)計(jì)中的實(shí)驗(yàn)涵蓋工程助手聊天機(jī)器人、EDA 腳本生成和錯(cuò)誤總結(jié)分析三大關(guān)鍵任務(wù)，展示了其在技術(shù)咨詢(xún)、代碼生成和錯(cuò)誤檢測(cè)方面的強(qiáng)大能力。這些應(yīng)用不僅有望徹底改變半導(dǎo)體行業(yè)，減少時(shí)間和錯(cuò)誤成本，優(yōu)化設(shè)計(jì)性能，還標(biāo)志著向?qū)崿F(xiàn)通用人工智能（AGI）的重要邁進(jìn)，證明了 AI 在處理復(fù)雜、高風(fēng)險(xiǎn)專(zhuān)業(yè)任務(wù)中的潛力。

在評(píng)估 o1-preview 作為工程助手聊天機(jī)器人的表現(xiàn)時(shí)，作者發(fā)現(xiàn)其在多個(gè)任務(wù)中展現(xiàn)出比 ChipNeMo 更高級(jí)的解決問(wèn)題能力。比如在第一個(gè)例子中（圖 21），詢(xún)問(wèn)如何使用 testgen 框架運(yùn)行多個(gè)隨機(jī)測(cè)試種子。ChipNeMo 的回應(yīng)雖然功能正確，但較為基礎(chǔ)，缺乏對(duì)大規(guī)模模擬優(yōu)化的深入見(jiàn)解。相比之下，o1-preview 不僅覆蓋了基本配置步驟，還詳細(xì)解釋了如何并行化測(cè)試過(guò)程，確保測(cè)試的隨機(jī)性和可擴(kuò)展性，展示了更高水平的專(zhuān)業(yè)知識(shí)，特別是在處理大規(guī)模模擬中的隨機(jī)數(shù)生成完整性和錯(cuò)誤處理等關(guān)鍵問(wèn)題上。

在 EDA 腳本生成任務(wù)中，作者測(cè)試了 o1-preview 和 ChipNeMo 生成 EDA 工具腳本的能力。

在圖 24 所示的第一個(gè)例子中，任務(wù)是編寫(xiě) TOOL1 代碼來(lái)統(tǒng)計(jì)給定矩形邊界內(nèi)的觸發(fā)器單元數(shù)量，這是物理設(shè)計(jì)中常見(jiàn)的操作，用于確定邏輯分布和優(yōu)化布局。ChipNeMo 的回應(yīng)提供了一個(gè)基本的解決方案，涵蓋了如何遍歷設(shè)計(jì)層次結(jié)構(gòu)并在指定區(qū)域內(nèi)計(jì)數(shù)觸發(fā)器的基本機(jī)制。雖然其結(jié)構(gòu)和功能正確，但靈活性有限，未涉及處理邊緣情況（如重疊區(qū)域或邊界條件）或優(yōu)化搜索算法以適應(yīng)更大設(shè)計(jì)的高級(jí)特性，這些在生產(chǎn)環(huán)境中是至關(guān)重要的。

相比之下，o1-preview 的回應(yīng)更為細(xì)致。除了提供核心代碼外，o1-preview 還討論了潛在的優(yōu)化策略，如如何高效遍歷大型設(shè)計(jì)和更優(yōu)雅地處理邊界條件。此外，o1-preview 還包括了擴(kuò)展功能的注釋和建議，如添加計(jì)數(shù)其他類(lèi)型單元的功能或?qū)⒛_本集成到更大的設(shè)計(jì)規(guī)則檢查自動(dòng)化流程中。這一回應(yīng)展示了對(duì)實(shí)際 EDA 環(huán)境中復(fù)雜性的深刻理解，強(qiáng)調(diào)了靈活性和可擴(kuò)展性的重要性。o1-preview 能夠預(yù)見(jiàn)工程師在大規(guī)模設(shè)計(jì)中部署此腳本時(shí)可能遇到的問(wèn)題，使其回應(yīng)在專(zhuān)業(yè)環(huán)境中更具實(shí)用性。

在 Bug Summary & Analysis 任務(wù)中，作者測(cè)試了 o1-preview 和 ChipNeMo 分析與芯片布線電流測(cè)量相關(guān)的錯(cuò)誤報(bào)告的能力，這是一個(gè)在芯片功率優(yōu)化中至關(guān)重要的任務(wù)。半導(dǎo)體設(shè)計(jì)中的錯(cuò)誤分析不僅涉及識(shí)別問(wèn)題的根本原因，還需要以一種使團(tuán)隊(duì)能夠高效優(yōu)先處理和解決的方式總結(jié)問(wèn)題。

ChipNeMo 的技術(shù)總結(jié)詳細(xì)列出了功耗測(cè)量的條件，如測(cè)試模塊的活動(dòng)百分比和所需的電壓角。管理總結(jié)僅傳達(dá)了用戶之間的討論，沒(méi)有深入分析或提供明確的行動(dòng)計(jì)劃。ChipNeMo 的回應(yīng)主要集中在總結(jié)錯(cuò)誤報(bào)告的即時(shí)事實(shí)，缺乏對(duì)功耗測(cè)量對(duì)未來(lái)設(shè)計(jì)影響的深入分析，也沒(méi)有提出將硅數(shù)據(jù)與預(yù)硅估計(jì)相關(guān)聯(lián)的策略。

相比之下，o1-preview 不僅涵蓋了與 ChipNeMo 相同的技術(shù)和管理方面，還深入分析了功耗測(cè)量的更廣泛影響。它討論了布線功耗數(shù)據(jù)如何影響未來(lái)的芯片設(shè)計(jì)，特別是優(yōu)化功耗密度和提高面積效率，這些因素在現(xiàn)代芯片開(kāi)發(fā)中至關(guān)重要。

此外，o1-preview 提供了更詳細(xì)的請(qǐng)求解讀，建議使用更精細(xì)的隔離技術(shù)和數(shù)據(jù)分解方法。它還提供了一個(gè)更清晰的任務(wù)分配框架，確保工程團(tuán)隊(duì)能夠優(yōu)先處理任務(wù)，并設(shè)定具體的時(shí)間表和里程碑，以隔離和測(cè)量布線宏單元的功耗。

高中數(shù)學(xué)推理

為了調(diào)查 o1-preview 的數(shù)學(xué)性能，作者設(shè)計(jì)了一系列涵蓋不同難度級(jí)別的測(cè)試。本節(jié)首先從高中數(shù)學(xué)競(jìng)賽題目開(kāi)始，隨后在下一節(jié)中涉及大學(xué)水平的數(shù)學(xué)問(wèn)題，以便觀察模型在不同復(fù)雜度層次上的邏輯推理能力。

在本節(jié)中，作者選擇了兩個(gè)主要的數(shù)學(xué)領(lǐng)域：代數(shù)和計(jì)數(shù)與概率。選擇這兩個(gè)領(lǐng)域是因?yàn)樗鼈兏叨纫蕾?lài)于問(wèn)題解決技能，并且常用于評(píng)估邏輯和抽象思維。

具體來(lái)說(shuō)，作者進(jìn)行了 10 項(xiàng)測(cè)試，包括 5 個(gè)代數(shù)問(wèn)題和 5 個(gè)計(jì)數(shù)與概率問(wèn)題，難度等級(jí)從 1 到 5 不等。o1-preview 表現(xiàn)出色，所有 10 個(gè)測(cè)試案例均達(dá)到了 100% 的準(zhǔn)確率。這一穩(wěn)定的表現(xiàn)表明，它能夠處理從簡(jiǎn)單到復(fù)雜的各類(lèi)數(shù)學(xué)問(wèn)題。除了提供正確的最終答案外，o1-preview 的解決方案還詳細(xì)地展示了每一步的推理過(guò)程，這些步驟與參考答案中的關(guān)鍵步驟一致。這種詳細(xì)的解答方式表明，模型在數(shù)學(xué)領(lǐng)域的邏輯推理能力已接近人類(lèi)水平。

以下是一些測(cè)試案例：  

大學(xué)數(shù)學(xué)推理

本節(jié)中的問(wèn)題由作者手動(dòng)創(chuàng)建。這些問(wèn)題因其高度的抽象性和所需的復(fù)雜推理而特別具有挑戰(zhàn)性。這些問(wèn)題可以大致分為以下幾類(lèi)：

• 基本離散數(shù)學(xué)問(wèn)題。
• 高級(jí)離散數(shù)學(xué)問(wèn)題。
• 微積分問(wèn)題。
• 高級(jí)定理的證明。

表 5 列出了 o1-preview 在各類(lèi)問(wèn)題中的答題情況。

總的來(lái)看，o1-preview 在大學(xué)數(shù)學(xué)推理中表現(xiàn)出了以下優(yōu)點(diǎn)：  

• 全面的數(shù)學(xué)知識(shí)：o1-preview 對(duì)大學(xué)水平的數(shù)學(xué)術(shù)語(yǔ)和經(jīng)典定理有全面的理解。即使問(wèn)題涉及高級(jí)概念，模型也能輕松理解問(wèn)題陳述。當(dāng)問(wèn)題可以通過(guò)直接應(yīng)用一兩個(gè)定理（無(wú)論多高級(jí)）解決時(shí)，模型能夠有效地識(shí)別并應(yīng)用適當(dāng)?shù)亩ɡ怼?/span>
• 初步的創(chuàng)造性推理能力：o1-preview 展示了一定的創(chuàng)造性推理能力，能夠做出深刻的觀察，有時(shí)還會(huì)構(gòu)建小例子來(lái)輔助觀察。然而，這種能力尚處于初級(jí)階段，還不夠成熟。
• 類(lèi)似人類(lèi)的錯(cuò)誤：o1-preview 的一些錯(cuò)誤非常像人類(lèi)的錯(cuò)誤。與早期模型（如 GPT-4o）的錯(cuò)誤（常常模糊、重復(fù)且充滿無(wú)關(guān)細(xì)節(jié)）不同，新模型的錯(cuò)誤更加相關(guān)和可理解。實(shí)際上，這些錯(cuò)誤類(lèi)型類(lèi)似于大學(xué)生可能會(huì)犯的錯(cuò)誤。

但同時(shí)，他們也觀察到了一些局限性：  

• 觀察和泛化的局限：雖然 o1-preview 能夠做出深刻的觀察并從構(gòu)建的例子中識(shí)別模式，但也可能被自己的觀察誤導(dǎo)，導(dǎo)致不當(dāng)?shù)姆夯`以為巧合適用于更廣泛的情況?？傮w來(lái)看，沒(méi)有證據(jù)表明模型真正理解邏輯原則。在面對(duì)長(zhǎng)推理鏈時(shí)，模型甚至可能陷入循環(huán)推理。
• 缺乏對(duì)問(wèn)題難度的意識(shí)：o1-preview 似乎缺乏對(duì)問(wèn)題難度的意識(shí)，往往優(yōu)先考慮效率而非適當(dāng)性。例如，在問(wèn)題 7 中，它應(yīng)用了過(guò)于先進(jìn)的技術(shù)來(lái)解決一個(gè)中等難度的問(wèn)題。
• 處理不同類(lèi)型問(wèn)題的能力差異：總體而言，模型在處理高度抽象、需要高級(jí)定理但推理鏈較短的問(wèn)題時(shí)表現(xiàn)更好，如最后五個(gè)問(wèn)題。而在處理陳述簡(jiǎn)單但需要較少高級(jí)知識(shí)且推理過(guò)程較長(zhǎng)的問(wèn)題時(shí)表現(xiàn)較差，如三個(gè)高級(jí)離散數(shù)學(xué)問(wèn)題。

作者在論文中針對(duì)很多問(wèn)題都給出了詳細(xì)分析。

結(jié)論

作者對(duì) o1-preview 在不同領(lǐng)域的全面評(píng)估揭示了幾個(gè)主要觀點(diǎn)： 

• 高級(jí)推理能力：o1-preview 在高中數(shù)學(xué)、量化投資和芯片設(shè)計(jì)等多個(gè)領(lǐng)域都表現(xiàn)出卓越的邏輯推理能力。它顯示出很強(qiáng)的逐步解決問(wèn)題的能力，以及處理復(fù)雜、多層次任務(wù)的能力。
• 特定領(lǐng)域知識(shí)：該模型在醫(yī)學(xué)遺傳學(xué)、放射學(xué)、人類(lèi)學(xué)和地質(zhì)學(xué)等不同領(lǐng)域的知識(shí)廣度令人印象深刻。在這些領(lǐng)域，它的表現(xiàn)經(jīng)常達(dá)到或超過(guò)研究生或早期職業(yè)專(zhuān)業(yè)人士的水平。
• 創(chuàng)造性和實(shí)際應(yīng)用：在三維布局生成和藝術(shù)教育等領(lǐng)域，o1-preview 展示了創(chuàng)造力和實(shí)際應(yīng)用技能，生成了功能設(shè)計(jì)和結(jié)構(gòu)化教案。不過(guò)，在這些領(lǐng)域，它仍然缺乏人類(lèi)專(zhuān)家的靈活性和適應(yīng)性。
• 自然語(yǔ)言理解：該模型在情感分析、社交媒體分析和內(nèi)容摘要等需要細(xì)微語(yǔ)言理解的任務(wù)中表現(xiàn)出色。它展示了捕捉復(fù)雜表達(dá)（如諷刺和挖苦）的能力，但在處理非常微妙的情感細(xì)微差別時(shí)仍有困難。
• 科學(xué)與醫(yī)學(xué)推理：o1-preview 在醫(yī)學(xué)診斷、放射報(bào)告生成和回答復(fù)雜的醫(yī)學(xué)考試問(wèn)題方面表現(xiàn)出了很強(qiáng)的能力。雖然它在這些方面表現(xiàn)出色，但其推理過(guò)程有時(shí)與訓(xùn)練有素的醫(yī)學(xué)專(zhuān)家有所不同。
• 局限和有待改進(jìn)的地方：盡管 o1-preview 的表現(xiàn)令人印象深刻，但它在處理極其抽象的邏輯謎題、適應(yīng)實(shí)時(shí)動(dòng)態(tài)情況以及在高等數(shù)學(xué)和隨機(jī)過(guò)程等領(lǐng)域的最復(fù)雜任務(wù)中始終表現(xiàn)出色方面仍存在局限性。
• 現(xiàn)實(shí)世界的應(yīng)用潛力：該模型的性能表明，它在教育支持、醫(yī)療援助、金融分析和科學(xué)研究等各個(gè)領(lǐng)域都有巨大的應(yīng)用潛力。不過(guò)，在關(guān)鍵的實(shí)際應(yīng)用場(chǎng)景中部署之前，還需要進(jìn)一步完善和驗(yàn)證。

更多詳細(xì)信息請(qǐng)參見(jiàn)原論文。