他來(lái)了！他來(lái)了！

就在今夜，奧特曼帶著兩款全新的開源模型走來(lái)了！

正如幾天前泄露的，它們分別是總參數(shù)1170億，激活參數(shù)51億的「gpt-oss-120b」和總參數(shù)210億，激活參數(shù)36億的「gpt-oss-20b」。

終于，OpenAI再次回歸開源。

圖片

• gpt-oss-120b適用于需要高推理能力的生產(chǎn)級(jí)和通用型場(chǎng)景

在核心推理基準(zhǔn)測(cè)試中，120B模型的表現(xiàn)與OpenAI o4-mini相當(dāng)，并且能在單張80GB顯存的GPU上高效運(yùn)行（如H100）。

• gpt-oss-20b適用于低延遲、本地或?qū)I(yè)化場(chǎng)景

在常用基準(zhǔn)測(cè)試中，20B模型的表現(xiàn)與OpenAI o3-mini類似，并且能在僅有16GB顯存的邊緣設(shè)備上運(yùn)行。

除此之外，兩款模型在工具使用、少樣本函數(shù)調(diào)用、CoT推理以及HealthBench評(píng)測(cè)中也表現(xiàn)強(qiáng)勁，甚至比OpenAI o1和GPT-4o等專有模型還要更強(qiáng)。

其他亮點(diǎn)如下：

• 寬松的Apache 2.0許可證：可自由用于構(gòu)建，無(wú)copyleft限制或?qū)＠L(fēng)險(xiǎn)——是實(shí)驗(yàn)、定制和商業(yè)化部署的理想選擇。
• 可配置的推理投入：可根據(jù)用戶的具體用例和延遲需求，輕松調(diào)整推理投入（低、中、高）。
• 完整的思維鏈：可完整訪問(wèn)模型的推理過(guò)程，從而簡(jiǎn)化調(diào)試并提升輸出結(jié)果的可信度。
• 支持微調(diào)：支持參數(shù)級(jí)微調(diào)，可根據(jù)您的特定用例對(duì)模型進(jìn)行完全定制。
• 智能體能力：利用模型原生的函數(shù)調(diào)用、網(wǎng)頁(yè)瀏覽、Python代碼執(zhí)行和結(jié)構(gòu)化輸出等能力。
• 原生MXFP4量化：在訓(xùn)練時(shí)，模型的混合專家（MoE）層便采用了原生的MXFP4精度，使得gpt-oss-120b在單張H100 GPU上即可運(yùn)行，而gpt-oss-20b僅需16GB內(nèi)存。

值得一提的是，OpenAI還特地準(zhǔn)備了一個(gè)playground網(wǎng)站供大家在線體驗(yàn)。

圖片

體驗(yàn)地址：https://gpt-oss.com/

圖片

GitHub項(xiàng)目：https://github.com/openai/gpt-oss

Hugging Face（120B）：https://huggingface.co/openai/gpt-oss-120b

Hugging Face（20B）：https://huggingface.co/openai/gpt-oss-20b

GPT-2以來(lái)，首次開源

gpt-oss系模型，是OpenAI自GPT-2以來(lái)首次開源的語(yǔ)言模型。

今天，OpenAI同時(shí)放出了34頁(yè)技術(shù)報(bào)告，模型采用了最先進(jìn)的預(yù)訓(xùn)練和后訓(xùn)練技術(shù)。

圖片

模型卡：https://cdn.openai.com/pdf/419b6906-9da6-406c-a19d-1bb078ac7637/oai_gpt-oss_model_card.pdf

預(yù)訓(xùn)練與模型架構(gòu)

相較于此前開源的Whisper和CLIP，gpt-oss模型在推理能力、效率以及在廣泛部署環(huán)境中的實(shí)用性上更強(qiáng)。

每個(gè)模型都采用了Transformer架構(gòu)，并融入MoE設(shè)計(jì)，減少處理輸入時(shí)激活參數(shù)量。

如上所述，gpt-oss-120b總參數(shù)1170億，每token激活51億參數(shù)，gpt-oss-20b總參數(shù)210億，每token激活36億參數(shù)。

此外，模型還借鑒了GPT-3設(shè)計(jì)理念，采用了交替的密集注意力和局部帶狀稀疏注意力模式。

圖片

為了提升推理和內(nèi)存效率，模型還采用了分組多查詢注意力機(jī)制，組大小為8，以及旋轉(zhuǎn)位置編碼（RoPE），原生支持128k上下文。

gpt-oss模型的訓(xùn)練數(shù)據(jù)以「英語(yǔ)」為主，聚焦STEM、編程和通用知識(shí)領(lǐng)域。

OpenAI采用了o200k_harmony分詞器對(duì)數(shù)據(jù)進(jìn)行分詞，它是OpenAI o4-mini和GPT-4o所用分詞器的「超集」。

今天，這款分詞器同步開源。

利好開發(fā)者的是，gpt-oss兩款模型與Responses API?兼容，專為智能體工作流打造，在指令遵循、工具使用、推理上極其強(qiáng)大。

比如，它能自主為需要復(fù)雜推理，或是目標(biāo)是極低延遲輸出的任務(wù)調(diào)整推理投入。

同時(shí)完全可定制，并提供完整的思維鏈（CoT），以及支持結(jié)構(gòu)化輸出?。

據(jù)悉，gpt-oss模型整個(gè)預(yù)訓(xùn)練成本，低于50萬(wàn)美元。

圖片

后訓(xùn)練

在后訓(xùn)練階段，gpt-oss模型的流程與o4-mini相似，包含了「監(jiān)督微調(diào)」和「高算力強(qiáng)化學(xué)習(xí)」階段。

訓(xùn)練過(guò)程中，團(tuán)隊(duì)以「OpenAI模型規(guī)范?」為目標(biāo)對(duì)齊，并教導(dǎo)模型在生成答案前，使用CoT推理和工具。

通過(guò)采用與專有o系推理模型的相同技術(shù)，讓gpt-oss在后訓(xùn)練中展現(xiàn)出卓越能力。

與API中的OpenAI o系列推理模型相似，這兩款開源模型支持三種推理投入——低、中、高。

開發(fā)者只需在系統(tǒng)提示詞中加入一句話，即可在延遲與性能間靈活切換。

開源小模型，比肩旗艦o3/o4-mini

在多個(gè)基準(zhǔn)測(cè)試中，gpt-oss-120b堪比旗艦級(jí)o系模型的性能。

具體來(lái)說(shuō)，在編程競(jìng)賽（Codeforces）、通用問(wèn)題解決（MMLU和HLE）以及工具調(diào)用（TauBench）方面，它直接超越了o3-mini，達(dá)到甚至超越了o4-mini的水平。

圖片

圖片

此外，在健康相關(guān)查詢（HealthBench?）、數(shù)學(xué)競(jìng)賽（AIME 2024 & 2025）基準(zhǔn)中，它的表現(xiàn)甚至優(yōu)于o4-mini。

圖片

盡管gpt-oss-20b規(guī)模較小，但在相同的評(píng)估中，其表現(xiàn)與o3-mini持平或更優(yōu)，甚至在AIME、健康領(lǐng)域基準(zhǔn)上的表現(xiàn)超越了o3-mini。

圖片

圖片

在AIME數(shù)學(xué)測(cè)試中，gpt-oss-120b和gpt-oss-20b隨著推理token的增加，準(zhǔn)確率折線逐漸逼近。

圖片

在博士級(jí)知識(shí)問(wèn)答基準(zhǔn)中，gpt-oss-120b的性能始終領(lǐng)先于gpt-oss-20b。

圖片

此外，OpenAI近期研究表明，未經(jīng)直接監(jiān)督訓(xùn)練的CoT有助于發(fā)現(xiàn)模型潛在不當(dāng)行為。

這一觀點(diǎn)也得到了業(yè)內(nèi)其他同行的認(rèn)同。

同樣，遵循o1-preview?的設(shè)計(jì)原則，研究團(tuán)隊(duì)并未對(duì)gpt-oss模型CoT直接監(jiān)督，讓模型更加透明。

圖片

OpenAI，Open AI了

gpt-oss-120b和gpt-oss-20b的開源，標(biāo)志著OpenAI終于在開源模型上，邁出了重要一步。

在同等規(guī)模下，它們?cè)谕评硇阅苌?，可與o3-mini、o4-mini一較高下，甚至是領(lǐng)先。

OpenAI開源模型為所有開發(fā)者，提供了強(qiáng)大的工具，補(bǔ)充了托管模型的生態(tài)，加速前沿研究、促進(jìn)創(chuàng)新。

更重要的是，模型開源降低了一些群體，比如新興市場(chǎng)、缺少算力小企業(yè)的準(zhǔn)入門檻。

一個(gè)健康的開放模型生態(tài)系統(tǒng)，是讓AI普及并惠及所有人的一個(gè)重要方面。

對(duì)于這次的開源，奧特曼驕傲地表示：gpt-oss是OpenAI「數(shù)十億美元」研究成果的結(jié)晶，是全世界最出色、最實(shí)用的開放模型！

圖片

還等什么？趕快下載下來(lái)享用吧！

參考資料：https://openai.com/index/introducing-gpt-oss/