OpenAI 開(kāi)源模型 gpt-oss 是在合成數(shù)據(jù)上訓(xùn)練的嗎？一些合理推測(cè) 原創(chuàng)
編者按： OpenAI?首次發(fā)布的開(kāi)源大模型?gpt-oss?系列為何在基準(zhǔn)測(cè)試中表現(xiàn)亮眼，卻在實(shí)際應(yīng)用后發(fā)現(xiàn)不如預(yù)期？
我們今天為大家?guī)?lái)的這篇文章，作者推測(cè) OpenAI 的新開(kāi)源模型本質(zhì)上就是微軟 Phi 模型的翻版，采用了相同的合成數(shù)據(jù)訓(xùn)練路線。
本文給出了支持這個(gè)推測(cè)的三個(gè)理由：首先，作者通過(guò)對(duì)比 Phi 模型系列的發(fā)展歷程，揭示了基于合成數(shù)據(jù)訓(xùn)練的模型普遍存在“基準(zhǔn)測(cè)試表現(xiàn)優(yōu)異但實(shí)際應(yīng)用效果不佳”的現(xiàn)象；其次，文章探討了 OpenAI 選擇這一技術(shù)路線的核心動(dòng)機(jī) —— 安全考量，指出大型組織發(fā)布開(kāi)源模型時(shí)面臨的聲譽(yù)風(fēng)險(xiǎn)，以及合成數(shù)據(jù)在提升模型安全性方面的獨(dú)特優(yōu)勢(shì)；最后，作者結(jié)合微軟前 GenAI 研究副總裁 Sebastien Bubeck 加入 OpenAI 這一人事變動(dòng)，推測(cè) gpt-oss 模型的技術(shù)基因很可能直接承襲自 Phi 系列。
本文系原作者觀點(diǎn)，Baihai IDP 僅進(jìn)行編譯分享
作者 | Sean Goedecke
編譯 | 岳揚(yáng)
OpenAI 不久前發(fā)布了其首個(gè)開(kāi)源1大語(yǔ)言模型，名為 gpt-oss-120b 和 gpt-oss-20b。你可以在這里[1]與它們進(jìn)行對(duì)話。這些模型好嗎？嗯，完全取決于你的需求。它們?cè)谀承┗鶞?zhǔn)測(cè)試[2]上表現(xiàn)優(yōu)異（否則 OpenAI 根本不會(huì)發(fā)布），但在其他基準(zhǔn)測(cè)試中卻表現(xiàn)得異常糟糕，比如 SimpleQA。
有些人非常喜歡這些模型[3]，而推特上另一些人則完全不買賬[4-5]。據(jù)我觀察，這些模型技術(shù)上過(guò)硬，但缺乏大量領(lǐng)域外的知識(shí)：例如，它們擁有廣博的科學(xué)常識(shí)，卻對(duì)流行文化知之甚少。這些模型在實(shí)際應(yīng)用中的價(jià)值還需六個(gè)月方能見(jiàn)分曉，但我預(yù)測(cè)這些模型最終會(huì)歸類于“在基準(zhǔn)測(cè)試中的表現(xiàn)遠(yuǎn)強(qiáng)于在真實(shí)任務(wù)中的表現(xiàn)”之列。
01 Phi 模型與在合成數(shù)據(jù)上訓(xùn)練模型
2024 年，Sebastien Bubeck 領(lǐng)導(dǎo)了微軟開(kāi)源模型系列 Phi 的開(kāi)發(fā)2。這些模型的創(chuàng)新點(diǎn)在于完全采用合成數(shù)據(jù)進(jìn)行訓(xùn)練：不同于從書籍或互聯(lián)網(wǎng)中直接抓取的文本數(shù)據(jù)，而是使用其他語(yǔ)言模型生成的文本或經(jīng)過(guò)人工精心編寫的教材內(nèi)容。合成數(shù)據(jù)比常規(guī)數(shù)據(jù)獲取成本更高 —— 不是免費(fèi)下載數(shù) TB 數(shù)據(jù)就能解決，而是需要付費(fèi)生成每個(gè) token。這種方法的代價(jià)是必須為每個(gè) token 的生成付費(fèi)，優(yōu)勢(shì)則是能完全掌控訓(xùn)練數(shù)據(jù)的品質(zhì)。 若完全用高質(zhì)量的合成數(shù)據(jù)和人工編寫的數(shù)據(jù)訓(xùn)練模型，結(jié)果會(huì)如何？
事實(shí)證明，這類模型在基準(zhǔn)測(cè)試中表現(xiàn)會(huì)十分出色，但在實(shí)際應(yīng)用中的表現(xiàn)卻令人失望。梳理業(yè)界對(duì)每代 Phi 模型的評(píng)價(jià)可發(fā)現(xiàn)一個(gè)相同的模式：驚艷的測(cè)試分?jǐn)?shù)[6]，高漲的市場(chǎng)熱情，但實(shí)際性能卻遠(yuǎn)低于基準(zhǔn)測(cè)試所顯示的水平[7]。
我認(rèn)為之所以會(huì)出現(xiàn)這些驚艷的基準(zhǔn)測(cè)試結(jié)果，是因?yàn)槟Ｐ头浅＿m合針對(duì)特定任務(wù)進(jìn)行訓(xùn)練 —— 畢竟大部分訓(xùn)練數(shù)據(jù)由開(kāi)發(fā)者自主生成。若采用合成數(shù)據(jù)訓(xùn)練模型卻不生成與主流測(cè)試場(chǎng)景高度匹配的數(shù)據(jù)集，那可就太愚蠢了。但這種“應(yīng)試訓(xùn)練（teaching for the test）”必然導(dǎo)致其表現(xiàn)遜色于基于廣泛數(shù)據(jù)訓(xùn)練的語(yǔ)言模型，并且這些模型也可能只是偶然在基準(zhǔn)測(cè)試中表現(xiàn)良好。
為什么我要談?wù)?Phi 模型？2024 年底，Sebastien Bubeck 離開(kāi)微軟[8]加入 OpenAI。雖然 gpt-oss 模型的研發(fā)陣容尚未披露，模型卡片（model card）[9]也未詳述預(yù)訓(xùn)練細(xì)節(jié)，但我確信 Sebastien Bubeck 參與了這個(gè)項(xiàng)目，且這些模型基于經(jīng)過(guò)嚴(yán)格篩選或完全合成的數(shù)據(jù)集訓(xùn)練而成。
02 合成數(shù)據(jù)更安全
為何 OpenAI 明知 Phi 式的模型在基準(zhǔn)測(cè)試的表現(xiàn)優(yōu)于實(shí)際應(yīng)用中，還堅(jiān)持要開(kāi)發(fā)？原因很可能與微軟持續(xù)研發(fā) Phi 系列模型相同：安全。 對(duì)大型組織而言，發(fā)布開(kāi)源模型猶如在走鋼絲 —— 模型一旦公開(kāi)，企業(yè)聲譽(yù)便與之永久綁定，成千上萬(wàn)的研究人員會(huì)瘋狂地嘗試對(duì)其進(jìn)行微調(diào)以移除安全防護(hù)措施（safety guardrails）。
雖然這一點(diǎn)鮮少被公開(kāi)討論，但當(dāng)前微調(diào)小型語(yǔ)言模型的主要需求的確是色情角色扮演（erotic role-play），且市場(chǎng)需求旺盛。任何本地部署模型的線上社群中，半數(shù)內(nèi)容涉黃。
若發(fā)布一個(gè)常規(guī)的閉源模型并限制在自有基礎(chǔ)設(shè)施內(nèi)運(yùn)行，用戶便無(wú)法微調(diào)。即使出現(xiàn)一些問(wèn)題，也能隨時(shí)更新模型。但開(kāi)源模型一旦發(fā)布便永久失去控制。
使用合成數(shù)據(jù)（或教科書等高度可控的數(shù)據(jù)）訓(xùn)練能大幅提升模型的安全性。開(kāi)發(fā)者可以隨意生成大量“您要求執(zhí)行 X 操作，但作為一個(gè)負(fù)責(zé)任的模型，我拒絕執(zhí)行”的合規(guī)響應(yīng)。只要訓(xùn)練數(shù)據(jù)不包含顛覆性的或有害的內(nèi)容，模型就不會(huì)習(xí)得此類行為（至少目標(biāo)是如此）。
對(duì) OpenAI 而言，開(kāi)發(fā)一款 Phi 風(fēng)格的模型用于開(kāi)源發(fā)布想必極具吸引力。他們需要既能超越中國(guó)開(kāi)源模型基準(zhǔn)分?jǐn)?shù)，又不會(huì)因行為失范而引發(fā)新丑聞的產(chǎn)品[10]。不同于 Meta，他們的開(kāi)源模型無(wú)需真正出色，因?yàn)槠浜诵臉I(yè)務(wù)始終在于閉源模型。
這正是我判斷 OpenAI 為新 gpt-oss 模型選擇合成數(shù)據(jù)路線的原因。無(wú)論結(jié)果如何，它們本質(zhì)上就是披著 gpt 馬甲的 Phi-5 和 Phi-5-mini。
1 實(shí)為開(kāi)放權(quán)重（open weight），而非開(kāi)源，因?yàn)槠淠Ｐ蜋?quán)重可自由獲取，但訓(xùn)練數(shù)據(jù)與代碼未公開(kāi)。當(dāng)然 OpenAI 曾發(fā)布 GPT-2 等開(kāi)放權(quán)重模型，但此次才是首批真正意義上的開(kāi)放權(quán)重模型。
2 我在微軟旗下 GitHub 從事 AI 研究工作，但對(duì)所述內(nèi)容完全不知道內(nèi)部情況。本文內(nèi)容完全憑借公開(kāi)信息撰寫。
END
本期互動(dòng)內(nèi)容 ??
?如果 GPT-OSS 是在合成數(shù)據(jù)上訓(xùn)練的，那么它在基準(zhǔn)測(cè)試和實(shí)際應(yīng)用中表現(xiàn)差異這么大，你覺(jué)得是合成數(shù)據(jù)的局限性，還是測(cè)試標(biāo)準(zhǔn)本身有問(wèn)題？
文中鏈接
[2]https://cdn.openai.com/pdf/419b6906-9da6-406c-a19d-1bb078ac7637/oai_gpt-oss_model_card.pdf
[3]https://simonwillison.net/2025/Aug/5/gpt-oss/
[4]https://x.com/corbtt/status/1952868822891012241
[5]https://x.com/vikhyatk/status/1952863413845275132
[6]https://arxiv.org/abs/2404.14219
[7]https://news.ycombinator.com/item?id=40128351
[8]https://www.reuters.com/technology/microsofts-vp-genai-research-join-openai-2024-10-14/
[9]https://cdn.openai.com/pdf/419b6906-9da6-406c-a19d-1bb078ac7637/oai_gpt-oss_model_card.pdf
[10]https://www.seangoedecke.com/ai-sycophancy
本文經(jīng)原作者授權(quán)，由 Baihai IDP 編譯。如需轉(zhuǎn)載譯文，請(qǐng)聯(lián)系獲取授權(quán)。
原文鏈接：
