今天凌晨，麻省理工技術(shù)評論發(fā)布了專訪文章《塑造OpenAI研究未來的兩個人》，主要介紹了OpenAI兩位最重要的研究主管Mark Chen和Jakub Pachocki。

前OpenAI聯(lián)合創(chuàng)始人兼首席科學(xué)家Ilya Sutskever離開OpenAI之后，Jakub Pachocki接替了他的職位，曾領(lǐng)導(dǎo)開發(fā)過GPT-4、OpenAI Five、o1、o3等重要模型。

Mark Chen是在前OpenAI首席技術(shù)官M(fèi)ira Murati離開后，接替了她的職責(zé)并任命為首席研究官。曾領(lǐng)導(dǎo)開發(fā)過GPT?3、GPT?4/Turbo、DALL·E、Codex等重要模型。

而OpenAI即將發(fā)布的重磅產(chǎn)品GPT-5模型，依然由這兩位技術(shù)大神領(lǐng)導(dǎo)研發(fā)。

對于麻省理工技術(shù)評論這篇專題文章，Sam Altman相當(dāng)認(rèn)可，并表示，我通常覺得這類文章都沒說到點(diǎn)子上，但這篇確實(shí)抓住了Mark和Jakub的合作精髓。

以下是專訪文章的完整內(nèi)容：

在過去幾年里，OpenAI 給人的感覺像是 “一人品牌”。憑借其娛樂圈風(fēng)格和籌資魅力，首席執(zhí)行官Sam Altman蓋過了公司其他所有知名人士的風(fēng)頭。甚至他那次搞砸的被趕下臺事件也以他重新回到巔峰并比以往任何時候都更出名而告終。但如果你能越過這位富有魅力的代言人，你就能更清楚地了解這家公司的走向。畢竟，Altman并不是構(gòu)建該公司賴以立足的技術(shù)的人。

這一責(zé)任落在了 OpenAI的雙料研究負(fù)責(zé)人身上首席研究官M(fèi)ark Chen和首席科學(xué)家Jakub Pachocki。他們共同肩負(fù)著確保 OpenAI在像谷歌這樣的強(qiáng)大競爭對手面前保持領(lǐng)先一步的職責(zé)。

在我與Chen和Pachocki進(jìn)行獨(dú)家對話期間，他們剛于2023年前往倫敦，那里是 OpenAI 設(shè)立的首個國際辦公室所在地。我們討論了他們?nèi)绾螒?yīng)對研究與產(chǎn)品之間固有的緊張關(guān)系。

我們還討論了他們?yōu)楹握J(rèn)為編程和數(shù)學(xué)是更通用模型的關(guān)鍵；當(dāng)他們談?wù)撏ㄓ萌斯ぶ悄埽ˋGI）時，他們真正指的是什么；以及 OpenAI 的超級對齊團(tuán)隊(duì)發(fā)生了什么，該團(tuán)隊(duì)由公司聯(lián)合創(chuàng)始人兼前首席科學(xué)家Ilya Sutskever設(shè)立，旨在防止假設(shè)中的超級智能失控，該團(tuán)隊(duì)在他離職后不久便解散了。

特別是，我想了解在 OpenAI 即將推出數(shù)月來最大產(chǎn)品發(fā)布之際GPT-5，他們的想法是什么。

有報道稱，該公司的下一代模型將于 8 月推出。OpenAI 的官方說法好吧，是Altman的說法是 GPT-5 將“很快”發(fā)布，期待值很高。

OpenAI 在GPT-3 和 GPT-4 上取得的飛躍提高了人們對這一技術(shù)可能性的預(yù)期。然而，GPT-5 發(fā)布的延遲引發(fā)了謠言，稱OpenAI 在構(gòu)建符合自身更不用說其他所有人期望的模型方面遇到了困難。

但對于一家在過去幾年里一直為行業(yè)設(shè)定議程的公司來說，管理預(yù)期是工作的一部分。而Chen和Pachocki則在OpenAI 內(nèi)部設(shè)定議程。

雙巨頭并峙

OpenAI的倫敦總部位于圣詹姆斯公園，距離白金漢宮以東幾百米。但我是在國王十字車站附近的一個共享工作空間的會議室里見到Chen和Pachocki的，OpenAI在那里保留了一個落腳點(diǎn)的地方，位于倫敦科技街區(qū)的中心。OpenAI 的研究傳播主管Laurance Fauconnet坐在桌子一端，打開筆記本電腦。

穿著酒紅色馬球衫的Chen，看起來整潔利落，幾乎有點(diǎn)書生氣。他接受過媒體培訓(xùn)，與記者交談時很自在。穿著印有大象標(biāo)志的黑色 T 恤的Pachocki，看起來更像是電影里的黑客。他說話時經(jīng)常盯著自己的手。

但這對搭檔比他們最初看起來更緊密。Pachocki總結(jié)了他們的角色。Chen負(fù)責(zé)塑造和管理研究團(tuán)隊(duì)，他說。“我負(fù)責(zé)制定研究路線圖并建立我們的長期技術(shù)愿景。”

“但角色之間存在流動性，”Chen說。“我們都是研究人員，我們都在研究技術(shù)問題。無論我們看到什么可以深入研究并解決的問題，那就是我們要做的?！?/span>

Chen于 2018 年加入該公司，此前他在華爾街公司 Jane Street Capital 擔(dān)任量化交易員，開發(fā)用于期貨交易的機(jī)器學(xué)習(xí)模型。

左Mark Chen，右Jakub Pachocki

在OpenAI他主導(dǎo)了 DALL-E 的創(chuàng)建，這是該公司突破性的生成式圖像模型。隨后，他參與了為 GPT-4 添加圖像識別功能的工作，并主導(dǎo)了 Codex的開發(fā)，Codex 是為 GitHub Copilot 提供支持的生成式編碼模型。

Pachocki于2017年離開理論計(jì)算機(jī)科學(xué)的學(xué)術(shù)生涯加入 OpenAI，并于 2024 年接替Sutskever擔(dān)任首席科學(xué)家。他是 OpenAI 所謂的推理模型的關(guān)鍵架構(gòu)師尤其是 o1 和 o3這些模型旨在解決科學(xué)、數(shù)學(xué)和編程中的復(fù)雜任務(wù)。當(dāng)我們見面時，他們剛剛經(jīng)歷了公司技術(shù)連續(xù)兩次獲勝的興奮。

7月16日，OpenAI 的一個大型語言模型在AtCoder世界巡回賽總決賽中獲得第二名，這是世界上最艱難的編程比賽之一。7 月 19 日，OpenAI 宣布其一個模型在 2025 年國際數(shù)學(xué)奧林匹克競賽中取得了金牌水平的成績，這是世界上最負(fù)盛名的數(shù)學(xué)競賽之一。

數(shù)學(xué)競賽的結(jié)果登上了頭條新聞，不僅因?yàn)?nbsp;OpenAI 取得了令人矚目的成就，還因?yàn)楦偁帉κ止雀?nbsp;DeepMind在兩天后透露，其一個模型在同一競賽中取得了相同的分?jǐn)?shù)。谷歌 DeepMind 遵守了競賽規(guī)則，等待組織者檢查結(jié)果后再宣布；而 OpenAI實(shí)際上是自己評判自己的答案。

對于Chen和Pachocki來說，結(jié)果不言自明。不過，他們更興奮的是編程比賽的勝利?！拔艺J(rèn)為這有點(diǎn)被低估了，”Chen對我說。國際數(shù)學(xué)奧林匹克競賽的金牌成績會讓你躋身前20到50名的選手之列，他說。但在AtCoder競賽中，OpenAI 的模型位列前兩名：“突破到人類表現(xiàn)的一個真正不同的層級這是前所未有的?！?/span>

不斷推出新產(chǎn)品

OpenAI的員工仍然喜歡說他們是在研究實(shí)驗(yàn)室工作。但該公司已經(jīng)不同于 ChatGPT 發(fā)布三年前的公司了。該公司現(xiàn)在正與世界上最大、最富有的科技公司展開競爭，其估值高達(dá) 3000 億美元。突破性的研究和引人注目的演示已經(jīng)不夠了。它需要推出產(chǎn)品并將其交到人們手中而且它確實(shí)做到了。

OpenAI一直在推出新產(chǎn)品發(fā)布其GPT-4 系列的重大更新，推出一系列生成式圖像和視頻模型，并引入與 ChatGPT 語音交流的功能。六個月前，它啟動了新一輪所謂的推理模型，首先是o1，隨后是 o3。上周，它向公眾發(fā)布了其瀏覽器使用智能體Operator。該公司現(xiàn)在聲稱每周有超過 4 億人使用其產(chǎn)品，并提交25億個提示。

OpenAI即將上任的應(yīng)用程序首席執(zhí)行官Fidji Simo計(jì)劃保持這一勢頭。在給公司的一份備忘錄中，她告訴員工，她期待著“幫助將 OpenAI 的技術(shù)交到世界各地更多人的手中”，在那里它們將“為人們創(chuàng)造比歷史上任何其他技術(shù)都更多的機(jī)會”。

我問 OpenAI 如何平衡開放式研究和產(chǎn)品開發(fā)?！斑@是我們很久以前就在思考的問題，遠(yuǎn)遠(yuǎn)早于 ChatGPT 時代，”Pachocki說?！叭绻覀冋娴囊J(rèn)真嘗試構(gòu)建通用人工智能，顯然，你可以用這項(xiàng)技術(shù)做很多事情，中途可以走很多分支，這些分支都可以成為重要的產(chǎn)品。”換句話說，不斷搖動這棵樹，收獲你能得到的一切。

OpenAI人士經(jīng)常提到的一個觀點(diǎn)是，將實(shí)驗(yàn)性模型推向世界是研究的必要部分。目標(biāo)是讓人們意識到這項(xiàng)技術(shù)已經(jīng)變得多么出色?！拔覀兿Ｍ屓藗兞私饧磳⒌絹淼氖虑?，這樣我們就可以參與一場非常艱難的社會對話，”Altman在 2022 年告訴我。這種奇怪新技術(shù)的制造者也很好奇它能用于什么：OpenAI 很想將其交到人們手中，看看他們會用它做什么。

這種情況仍然存在嗎？他們同時回答道?！笆堑?！”Chen說?！霸谀撤N程度上，”Pachocki說。Chen笑了：“不，你先說?！?/span>

“我不是說研究會在產(chǎn)品上迭代，”Pachocki說。“但現(xiàn)在這些模型已經(jīng)處于可以通過經(jīng)典基準(zhǔn)測試的邊緣，許多我們一直在思考的長期挑戰(zhàn)也開始被攻克，我們正處于一個真正關(guān)乎模型在現(xiàn)實(shí)世界中能做什么的階段?！?/span>

比如在編程比賽中與人類一較高下。在今年于日本舉行的 AtCoder 競賽中擊敗 OpenAI 模型的人是一名名叫Przemys?aw D?biak的程序員，他也被稱為 Psyho。這場比賽是一場解謎馬拉松，參賽者有 10 個小時的時間來找到解決復(fù)雜編程問題的最高效方法。在他獲勝后，Psyho 在 X 上發(fā)文說：“我完全筋疲力盡……我?guī)缀跻罎⒘??！?/span>

Chen和Pachocki與競爭性編程的世界有著深厚的聯(lián)系。他們過去都參加過國際編程比賽，Chen還指導(dǎo)美國計(jì)算機(jī)奧林匹克競賽隊(duì)。我問他們，對競爭性編程的個人熱情是否影響了他們對模型在這種挑戰(zhàn)中表現(xiàn)出色的重要性看法。

他們倆都笑了?！爱?dāng)然，”Pachocki說?！八裕篜syho 是一種傳奇人物。他多年來一直是排名第一的選手。他實(shí)際上也是我的朋友我們過去常在一起參加這些比賽?！盌?biak也曾與Pachocki在 OpenAI一起工作過。

當(dāng)Pachocki參加編程比賽時，他更喜歡那些關(guān)注較短問題且有明確解決方案的比賽。但D?biak喜歡更長、開放式的問題，沒有明顯的正確答案。

“他過去常常取笑我，說我會參加的那種比賽比他喜歡的那種比賽更早被自動化，”Pachocki回憶說?！八晕曳浅ｊP(guān)注這個模型在最近這次比賽中的表現(xiàn)?！?/span>

Pachocki告訴我，他一直關(guān)注著從東京傳來的深夜直播，看著自己的模型獲得第二名：“Psyho 這次堅(jiān)持住了?！?/span>

“我們已經(jīng)跟蹤大型語言模型在編程比賽中的表現(xiàn)有一段時間了，”Chen說。“我們看著它們變得比我強(qiáng)，比雅庫布強(qiáng)。這有點(diǎn)像李世石下圍棋?！?/span>

李世石是一名圍棋大師，他在 2016 年與谷歌 DeepMind 的圍棋模型 AlphaGo 進(jìn)行了一系列比賽并輸?shù)袅吮荣?。這一結(jié)果震驚了國際圍棋界，并導(dǎo)致李世石放棄了職業(yè)棋手的身份。去年，他告訴《紐約時報》：“在某種意義上，輸給人工智能意味著我的整個世界正在崩潰……我再也無法享受這個游戲了?！比欢c李世石不同的是，Chen和Pachocki對于被超越感到非常興奮。

但其他人為什么應(yīng)該關(guān)心這些小眾的勝利呢？很明顯，這種旨在模仿并最終取代人類智能的技術(shù)是由那些認(rèn)為在數(shù)學(xué)競賽中取得優(yōu)異成績或與傳奇程序員一較高下是智力巔峰的人構(gòu)建的。這種對智力的看法偏向于數(shù)學(xué)、分析這一端是否存在問題？

“我的意思是，我想你說得對你知道，自私地說，我們確實(shí)想創(chuàng)建能夠加速我們自身發(fā)展的模型，”Chen對我說?！拔覀儗⑵湟暈橐粋€非?？焖俚倪M(jìn)步因素?！?/span>

像Chen和Pachocki這樣的研究人員所提出的論點(diǎn)是，數(shù)學(xué)和編程是更通用智能形式的基礎(chǔ)，這種智能可以以我們自己可能想不到的方式解決各種問題。“我們在這里談?wù)摰氖蔷幊毯蛿?shù)學(xué)，”Pachocki說?！暗@實(shí)際上關(guān)乎創(chuàng)造力，提出新奇的想法，將來自不同地方的想法聯(lián)系起來?！?/span>

看看最近的兩次比賽：“在這兩種情況下，都有問題需要非常艱難的、突破常規(guī)的思考。Psyho 在編程比賽的一半時間里都在思考，然后想出了一個真正新穎且與我們的模型所考慮的任何內(nèi)容都相當(dāng)不同的解決方案。”

“這正是我們所追求的，”Pachocki繼續(xù)說道?！拔覀?nèi)绾巫屇Ｐ桶l(fā)現(xiàn)這種新奇的見解？真正推動我們的知識進(jìn)步？我認(rèn)為它們已經(jīng)在某些有限的方式上能夠做到這一點(diǎn)。但我認(rèn)為這項(xiàng)技術(shù)有潛力真正加速科學(xué)進(jìn)步?！?/span>

我又回到了關(guān)于是否專注于數(shù)學(xué)和編程是一個問題的問題上，承認(rèn)也許如果我們正在構(gòu)建的是幫助我們做科學(xué)研究的工具，這沒關(guān)系。我們不一定希望大型語言模型取代政治家并具備人際交往能力，我建議道。

Chen皺了皺臉，抬頭望向天花板：“為什么不呢？”

OpenAI還缺少什么

OpenAI的成立帶有一種即使在硅谷也很突出的傲慢，當(dāng)時它就吹噓其構(gòu)建通用人工智能（AGI）的目標(biāo)，而當(dāng)時談?wù)?nbsp;AGI 還聽起來很荒謬。OpenAI 仍然和以往一樣熱衷于 AGI，并且它比大多數(shù)人更多地使 AGI 成為一個主流的數(shù)十億美元的焦點(diǎn)。不過，它還沒有實(shí)現(xiàn)。我問Chen和Pachocki他們認(rèn)為還缺少什么。

“我認(rèn)為設(shè)想未來的方式是真正深入研究我們今天看到的技術(shù)，”Pachocki說。“從一開始，OpenAI就將深度學(xué)習(xí)視為一種非常神秘且顯然非常強(qiáng)大的技術(shù)，具有很大的潛力。我們一直在試圖了解它的瓶頸。它能做什么？它不能做什么？”

Chen說，目前處于最前沿的是推理模型，這些模型將問題分解成更小、更易于管理的步驟，但即使是它們也有局限性：“你知道，你有這些模型，它們知道很多事情，但卻無法將這些知識串聯(lián)起來。為什么呢？為什么它不能像人類那樣做到這一點(diǎn)呢？”

OpenAI正在全力以赴回答這個問題。

“我們可能仍然處于這種推理范式的非常初期階段，”Pachocki告訴我。“真的，我們正在思考如何讓這些模型長期學(xué)習(xí)和探索，并真正提出全新的想法。”

Chen強(qiáng)調(diào)了這一點(diǎn)：“我真的不認(rèn)為推理已經(jīng)完成。我們絕對沒有解決這個問題。你必須閱讀大量的文本，才能對人類所知道的東西有一個大致的了解?！?/span>

OpenAI不會透露其用于訓(xùn)練模型的數(shù)據(jù)，也不會透露有關(guān)模型的大小和形狀的細(xì)節(jié)只說它正在努力使開發(fā)過程的各個階段更加高效。

這些努力使他們相信，所謂的規(guī)模定律這些定律表明，隨著你投入更多的計(jì)算能力，模型將繼續(xù)變得更好并沒有顯示出任何崩潰的跡象。

“我認(rèn)為沒有證據(jù)表明規(guī)模定律已經(jīng)死亡，”Chen堅(jiān)持說。“總是存在瓶頸，對吧？有時它們與模型的構(gòu)建方式有關(guān)。有時它們與數(shù)據(jù)有關(guān)。但從根本上說，這只是關(guān)于找到能夠突破當(dāng)前瓶頸的研究?！?/span>

我對進(jìn)步的信心是堅(jiān)定不移的。我提到了Pachocki在 5 月接受《自然》雜志采訪時關(guān)于 AGI 的說法：“2017 年我加入OpenAI 時，我仍然是公司里最大的懷疑論者之一?！彼雌饋碛行岩伞?/span>

“我不確定我對這個概念是否懷疑，”他說?！暗艺J(rèn)為我是”他停頓了一下，看著放在面前桌子上的手。“當(dāng)我加入 OpenAI 時，我預(yù)計(jì)達(dá)到我們現(xiàn)在所處的階段的時間會更長?！?/span>

“人工智能有很多后果，”他說?！暗易畛Ｋ伎嫉氖亲詣踊芯?。當(dāng)我們回顧人類歷史時，其中大部分是關(guān)于技術(shù)進(jìn)步的，是關(guān)于人類構(gòu)建新技術(shù)的。當(dāng)計(jì)算機(jī)能夠自己開發(fā)新技術(shù)時，這似乎是一個非常重要的、嗯，轉(zhuǎn)折點(diǎn)。

“我們已經(jīng)看到這些模型協(xié)助科學(xué)家。但當(dāng)它們能夠從事更長期的工作當(dāng)它們能夠?yàn)樽约航⒀芯宽?xiàng)目時世界將會有實(shí)質(zhì)性的不同。”

對于Chen來說，模型能夠獨(dú)立工作更長時間的能力是關(guān)鍵?！拔业囊馑际?，我認(rèn)為每個人對通用人工智能都有自己的定義，”他說?！暗@個自主時間的概念模型在遇到死胡同時能夠花在解決一個難題上的時間是我們所追求的一個重要目標(biāo)。”

這是一個大膽的愿景遠(yuǎn)遠(yuǎn)超出了當(dāng)今模型的能力。但我仍然被Chen和Pachocki使通用人工智能聽起來幾乎平淡無奇的方式所打動。與 18 個月前我和Sutskever交談時他的反應(yīng)相比，他當(dāng)時告訴我：“這將是具有里程碑意義的，是震撼世界的。這將是一個分水嶺。”面對他正在構(gòu)建的東西的巨大性，Sutskever將他的職業(yè)生涯重心從設(shè)計(jì)越來越好的模型轉(zhuǎn)移到弄清楚如何控制他認(rèn)為很快就會比自己更聰明的技術(shù)上。

兩年前，Sutskever成立了一個所謂的超級對齊團(tuán)隊(duì)，他將與另一位 OpenAI 安全研究員揚(yáng)·萊克（Jan Leike）共同領(lǐng)導(dǎo)這個團(tuán)隊(duì)。該團(tuán)隊(duì)聲稱將投入 OpenAI 五分之一的資源來研究如何控制假設(shè)中的超級智能。如今，超級對齊團(tuán)隊(duì)的大多數(shù)人，包括Sutskever和萊克，都已離開公司，該團(tuán)隊(duì)也不復(fù)存在。

萊克離職時說，是因?yàn)樵搱F(tuán)隊(duì)沒有得到他認(rèn)為應(yīng)得的支持。他在 X 上發(fā)帖說：“制造比人類更聰明的機(jī)器本質(zhì)上是一項(xiàng)危險的事業(yè)。OpenAI 正代表全人類肩負(fù)著巨大的責(zé)任。但在過去幾年里，安全文化和流程被耀眼的產(chǎn)品所忽視。”其他離職的研究人員也發(fā)表了類似的聲明。

我問Chen和Pachocki他們?nèi)绾慰创@些擔(dān)憂?！昂芏嗍虑槎际欠浅€人的決定，”Chen說。“你知道，研究人員可能會有一種信念，認(rèn)為該領(lǐng)域?qū)⒊硞€方向發(fā)展，他們的研究將取得成果并結(jié)出碩果。而你知道，也許公司并沒有按照你希望的方式進(jìn)行調(diào)整。這是一個非常動態(tài)的領(lǐng)域?！?/span>

“很多事情都是非常個人的決定，”他重復(fù)道?！坝袝r該領(lǐng)域的發(fā)展方向與你的研究方式不太一致?！?/span>

但他們倆都堅(jiān)持認(rèn)為，對齊現(xiàn)在是核心業(yè)務(wù)的一部分，而不是某個特定團(tuán)隊(duì)的專屬問題。根據(jù)Pachocki的說法，這些模型根本無法工作，除非它們按照你的預(yù)期工作。而且，當(dāng)現(xiàn)有的模型已經(jīng)足夠具有挑戰(zhàn)性時，人們也不太愿意專注于將假設(shè)中的超級智能與你的目標(biāo)對齊。

“兩年前，我們所想象的風(fēng)險大多是理論上的風(fēng)險，”Pachocki說。“如今的世界看起來大不相同了，我認(rèn)為許多對齊問題現(xiàn)在都是出于非常實(shí)際的動機(jī)?！?/span>

然而，實(shí)驗(yàn)性技術(shù)被轉(zhuǎn)化為大眾市場產(chǎn)品的速度比以往任何時候都要快。這真的不會導(dǎo)致他們之間產(chǎn)生分歧嗎？

“我常常有幸能夠真正思考技術(shù)的長期發(fā)展方向，”Pachocki說。“應(yīng)對過程的現(xiàn)實(shí)無論是人員方面，還是更廣泛的公司需求都落在了Chen身上。這并不是真正的分歧，但在我們之間確實(shí)存在一種自然的緊張關(guān)系，這種緊張關(guān)系源于公司面臨的這些不同的目標(biāo)和不同的挑戰(zhàn)。”Chen插話說：“我認(rèn)為這只是一個非常微妙的平衡。”