今年5月發(fā)布會(huì)后，安全團(tuán)隊(duì)負(fù)責(zé)人Ilya Sutskever和Jan Leike曾前后腳在推特上官宣離職。

加入Anthropic的Jan Leike曾公開(kāi)指責(zé)OpenAI沒(méi)有對(duì)AI安全投入足夠的重視，「安全文化和流程已經(jīng)讓位于閃亮的產(chǎn)品」。

奧特曼曾經(jīng)承諾的20%計(jì)算資源遲遲不到位到位，讓他的團(tuán)隊(duì)始終在「逆風(fēng)航行」。

Ilya和Jan Leike的離職，宣告著OpenAI「超級(jí)對(duì)齊」團(tuán)隊(duì)的正式解散。

幾個(gè)月來(lái)，關(guān)于OpenAI安全團(tuán)隊(duì)的人事新聞也始終不斷，包括雇用前陸軍上將Paul M. Nakasone，以及CMU教授Zico Kolter任職于董事會(huì)新成立的安全和保障委員會(huì)，還有「打包」挖來(lái)AI安全公司Indent。

種種招兵買(mǎi)馬之舉，讓人好奇，奧特曼是否真的「良心未泯」、仍對(duì)AI安全有所關(guān)注，還是僅僅為了平息兩位大佬離職后全網(wǎng)的指責(zé)。

在如此多的「大動(dòng)作」之下，OpenAI安全團(tuán)隊(duì)的現(xiàn)狀究竟如何？

最近，前OpenAI研究員Daniel Kokotajlo接受了《財(cái)富》雜志的獨(dú)家專(zhuān)訪(fǎng)。他表示，情況并不樂(lè)觀，原AGI安全團(tuán)隊(duì)中近一半的員工已經(jīng)離職。

由于部分研究人員擔(dān)心，AGI可能逃脫人類(lèi)控制并對(duì)全人類(lèi)構(gòu)成生存威脅，因此OpenAI自成立以來(lái)就雇用了大量研究人員，專(zhuān)注于「AI安全」領(lǐng)域。

根據(jù)Kokotajlo的說(shuō)法，這支隊(duì)伍最近正因辭職而人數(shù)銳減，其中包括OpenAI聯(lián)合創(chuàng)始人、ChatGPT架構(gòu)師John Schulman和Scaling Law論文共同作者之一Jeffrey Wu。

John Schulman已入職Anthropic，Jeff Wu的領(lǐng)英顯示他7月已離職，目前未透露去向。

此外，離職的還包括以下員工：

- Jonathan Uesato，GPT-4o的核心貢獻(xiàn)者之一，曾在DeepMind Gemini團(tuán)隊(duì)工作

- Jan Hendrik Kirchner，GPT-4技術(shù)報(bào)告的共同作者之一，8月已入職Anthropic

- Yuri Burda，已在OpenAI任職8年，今年7月后離職并加入Anthropic

- Todor Markov，GPT-4o的核心貢獻(xiàn)者之一，已在OpenAI任職近6年，今年6月離職

- Steven Bills，曾參與ChatGPT的開(kāi)發(fā)，已加入Anthropic

Kokotajlo本人是一名哲學(xué)專(zhuān)業(yè)的博士生，于2022年加入OpenAI擔(dān)任治理研究員，并于4月辭職，因?yàn)樗麑?duì)公司在「構(gòu)建通用人工智能系統(tǒng)方面的負(fù)責(zé)任行為失去了信心。」

他在接受采訪(fǎng)時(shí)表示，2024年出現(xiàn)了緩慢而穩(wěn)定的離職潮。大約30名AI安全方面的員工中，現(xiàn)在只剩下16人左右。

「（離職潮）并不是一個(gè)協(xié)調(diào)一致的事情，我認(rèn)為只是大家在個(gè)體層面上放棄。」

這些離職背后的意義可能不止于科技公司中常見(jiàn)的跳槽。這可能說(shuō)明，OpenAI對(duì)技術(shù)風(fēng)險(xiǎn)的謹(jǐn)慎程度逐漸滑坡，以及奧特曼主導(dǎo)的盈利動(dòng)機(jī)可能導(dǎo)致危險(xiǎn)行為。

根據(jù)The Information之前的披露，OpenAI尚未實(shí)現(xiàn)收支平衡，2024年度的凈虧損可能高達(dá)50億美元。因此，奧特曼強(qiáng)烈的盈利動(dòng)機(jī)也是事出有因。

紐約時(shí)報(bào)在今年6月的報(bào)道中也提到，Kokotajlo認(rèn)為科技巨頭們開(kāi)發(fā)AGI的競(jìng)賽是魯莽的。

他擔(dān)心，「OpenAI會(huì)不顧一切地向前推進(jìn)，并合理化我們的行動(dòng)」，但「世界還沒(méi)有準(zhǔn)備好，我們也沒(méi)有準(zhǔn)備好」。

OpenAI是從什么時(shí)候開(kāi)始變化的？在Kokotajlo看來(lái)，事情還要追溯到去年11月的那場(chǎng)「宮斗」。

作為CEO的奧特曼被解雇后又迅速?gòu)?fù)職；隨后，董事會(huì)中專(zhuān)注于AGI安全的三名成員被撤換。

「那件事算是塵埃落定。之后就沒(méi)有回頭路了。」

Kokotajlo還補(bǔ)充說(shuō)，雖然他無(wú)法接觸到幕后發(fā)生的事情，但感覺(jué)自那時(shí)起，奧特曼和最近請(qǐng)長(zhǎng)假休息的總裁Greg Brockman一直在「鞏固權(quán)力」。

「那些主要關(guān)注AGI安全和準(zhǔn)備工作的人正在被日益邊緣化……從某種意義上說(shuō)，這背叛了我們?cè)?022年制定的計(jì)劃?！?/span>

盡管如此，Kokotajlo并不后悔最初加入OpenAI，只是后悔自己離開(kāi)得太遲：「我在那里學(xué)到了很多有用的東西，我覺(jué)得自己可能產(chǎn)生了積極的影響?！?/span>

目前，Kokotajlo還有朋友留在OpenAI繼續(xù)從事AGI安全相關(guān)的工作。

但對(duì)于那些留在公司的人，Kokotajlo警告說(shuō)，在科技巨頭競(jìng)相開(kāi)發(fā)AGI的過(guò)程中，要防止「群體思維」，即所謂的「合理」觀點(diǎn)是由大多數(shù)人的觀點(diǎn)和公司高層制定的激勵(lì)措施所決定的。

正因如此，大多數(shù)科技公司會(huì)認(rèn)為——他們贏得AGI競(jìng)賽會(huì)造福人類(lèi)。這看似荒謬，但正是激勵(lì)措施所導(dǎo)出的結(jié)果。

OpenAI正在招人調(diào)查內(nèi)部員工

就在「離職潮」的進(jìn)行時(shí)中，Business Insider又爆出了一則猛料——OpenAI開(kāi)始監(jiān)控調(diào)查內(nèi)部員工，以應(yīng)對(duì)「內(nèi)部的安全威脅」。

他們最近發(fā)布了一則招聘信息，尋找一名技術(shù)方面的內(nèi)部風(fēng)險(xiǎn)調(diào)查員，以「強(qiáng)化組織對(duì)內(nèi)部安全威脅的防御」。

招聘信息稱(chēng)，工作職責(zé)包括分析異?；顒?dòng)、檢測(cè)和緩解內(nèi)部威脅，并與人力資源和法律部門(mén)合作「調(diào)查可疑活動(dòng)」。

OpenAI如今正處于AI安全的風(fēng)口浪尖，內(nèi)部員工和立法者都紛紛表示擔(dān)憂(yōu)，質(zhì)疑公司是否采取足夠措施確保其技術(shù)不會(huì)被用于造成傷害。

與此同時(shí)，OpenAI表示，已發(fā)現(xiàn)來(lái)自某些國(guó)家的關(guān)聯(lián)行為者試圖利用自己的AI模型進(jìn)行惡意行為。OpenAI稱(chēng)已中斷這些行動(dòng)并終止了相關(guān)方的賬戶(hù)。

根據(jù)《紐約時(shí)報(bào)》2023年的報(bào)道，曾經(jīng)有黑客入侵OpenAI內(nèi)部的消息系統(tǒng)，并竊取關(guān)于AI技術(shù)設(shè)計(jì)的機(jī)密信息。公司高管在去年4月的全體會(huì)議上向員工透露了這件事。

除了黑客組織外，這則招聘信息似乎表明，OpenAI也擔(dān)心來(lái)自?xún)?nèi)部員工的威脅，盡管尚不清楚這到底是哪種形式的威脅。

一種可能性是，OpenAI只是想保護(hù)與技術(shù)有關(guān)的商業(yè)機(jī)密。

招聘信息顯示，內(nèi)部風(fēng)險(xiǎn)調(diào)查員是OpenAI向白宮做出的「AI安全自愿承諾」的一部分，即投資于「內(nèi)部威脅防護(hù)措施，以保護(hù)專(zhuān)有和未發(fā)布的模型權(quán)重?！?/span>

在去年6月的一封公開(kāi)信中，現(xiàn)任和前任OpenAI員工表示，他們感到在表達(dá)對(duì)AI安全的擔(dān)憂(yōu)時(shí)受到了阻礙。信中呼吁 OpenAI保證公眾對(duì)其產(chǎn)品危險(xiǎn)的「警告權(quán)」。

尚不清楚風(fēng)險(xiǎn)調(diào)查員負(fù)責(zé)實(shí)施的「數(shù)據(jù)丟失防護(hù)控制」是否涵蓋這種類(lèi)型的員工告密行為。