OpenAI的「員工叛逃」還沒(méi)有結(jié)束。

近日，OpenAI又有一位6年元老、研究主管Miles Brundage發(fā)表長(zhǎng)文官宣離職，并詳細(xì)解釋了自己為何「出走」。

作為一家年輕的AI獨(dú)角獸，成立于2015年的OpenAI如今剛剛9歲，因此在公司待了6年之久的Brundage足以被稱為「元老」，見證了OpenAI如何一路起伏、篳路藍(lán)縷地走到今天。

在博文中，Brundage也在開頭強(qiáng)調(diào)：為OpenAI的高管和董事會(huì)提供建議，為AGI的到來(lái)做準(zhǔn)備，這實(shí)際上是他夢(mèng)想中的工作；甚至就在2015年OpenAI剛成立時(shí)，Brundage興奮得一夜不睡，寫下一篇博文強(qiáng)調(diào)這個(gè)組織的重要性。

原文地址：https://www.milesbrundage.com/blog-posts/archives/12-2015

因此，離開OpenAI對(duì)他來(lái)說(shuō)并不是一個(gè)容易的決定。但是為了有更多時(shí)間研究自己認(rèn)為重要的課題，更獨(dú)立、自由地發(fā)表觀點(diǎn)和作品，Brundage決定轉(zhuǎn)而加入（甚至自己創(chuàng)辦）非營(yíng)利組織，將重點(diǎn)放在AI政策研究和倡導(dǎo)上。

Miles Brundage本科畢業(yè)于喬治華盛頓大學(xué)，本科期間擔(dān)任過(guò)美國(guó)能源部的特別助理，之后前往亞利桑那州立大學(xué)攻讀博士，研究方向?yàn)榭萍嫉娜祟惡蜕鐣?huì)維度，博士后期間曾在牛津大學(xué)擔(dān)任AI政策研究員。

2018年，Miles Brundage加入了剛剛成立3年的OpenAI擔(dān)任政策方面的研究科學(xué)家，之后又在2021年升任研究主管，目前是AGI準(zhǔn)備工作的高級(jí)顧問(wèn)。

為何離開OpenAI

總體來(lái)看，Brundage的離職是希望從行業(yè)外部而非內(nèi)部影響AI的發(fā)展，這與今年Geoffrey Hinton離開谷歌的原因如出一轍，具體有如下幾個(gè)考慮因素：

機(jī)會(huì)成本

本職工作已經(jīng)占去了幾乎全部的時(shí)間，因此Brandage感覺(jué)很難從事自己認(rèn)為重要的研究課題。甚至在某些情況下，身處行業(yè)之外時(shí)，從事這些研究能更有影響力和說(shuō)服力。

而且，OpenAI目前已經(jīng)如此引人注目，成果發(fā)布前就需要從許多不同的角度進(jìn)行審查，以至于無(wú)法發(fā)表某些主題的文章。

但值得注意的是，Brundage并不是完全反對(duì)OpenAI在出版物審查方面的立場(chǎng)，他認(rèn)為行業(yè)中存在出版限制是合理的，他本人也幫助編寫了OpenAI政策的幾個(gè)迭代版本，但公司目前施加的限制確實(shí)已經(jīng)太多了。

減少偏見

如果選擇成為某個(gè)組織的一部分，并且每天都和那里的同事們密切合作，你就很難對(duì)這個(gè)組織保持公正。

Brundage表示，他在分析中盡力追求公正，但仍然會(huì)有偏見的存在。而且在OpenAI工作這件事本身，就會(huì)影響到外界如何看待自己的觀點(diǎn)和研究?？紤]到財(cái)務(wù)利益上的沖突，人們有理由質(zhì)疑來(lái)自行業(yè)的政策想法。

在有關(guān)政策的對(duì)話中，有更多獨(dú)立于行業(yè)的聲音至關(guān)重要，而Brundage計(jì)劃成為其中之一。

在OpenAI，能做的都做了

從入職至今，Brundage認(rèn)為自己作為「AGI準(zhǔn)備狀態(tài)高級(jí)顧問(wèn)」的工作已經(jīng)完成了大部分。

「AGI準(zhǔn)備狀態(tài)」（AGI Readiness）主要分為兩種：一是OpenAI要準(zhǔn)備好管理日益強(qiáng)大的AI能力，二是整個(gè)世界也要準(zhǔn)備好有效管理AI能力，包括通過(guò)監(jiān)管OpenAI和其他公司。

對(duì)于前者，Brundage已經(jīng)向他的負(fù)責(zé)對(duì)象——OpenAI的高管和董事會(huì)——詳細(xì)介紹了他認(rèn)為OpenAI需要做什么，以及差距在哪里；而對(duì)于后者，他認(rèn)為自己在OpenAI外部能夠更加有效。

雖然失去了一些在OpenAI發(fā)揮影響力的機(jī)會(huì)，但Brandage希望在更大程度上影響整個(gè)生態(tài)系統(tǒng)。

AGI，我們都沒(méi)準(zhǔn)備好

Brundage認(rèn)為，對(duì)于即將到來(lái)的AGI，OpenAI或任何其他的前沿實(shí)驗(yàn)室都還沒(méi)有準(zhǔn)備好，這個(gè)世界也還沒(méi)有準(zhǔn)備好。

原文地址：https://medium.com/@miles_24227/scoring-humanitys-progress-on-ai-governance-5a5131cb84c7

但需要明確的是，他不認(rèn)為這種「沒(méi)準(zhǔn)備好」的狀態(tài)與OpenAI領(lǐng)導(dǎo)層的聲明相沖突；同時(shí)他也暗示，雖然距離理想的標(biāo)準(zhǔn)存在相當(dāng)?shù)牟罹啵俏覀內(nèi)钥梢栽谙嚓P(guān)時(shí)間點(diǎn)步入正軌，為此Brundage將在余下的職業(yè)生涯中致力于人工智能政策。

科技公司和這個(gè)世界是否走上了AGI準(zhǔn)備的正軌，是一個(gè)復(fù)雜的函數(shù)，取決于安全和保障方面的文化如何隨著時(shí)間的推移而發(fā)揮作用、監(jiān)管如何影響組織的激勵(lì)措施、各種有關(guān)AI能力和安全方面困難的事實(shí)，以及各種其他因素。

此處，Brundage特別表?yè)P(yáng)了OpenAI最近新增加董事會(huì)成員的決定，新吸納的成員包括前陸軍上將Paul M. Nakasone和CMU機(jī)器學(xué)習(xí)系主任Zico Kolter，這都是朝著正確方向邁出的一步。

順便一提，Brundage表示，「AGI」這個(gè)術(shù)語(yǔ)承載了太多意義，它現(xiàn)在更多地暗示著一種二元思維方式，而不是實(shí)際意義，因此有必要澄清一下，此處的「為AGI做好準(zhǔn)備」，指「準(zhǔn)備好安全、可靠且有益地開發(fā)、部署和管理能力日益強(qiáng)大的AI系統(tǒng)」。

最近，他和團(tuán)隊(duì)正在充實(shí)OpenAI提出的AGI五級(jí)框架，不久后或許會(huì)發(fā)表一篇正式的論文。這個(gè)框架曾被彭博社披露，引來(lái)了不少爭(zhēng)議。

雖然Brundage對(duì)AI政策抱持著謹(jǐn)慎和批判的態(tài)度，但對(duì)于AGI前景的預(yù)測(cè)，他的確稱得上是一個(gè)「技術(shù)樂(lè)觀主義者」，觀點(diǎn)與硅谷的風(fēng)投大佬Khosla非常一致。

他認(rèn)為，在未來(lái)短短的幾年內(nèi)，人工智能很可能能夠?qū)崿F(xiàn)足夠的經(jīng)濟(jì)增長(zhǎng)。假設(shè)我們能制定出適當(dāng)?shù)恼邅?lái)確保公平分配，人類就能實(shí)現(xiàn)高生活水平的提前退休。

但在此之前的短期時(shí)間中，AI很可能會(huì)搶走一些迫切需要工作的人的機(jī)會(huì)，尤其是那些可以遠(yuǎn)程完成的、容易自動(dòng)化的任務(wù)。

但事實(shí)是，人類最終應(yīng)該擺脫為謀生而工作的義務(wù)，這也為構(gòu)建AI和AGI提供了最強(qiáng)有力的論據(jù)之一。從長(zhǎng)遠(yuǎn)來(lái)看，有些人可能會(huì)繼續(xù)工作，但不會(huì)像現(xiàn)在這樣有如此迫切的激勵(lì)因素。

一個(gè)「后工作世界」（post-work world）的風(fēng)險(xiǎn)之一就是文明的停滯（比如電影「機(jī)器人總動(dòng)員」所展現(xiàn)的），但我們目前還沒(méi)有在政治、文化或其他方面為此做好準(zhǔn)備，因此需要更多的思考、辯論和政策討論。

2008年電影「機(jī)器人總動(dòng)員」（WALL-E），由皮克斯工作室制作、迪士尼出品

很多人都描繪過(guò)「AI造福人類」的前景，這些描述似乎是出于好意而非陰謀論。但目前存在效率低下的問(wèn)題，很大程度上是由于民間社會(huì)和政府的技術(shù)專業(yè)知識(shí)不足，以及缺乏良好的規(guī)范和理論基礎(chǔ)。

例如，對(duì)于出現(xiàn)的問(wèn)題，我們是否應(yīng)該期望市場(chǎng)機(jī)制給出解決方法？什么時(shí)候應(yīng)該構(gòu)建定制化、應(yīng)用范圍狹窄的AI解決方案，什么時(shí)候應(yīng)該提高通用AI系統(tǒng)的能力來(lái)解決？在各種情況中，正確的方法是繼續(xù)補(bǔ)足現(xiàn)有的技術(shù)，還是創(chuàng)造全新的技術(shù)，等等。

要不要在OpenAI工作

「要不要在OpenAI工作」，這個(gè)問(wèn)題聽起來(lái)有點(diǎn)凡爾賽，可以類比下「斯坦福和MIT該選哪個(gè)」。

但如果屏幕前的你拿到了offer正在糾結(jié)該去OpenAI還是谷歌DeepMind，Miles Brundage的經(jīng)驗(yàn)或許能幫助你解決這個(gè)甜蜜的煩惱。

在OpenAI工作是大多數(shù)人希望能做到的最有影響力的事情之一，所以在大多數(shù)情況下，答案是肯定的。

考慮到每個(gè)人擁有的技能和機(jī)會(huì)不同，很難做出籠統(tǒng)的陳述，但有一點(diǎn)是確定的——OpenAI 的每一個(gè)角色，以及每個(gè)人對(duì)待工作的謹(jǐn)慎程度都很重要，對(duì)OpenAI組織文化的每一項(xiàng)貢獻(xiàn)也很重要。

在通往更強(qiáng)大AI的道路上，每一次產(chǎn)品的部署都會(huì)發(fā)揮重要作用，比如影響行業(yè)規(guī)范，以及人們認(rèn)知和監(jiān)管AI的方式。

在OpenAI工作，無(wú)論是AI的安全與保障，抑或是AI能力和產(chǎn)品方面的研究，發(fā)揮個(gè)人的能動(dòng)作用來(lái)推動(dòng)AI安全都是非常有影響力的。

下面這段話，似乎是Brundage的一段隔空喊話，寫給他仍在OpenAI工作的前同事們：

「任何在OpenAI工作的人都應(yīng)該認(rèn)真對(duì)待這樣一個(gè)事實(shí)：他們的行為和言論有助于組織文化，并且當(dāng)這個(gè)組織開始掌管極其先進(jìn)的能力時(shí)，可能會(huì)創(chuàng)造正面或負(fù)面的路徑依賴。文化對(duì)任何組織都很重要，但在前沿AI的背景下尤其重要，因?yàn)榇蟛糠譀Q策不取決于監(jiān)管法規(guī)，而是來(lái)自公司中的人。」

正如Brundage在前文所表示的，他認(rèn)為某些政策研究最好在外部進(jìn)行，AI的安全和保障工作有時(shí)也是如此。盡管OpenAI內(nèi)部確實(shí)需要一些人來(lái)推動(dòng)公司采取良好的政策立場(chǎng)，但存在獨(dú)立的安全研究也很有價(jià)值。