就在剛剛，OpenAI治理研究員Richard Ngo宣布離職。

在OpenAI從事人工智能預測和治理工作三年后，我剛剛在Slack上發(fā)布了這條離職的消息。

內(nèi)容并沒有什么特別驚訝的地方，但你應該比大多數(shù)類似的消息更字面地理解它——我盡量只說了我直白相信的事情。

Ngo表示，他對過去一年里發(fā)生的事件有很多未解的問題，這使得他更難相信自己的工作能在長期內(nèi)造福世界。他逐漸意識到，想要實現(xiàn)OpenAI的使命——讓AGI良好發(fā)展，是多么困難。

Ngo自2021年起加入OpenAI，之前曾在Google DeepMind擔任AI安全研究員。

近來，OpenAI中專注于AI安全的員工接連出走，Ngo是最新的一位。

OpenAI研究科學家、德?lián)渲窷oam Brown送上了祝福。

前OpenAI員工（今年8月離職）回憶道，自己是通過Ngo「AGI安全基礎」課程才接觸到AI安全的，并祝他未來一切順利。

離職信全文

大家好，我決定離開OpenAI（生效日期為星期五）。

在過去的三年里，我一直在Miles的領導下工作，因此在他離開之后，很自然，我似乎也該離開了。沒有一個單一的主要因素促使我做出這個決定。

對于過去一年發(fā)生的事情，我依然有很多未解的問題，這讓我更難以相信我的工作能長期為世界帶來正面影響。我也一直感覺自己更傾向于公開地進行更多的迭代，并與更多合作者一起探討多種研究方向。

接下來的幾個月里，我打算主要進行獨立研究，內(nèi)容包括AI治理和理論性AI對齊問題的結(jié)合，然后再看看未來的方向如何。

盡管經(jīng)歷了許多波折，我真的很享受在OpenAI的時光。我有機會參與許多令人著迷的議題，包括預測、威脅建模、模型規(guī)格和AI治理，并與一群不斷創(chuàng)造歷史的、卓越的人一起工作。

當我面對那些新加入公司的成員時，我很難向他們傳遞OpenAI最初的雄心壯志：設定了讓AGI良好發(fā)展的使命。

雖然「發(fā)展AGI」這一部分的任務似乎已在正確軌道上，我（和其他人）卻逐漸意識到，想要對「良好發(fā)展」這一部分的任務作出積極貢獻，遠比預期的要困難得多，特別是需要預防它對人類生存的威脅。

部分是因為預測未來本身就很困難，同時由于AGI前景的巨大規(guī)模，容易放大人們的偏見、合理化和部落主義傾向（包括我自己）。

PS：

合理化（rationalization）是心理學和行為經(jīng)濟學中的一個概念，指的是人們在面對自己無法接受的行為、想法或決定時，通過給自己提供看似合理或合情的解釋來減輕內(nèi)心的不適感或認知失調(diào)。簡單來說，合理化是一種防御機制，人們會為自己的不理性行為或決策找到合適的理由，以便自己能夠接受或不感到內(nèi)疚。這種心理機制幫助人們減輕認知沖突，但也可能導致不誠實或不理性的行為得以持續(xù)。

部落主義（tribalism）是一種社會現(xiàn)象，指的是人們對某個特定群體的強烈認同感和忠誠感，并因此對其他群體或文化產(chǎn)生排斥、敵視或競爭的態(tài)度。部落主義不僅限于傳統(tǒng)的部落或民族，還可以表現(xiàn)在各種現(xiàn)代社會群體中，如政治派別、宗教信仰、公司文化、體育隊伍支持者等。

無論好壞，我預計風險將會繼續(xù)加大，因此我希望你們都能以正直、深思熟慮的態(tài)度，以及清晰的判斷，來應對你們（以及OpenAI）在這些風險中的角色，明確何時以及如何做出的決定才能真正服務于我們的使命。

長期深耕AI安全

繼許多專注于AI安全的員工離職OpenAI后，Richard Ngo的離職特別具有象征意義。

要知道，他是AI安全社區(qū)中一個有影響力的聲音，自2018年以來一直致力于AI安全研究——而ChatGPT是在2022年底才開始風靡全球。

他是論文《The Alignment Problem from a Deep Learning Perspective》的共同作者，該論文已在ICLR上發(fā)表。

論文地址：https://arxiv.org/abs/2209.00626

他還收集了很多網(wǎng)絡上的學習資料，編成了一系列「AI Alignment」的課程。

課程地址：https://course.aisafetyfundamentals.com/alignment

Ngo還是一個非常具有人文氣息的科技從業(yè)者。這也不難解釋他對OpenAI初心的堅守，以及對AI安全未來的擔憂。

他在劍橋大學獲得了機器學習哲學的哲學博士學位（2020–2021），并在同校獲得了計算機科學的哲學碩士學位（2017–2018）。此外，他還在牛津大學獲得了計算機科學與哲學的文學學士學位（2014–2017）。

他還在博客里撰寫「AI Autofiction」（AI自傳小說），在其中描述了從未來AI的角度來看世界可能是什么樣子。

博客地址：https://www.narrativeark.xyz/t/ai-autofiction

AI安全員工出走潮

近來，許多專注于AI安全的員工都先后離職OpenAI。

OpenAI七年元老、安全副總裁Lilian Weng，于上周宣布離職。

OpenAI六年元老、研究主管Miles Brundage，同時也是Ngo的上司，于上個月離職。

再往前追溯，今年早些時候，OpenAI的超級對齊共同負責人Ilya Sutskever和Jan Leike也離開了公司。

Leike曾表示，「OpenAI的安全文化和流程已被耀眼的產(chǎn)品所取代」。

許多其他專注于安全的員工，包括William Saunders、Leopold Aschenbrenner、Pavel Izmailov、Collin Burns、Carroll Wainwright、Ryan Lowe、Daniel Kokotajlo和Cullen O’Keefe等，也都相繼離職。