OpenAI超級對齊團(tuán)隊(duì)負(fù)責(zé)人Jan Leike，在前不久憤而宣布辭職后，剛剛公布了自己的新去向——入職Anthropic。

Anthropic，儼然已經(jīng)成為OpenAI離職人員的「避難所」，OpenAI價(jià)值觀對立面的大本營。

Jan Leike開心表示：自己非常高興能加入新團(tuán)隊(duì)，繼續(xù)執(zhí)行超級對齊任務(wù)。

在Anthropic的新團(tuán)隊(duì)，自己會致力于可擴(kuò)展的監(jiān)督、弱到強(qiáng)的泛化和自動(dòng)對齊研究。

圖片

我很高興加入AnthropicAI，繼續(xù)超級對齊的使命！我的新團(tuán)隊(duì)將致力于可擴(kuò)展監(jiān)督（scalable oversight）、弱到強(qiáng)的泛化（weak-to-strong generalization）和自動(dòng)對齊研究（automated alignment research）。如果你有興趣加入，請私信我。

當(dāng)初，Anthropic就是由OpenAI的「叛逃」員工創(chuàng)立的。

在2021年，Dario Amodei因?yàn)樵诎踩^念上與OpenAI嚴(yán)重不合，而且極度不滿OpenAI日益增長的對于商業(yè)化的關(guān)注，出走后創(chuàng)建了老東家的對家。

并且，Amodei還一并帶走了OpenAI的政策負(fù)責(zé)人Jack Clark。

畢竟，Anthropic一直將自己定位為比OpenAI更注重安全的公司——

不僅會把更多資源傾斜給了模型安全，而且對齊做得也要好得多。

發(fā)布至今，Claude 3已經(jīng)獲得了業(yè)內(nèi)人士和用戶的齊聲稱贊，在使用量上成為了ChatGPT的最大競品之一，指令遵循的能力也比GPT-4要強(qiáng)。

在最新的LMSYS排行總榜上，Claude 3 Opus排在第六名，與GPT-4-Turbo的得分非常接近，而且獲得的投票數(shù)非常高，僅次于開源的Llama 3。

圖片

Anthropic成立全新團(tuán)隊(duì)，迎接Jan Leike

并且，Leike還發(fā)出英雄令，呼吁大家一起加入自己的對齊團(tuán)隊(duì)——

如果你對大模型的安全想做一番貢獻(xiàn)，如果你也對OpenAI的理念感到無法認(rèn)同，就趕快到這里來吧！

現(xiàn)在，Leike的團(tuán)隊(duì)已經(jīng)在緊鑼密鼓地組建中。

在Anthropic，專門有一幫從事可擴(kuò)展監(jiān)督研究的研究者，他們正在研發(fā)的技術(shù)，目的就是以可預(yù)測和理想的方式控制大規(guī)模AI。

據(jù)悉，這些研究者將向Leike匯報(bào)工作，而Leike將直接向Anthropic的首席科學(xué)官Jared Kaplan報(bào)告。

聽起來，OpenAI最近解散的超級對齊團(tuán)隊(duì)，這是被齊齊整整地搬到OpenAI了？

此前，Leike的超級對齊團(tuán)隊(duì)本來立下了雄心勃勃的目標(biāo)——在四年內(nèi)解決控制超級AI的核心技術(shù)挑戰(zhàn)。

然而前不久的一場宮斗才讓我們知道，超級對齊團(tuán)隊(duì)在OpenAI著實(shí)受了不小的委屈。

據(jù)團(tuán)隊(duì)內(nèi)的一名成員透露，他們得到了公司承諾可以獲得20%的算力，但要求訪問這些計(jì)算資源時(shí)卻經(jīng)常被拒絕。

這種說法也可以從Jan Leike的推文中得到印證。

宣布辭職當(dāng)天，他發(fā)布了多條推文，暗示了超級對齊團(tuán)隊(duì)的工作在OpenAI內(nèi)部并沒有得到應(yīng)有的重視，因此和公司領(lǐng)導(dǎo)層發(fā)生了無法調(diào)和的沖突。

圖片

當(dāng)初加入是因?yàn)槲艺J(rèn)為OpenAI將是世界上進(jìn)行這項(xiàng)研究的最佳場所。

然而，相當(dāng)長一段時(shí)間以來，關(guān)于公司核心優(yōu)先事項(xiàng)，我一直與OpenAI領(lǐng)導(dǎo)層的觀點(diǎn)存在分歧，最終達(dá)到了臨界點(diǎn)。

圖片

我認(rèn)為我們應(yīng)該花更多的精力為下一代模型做好準(zhǔn)備，涉及保障、監(jiān)控、準(zhǔn)備、安全、對抗魯棒性、（超級）對其、保密性、社會影響和其他相關(guān)議題。

這些問題很難解決，而且我擔(dān)心我們還沒有走上正確的軌道。

圖片

在過去的幾個(gè)月里，我的團(tuán)隊(duì)一直在逆風(fēng)航行。有時(shí)我們在算力方面遇到困難，完成這項(xiàng)重要的研究變得越來越困難。

一位匿名OpenAI員工將這個(gè)過程形容為「對公司和奧特曼本人的信任一點(diǎn)一點(diǎn)崩潰，就像多米諾骨牌一張一張倒下」。

總之，事情的結(jié)局就是，Ilya和Leike先后宣布離開OpenAI，這場「分手」怎么看都不像很愉快。

Ilya的下一步是什么？

辭職不久的Jan Leike已經(jīng)定下了去處，但GPT-4o發(fā)布后最先出走的Ilya Sutskever目前還沒有消息。

作為OpenAI的聯(lián)合創(chuàng)始人、AI圈的頂流科學(xué)家，Ilya的辭職引發(fā)了紐約時(shí)報(bào)、CNN、時(shí)代雜志等多家媒體的跟蹤報(bào)道。

在當(dāng)初宣布辭職消息的推文中，Ilya透露自己找到了下一步心儀的項(xiàng)目，他形容為「對我個(gè)人非常有意義」，并將在適當(dāng)?shù)臅r(shí)候分享。

圖片

外媒The Information，最近也撰文一篇，對Ilya的去處展開了一番大猜測。

圖片

記者猜道，Ilya或許會加入OpenAI的直接競爭對手公司，比如Anthropic，或者馬斯克的xAI。

當(dāng)然，他也有可能會像Dario Amodei一樣創(chuàng)辦自己的公司，直接跟前雇主競爭。

無論是哪種選擇，他跟Sam Altman的關(guān)系，恐怕都會加劇緊張。

如果Ilya選擇創(chuàng)辦自己的公司，在吸引投資方面應(yīng)該不會有任何困難。

當(dāng)然，這其中也有一些細(xì)節(jié)需要厘清。

比如曾向OpenAI投入巨資、讓OpenAI過快發(fā)展AGI、導(dǎo)致Ilya擔(dān)憂的那些硅谷AI投資者，Ilya是否愿意向他們籌集資金呢？

風(fēng)投中一向有避免投資競爭對手的規(guī)矩，這些風(fēng)投家是否愿意打破規(guī)則呢？

其中，紅杉資本、a16z、Thrive Capital、Khosla Ventures和Founders Fund等許多公司都是OpenAI的投資者。

而Thrive和Khosla，與OpenAI和Altman關(guān)系尤其密切。因此，他們不太可能會向Ilya提供資金支持。

而紅杉資本和a16z的態(tài)度就不確定了。雖然他們希望與Altman保持良好關(guān)系，但同時(shí)也表現(xiàn)出了和OpenAI競品合作的意愿。

比如上周末，馬斯克xAI官宣了一輪60億美元的融資，紅杉和a16z就都有份參投。

雖然許多創(chuàng)始人很不喜歡自己的投資者與競爭對手分享敏感信息，但非常多的投資者認(rèn)為，雞蛋不能放在一個(gè)籃子里。

在如今的生成式AI浪潮下，最終勝出的玩家如今尚不明朗，在多個(gè)LLM上下注，絕不不失為一種明智的選擇。

而如今萬眾矚目的Ilya，無疑就是通向AGI競賽中的一匹黑馬。

他的最大賣點(diǎn)，就是他的模型可以防止AI可能引發(fā)的災(zāi)難。

對于某些投資者來說，這是個(gè)無法拒絕的誘惑。

參考資料：

https://www.theinformation.com/articles/whats-next-for-openais-ilya-sutskever

https://x.com/janleike/status/1795497960509448617?