過去6個月，ChatGPT的爆火，徹底讓Meta坐不住了。

從2月開始開源大模型系列LLaMA的發(fā)布，到Llama 2升級、再到編碼模型Code Llama，Meta可謂是賭上所有去ALL IN AI。

在開源社區(qū)，Llama系列模型的免費(fèi)研究和商用，直接點(diǎn)燃了平替模型裂變的火種。

可是，Meta在風(fēng)光的同時，AI團(tuán)隊正面臨著離職潮。

The Information獨(dú)家報道，因內(nèi)部算力之爭，LLaMA和OPT項(xiàng)目的團(tuán)隊成員，大半已經(jīng)辭職。

圖片

甚至，Meta直接棄掉他們正研發(fā)能與PaLM匹敵的模型，將Meta AI的兩個實(shí)驗(yàn)室團(tuán)隊重組，以專注研發(fā)Llama 2。

Meta大部分研究人員的離職，恰恰暴露了，算力短缺是布局生成式AI的核心難題。

LLaMA論文14位作者，一半離職

在外界看來，科技巨頭擁有比大多數(shù)公司更多的計算資源。一些公司包括Meta在內(nèi)，在招聘AI研究人員時，一致強(qiáng)調(diào)自己是「GPU RICH」。

但事實(shí)上，自己心知肚明，Meta的計算資源供應(yīng)方面也存在限制。

由此，算力紛爭便在內(nèi)部團(tuán)隊開啟，讓許多人棄Meta而去。

具體來講，今年2月發(fā)布的初代LLaMA模型中的14位作者，已經(jīng)超過一半的人全部離職。

有的轉(zhuǎn)向AI初創(chuàng)公司，有的加入了科技巨頭。

圖片

論文地址：https://arxiv.org/pdf/2302.13971.pdf

離開Meta的研究科學(xué)家和工程師包括原LLaMA論文的作者之一Timothée Lacroix、Guillaume Lample和Marie-Anne Lachaux。

他們現(xiàn)在在法國初創(chuàng)公司Mistral AI工作，該公司由Lacroix和Lample于6月共同創(chuàng)辦。

圖片

還有其中的一位作者——Meta AI的研究總監(jiān)Armand Joulin已經(jīng)在5月離開了Meta，目前已加入蘋果。

圖片

Meta人工智能研究實(shí)驗(yàn)室「基礎(chǔ)AI研究」的負(fù)責(zé)人Joelle Pineau在接受采訪時表示：

留住和吸引優(yōu)秀人才可能是我花費(fèi)時間最多的地方，因?yàn)闆]有優(yōu)秀的研究人員，我什么都做不了。

Meta正在面臨的離職潮，恰恰凸顯了大型科技公司在應(yīng)對對人工智能人才需求激增的挑戰(zhàn)。

大模型浪潮當(dāng)前，各大科技公司唯恐落后，急于將AI接入自家產(chǎn)品和服務(wù)。

Riviera Partners的高管Kyle Langworthy稱，「求賢若渴」的公司們，都排著隊想挖角Meta的人工智能研究人員。

2月份的時候，繼LLaMA的發(fā)布點(diǎn)燃社區(qū)熱情后，小扎曾連夜對外官宣了公司的大動作：成立頂級產(chǎn)品團(tuán)隊，專注AIGC。

簡言之，小扎將Meta未來的核心重點(diǎn)放在，生成式人工智能，以試圖追趕谷歌、微軟、OpenAI等競爭對手。

而曾經(jīng)在2021年All In的「元宇宙」，也被放在了次要的位置。

圖片

緊接著，Meta時不時地發(fā)布并開源了在人工智能領(lǐng)域的最新研究，包括通用視覺模型SAM「分割一切」、多模態(tài)AI模型ImageBind、Llama2、Code Llama等等。

這些研究一經(jīng)發(fā)布，都在開源社區(qū)引起了很大的反響，得到一致好評。

而現(xiàn)在，隨著有經(jīng)驗(yàn)的研究人員流失，Meta在追趕競爭對手的路上多了一重阻礙。

那么，具體是怎么回事，讓這些高級研究人員憤而離去？

LLaMA和OPT的算力之爭

2013年，Yann LeCun入職Meta后，擔(dān)任AI研究主管時成立了人工智能研究實(shí)驗(yàn)室Meta AI（原FAIR）。

除了在加利福尼亞州門洛帕克和紐約設(shè)立主要實(shí)驗(yàn)室（LeCun的所在地），Meta AI還在蒙特利爾（Pineau的所在地）、巴黎、倫敦和西雅圖設(shè)有分部。

Meta AI實(shí)驗(yàn)室的成立，主要致力于AI的研究，將人工智能應(yīng)用在翻譯、MRI掃描等各種場景。

但是，ChatGPT橫空出世之后，公司的高管們對AI更深層次融入產(chǎn)品的要求，變得更加急切。

其實(shí)，在ChatGPT發(fā)布之前，Meta也一直在開發(fā)自己的LLM。

2022年5月，Meta AI的一個北美團(tuán)隊對外公布，并開源了大模型OPT-175B。

Meta聲稱，這個模型的能耗要比GPT-3低，盡管這兩個模型在訓(xùn)練期間學(xué)習(xí)的內(nèi)容，在數(shù)量上是一樣的。

幾個月后，該團(tuán)隊開始著手開發(fā)第二個更大的模型，旨在與谷歌的PaLM競爭。

與此同時，另一個位于巴黎的Meta AI團(tuán)隊，已經(jīng)開始著手開發(fā)一個單獨(dú)的大型語言模型，也就是LLaMA。

知情人士表示，這個模型比OPT要小。研究團(tuán)隊認(rèn)為較小的模型在推理時會高效。

隨之問題就來了，分別來自北美和巴黎兩個實(shí)驗(yàn)室的團(tuán)隊，開啟了獲取算力資源之爭，進(jìn)而加劇了內(nèi)部團(tuán)隊的紛爭。

尤其是，LLaMA團(tuán)隊感覺自己被忽視了，自己的模型小，但獲得的計算資源比北美的OPT團(tuán)隊少的多。

「基礎(chǔ)AI研究」的負(fù)責(zé)人Joelle Pineau表示，

關(guān)于在Meta如何分配計算資源的決策，是由來自業(yè)務(wù)不同部門的領(lǐng)導(dǎo)人組成的小組，大致每月做出一次。

最終分配多少，分配給誰，取決于組織優(yōu)先事項(xiàng)，以及項(xiàng)目距離發(fā)布還有多遠(yuǎn)來決定。

如果Meta AI的員工就分配發(fā)生爭議，就會提交到上級，也就是Pineau這一層去處理。

在采訪中，Pineau承認(rèn)在LLaMA和OPT團(tuán)隊之間在算力分配上有些緊張，并補(bǔ)充道，「我們試圖找到一條路，聽取每個人的發(fā)聲，即使無法去滿足每個人的需求?！?/p>

對某些研究人員來說，這感覺像是一場競賽。

Meta AI的一些高管也在質(zhì)疑，為什么兩個團(tuán)隊都做著相似的項(xiàng)目，但又互相競爭有限的資源。

2月巨變

兩個團(tuán)隊之間的緊張關(guān)系，到今年2月達(dá)到了高潮。

恰在這個月，為了追趕競爭對手，Meta AI首次將LLaMA作為開源模型發(fā)布，授權(quán)用于研究目的。

其實(shí)，在發(fā)布的前一周，Meta AI的聯(lián)合主管兼巴黎分部負(fù)責(zé)人Antoine Bordes就離開了Meta，而對外的離職原因是?作時間與加州?樣讓自己筋疲?盡。

現(xiàn)在，Bordes已經(jīng)加入了人工智能公司Helsing。

圖片

知情人士表示，他的離職進(jìn)一步，讓LLaMA團(tuán)隊與北美的高管隔離開來。另外，Pineau也承認(rèn)了Bordes的離職為團(tuán)隊「帶來了一些不確定性」。

這不僅僅是LLaMA團(tuán)隊研究士氣受挫的問題，與此同時，OPT團(tuán)隊在過去幾個月里，一直也在面臨人員流失的問題。

據(jù)稱，OPT團(tuán)隊正在研發(fā)的更大型的模型，直接被Meta放棄。也不難理解，OPT的人員流失，和這個決定有著直接的關(guān)系。

根據(jù)研究作者Linkedin個人資料，19位OPT論文的作者中，也有一半人已離職Meta。

圖片

論文地址：https://arxiv.org/pdf/2205.01068.pdf

「基礎(chǔ)AI研究」的負(fù)責(zé)人Pineau無奈地表示，「當(dāng)所有團(tuán)隊都想在這個時候升級模型，那時你要么選擇其中一個，要么就讓他們合作?！?/p>

團(tuán)隊重組，定位不清

在這一切發(fā)生的同時，Meta AI也被公司的頻繁地變動搞得焦頭爛額。

自從去年11月開始，小扎進(jìn)行了數(shù)次全公司范圍的裁員。其中，Meta AI也沒能幸免。

今年2月，Meta AI領(lǐng)導(dǎo)人決定將相互競爭LLaMA和OPT團(tuán)隊的一些成員聚集起來，正式成立「生成式AI」團(tuán)隊，（由前蘋果高管Ahmad Al-Dahle負(fù)責(zé)），同時也從Meta AI抽調(diào)了大量人員。

其實(shí)，我們在Llama 2論文中，可以看到不少LLaMA和OPT作者的身影。

比如OPT的團(tuán)隊中，Moya Chen、Todor Mihaylov、Punit Singh Koura加入「生成式AI」團(tuán)隊。

初代LLaMA團(tuán)隊中，Hugo Touvron、Thibaut Lavril、Xavier Martinet、Marie-Anne Lachaux、Naman Goyal、Aurelien Rodriguez加入「生成式AI」團(tuán)隊。

有趣的是，在Llama 2的致謝中，提到的4位最先發(fā)起這項(xiàng)研究的團(tuán)隊，其中三位已經(jīng)離職，目前僅有Edouard Grave還在。

圖片

盡管備受贊譽(yù)的開源模型LLaMA取得了不小的成功，但隨著Meta對人工智能研究態(tài)度的不斷變化，研究人員之間的緊張關(guān)系仍在醞釀。

傳統(tǒng)上來講，Meta AI擁有一種由研究人員主導(dǎo)的自下而上的文化，從而使團(tuán)隊能夠?qū)Ｗ⒂贏I領(lǐng)域，并取得突破性的進(jìn)展。

但隨著小扎越來越傾向于將AI融入Meta的應(yīng)用程序之中，Meta AI的關(guān)注點(diǎn)也隨之縮小——解散了那些不以產(chǎn)品為導(dǎo)向的研究，比如蛋白質(zhì)折疊。

圖片

與此同時，新的項(xiàng)目也在生成式AI團(tuán)隊和Meta AI之間「反復(fù)橫跳」。

比如，Meta在7月發(fā)布的Llama 2，以及在8月發(fā)布的專攻代碼生成的Code Llama，就是分別由兩個團(tuán)隊負(fù)責(zé)的。

圖片

圖片

對此，Pineau表示，「這個領(lǐng)域發(fā)展得實(shí)在是太快了，我們現(xiàn)在還在探索，哪個項(xiàng)目應(yīng)該由Meta AI來負(fù)責(zé)？哪個項(xiàng)目又該由生成式AI團(tuán)隊來負(fù)責(zé)？」

臺前，開源模型光鮮靚麗，而幕后，AI研究人員離職潮涌、算力紛爭、團(tuán)隊重組，為Meta傾力AI趕超對手帶來了許多不確定性因素。

參考資料：

https://www.theinformation.com/articles/inside-metas-ai-drama-internal-feuds-over-compute-power?rc=epv9gi