圖靈獎(jiǎng)大佬向97年小孩哥匯報(bào)?小扎1億年薪買新貴,老將痛訴熬夜撿GPU!
起猛了,看到LeCun給Alexandr Wang匯報(bào)了!
一個(gè)是圖靈三巨頭、多年學(xué)術(shù)泰斗,一個(gè)是靠著數(shù)據(jù)標(biāo)注成功晉身億萬(wàn)富翁的97年小孩哥,這個(gè)畫面,實(shí)在是過(guò)于魔幻了。
為了Wang,小扎砸下了足足143億美元,拿下整個(gè)Scale AI 49%股權(quán)??梢哉f(shuō),是真正的「為了一個(gè)人,買下一個(gè)公司」。
現(xiàn)在,Scale AI前CEO Alexandr Wang已經(jīng)飛上枝頭變鳳凰,搖身一變成為Meta的「首席AI官」,并將領(lǐng)導(dǎo)Meta的全新夢(mèng)之隊(duì)「超級(jí)智能實(shí)驗(yàn)室」。
小扎砸了上億挖來(lái)的OpenAI精兵強(qiáng)將,都將向他匯報(bào)。
甚至……包括LeCun?
想到這個(gè)可能性,每個(gè)人都倒抽一口涼氣。
就在昨天,Alexandr Wang正式發(fā)布X,表示自己非常激動(dòng)能成為Meta的首席AI官,同時(shí)轉(zhuǎn)發(fā)了那份華麗麗的11人名單。
HuggingFace聯(lián)創(chuàng)兼CEO Clement立刻祝賀道:由于Wang和Nat Friedman的加入,Meta在AI領(lǐng)域的影響力還將提高100倍。
而LeCun,也非常「識(shí)時(shí)務(wù)」地轉(zhuǎn)發(fā)了這條X。
是「人在屋檐下,不得不低頭」的禮節(jié)性逢場(chǎng)作戲,還是真心相信?抑或,這是一種「你品,你仔細(xì)品」的諷刺?
LeCun內(nèi)心深處的真實(shí)想法,我們不得而知。
至少,在昨天的風(fēng)口浪尖之上,他發(fā)了這樣一條耐人尋味的X:「是首席人工智能科學(xué)家,從2018年至今一直都是」。
Meta老員工暗示
小扎偏心過(guò)頭了
總之,最近小扎的種種操作,一方面讓不少研究者眨眼間實(shí)現(xiàn)了暴富神話,一方面也讓不少兢兢業(yè)業(yè)的Meta老員工傷透了心。
FAIR實(shí)驗(yàn)室的研究者Zeyuan Zhu表示,因?yàn)槭芟抻贕PU訪問(wèn)權(quán)限,自己的研究進(jìn)度比較緩慢,雖然已經(jīng)取得了非常亮眼的成果。
Zhu表示,這是LLM設(shè)計(jì)的伽利略時(shí)刻。
正如比薩斜塔實(shí)驗(yàn)引發(fā)了現(xiàn)代物理學(xué),他們?cè)诳煽氐暮铣深A(yù)訓(xùn)練環(huán)境中,揭示了LLM架構(gòu)的真正局限。
而這,很可能會(huì)成為將LLM研究的一個(gè)重大分水嶺。
具體來(lái)說(shuō),在現(xiàn)實(shí)世界中的預(yù)訓(xùn)練(規(guī)模達(dá)千億tokens)中,常常因?yàn)閿?shù)據(jù)噪聲太大,掩蓋了模型架構(gòu)之間的差異。
但在他構(gòu)建的可控合成數(shù)據(jù)環(huán)境中,推理的深度提升了2倍,高級(jí)能力發(fā)生了早期涌現(xiàn),甚至高質(zhì)量數(shù)據(jù)可以預(yù)測(cè)未來(lái)模型的設(shè)計(jì)路徑。
為此,他設(shè)計(jì)了5個(gè)合成預(yù)訓(xùn)練的任務(wù),確保能讓LLM實(shí)現(xiàn)真正的思維推理(也即系統(tǒng)1),而非僅僅是CoT思維鏈。
為此,研究者提出了Canon層,這是一種輕量級(jí)的橫向殘差結(jié)構(gòu)。它可無(wú)縫接入任何模型,卻讓推理能力顯著提升(推理深度提高2-4倍,廣度增加30%),而且開(kāi)銷極小,具有顛覆性的效果。
為了完成這項(xiàng)研究,Zhu熬夜了一整月,進(jìn)行了190萬(wàn)GPU小時(shí)的實(shí)驗(yàn),一度精疲力竭。
Zhu是清華基科班的本科生,隨后在MIT、普林斯頓求學(xué),后成為Meta FAIR Lab的研究者。
這項(xiàng)研究也引起了X上不少研究者的關(guān)注,但因?yàn)镚PU資源受限無(wú)法快速推進(jìn),實(shí)在可惜。
Zhu甚至透露說(shuō),為了將實(shí)驗(yàn)進(jìn)行到底,自己不得不在其他團(tuán)隊(duì)的集群中尋找閑置的GPU,甚至不斷更換GPU,而且為了不耽誤其他團(tuán)隊(duì)的進(jìn)度,自己的使用時(shí)間只能在夜晚和周末。
這件事被Reddit網(wǎng)友們發(fā)現(xiàn)后,他們紛紛表示太為FAIR的老員工難過(guò)了。
據(jù)說(shuō)FAIR實(shí)驗(yàn)室有30萬(wàn)塊GPU,究竟都分給誰(shuí)了呢?
冰火兩重天!
一邊上億年薪,一邊立刻裁員
最近,小扎為了挖走自己的心儀員工,開(kāi)價(jià)也是十分離譜。
據(jù)說(shuō),最頂尖的研究者,拿到了四年3億美元的薪酬包,光第一年的總薪酬就超過(guò)1億。
奧特曼甚至直言,他們「已經(jīng)從角落里的一群書呆子,變成了至少是科技行業(yè)最受矚目的人物」。
不少研究者,轉(zhuǎn)眼就獲得了NBA球星一般的待遇。
然而,Meta的一位高級(jí)工程師表示,自己在Meta的年薪卻僅為85萬(wàn)美元。
根據(jù)Levels.FYI統(tǒng)計(jì)的數(shù)據(jù),薪酬等級(jí)高于這位工程師的人(E7級(jí)別)平均年薪為154萬(wàn)美元
與此同時(shí),另外一些大科技公司的員工,待遇卻可謂是冰火兩重天。
Hyperbolic聯(lián)創(chuàng)Yuchen Jin表示,自己在舊金山一家披薩店吃晚餐時(shí),無(wú)意中聽(tīng)到一位大科技公司的工程師說(shuō)自己剛剛被解雇了。
就在五分鐘后,鄰桌的一個(gè)人拍了拍他的肩膀,表示自己也有同樣的經(jīng)歷,而且「我的經(jīng)理說(shuō)是AI搶了我的工作」。
一方面,Meta這類公司為某些員工提供著高達(dá)上億美元的薪酬,另一方面,曾經(jīng)的金字招牌CS專業(yè),如今卻在全美大學(xué)中失業(yè)率最高的專業(yè)中排名第七。
這,就是如今科技圈的怪現(xiàn)狀。
因?yàn)閷?shí)在太魔幻,甚至很多人在質(zhì)疑這件事的真實(shí)性
引用某位網(wǎng)友的話說(shuō)就是,「對(duì)平庸的懲罰從未如此嚴(yán)重,但對(duì)卓越的回報(bào)也從未如此之高」。
可以說(shuō),如今的AI圈,已經(jīng)有了職業(yè)體育的趨勢(shì)。比如網(wǎng)球能打進(jìn)全球排名前100,就能過(guò)上十分體面的生活,但絕大多數(shù)人卻還在為生計(jì)發(fā)愁,甚至只能去當(dāng)網(wǎng)球教練。
而且就在今天,微軟又曝出了新一輪裁員潮,將有9000人被裁,影響全球近4%的員工,至此,微軟今年將總共有18000人被裁。
總之,這個(gè)職業(yè)會(huì)繼續(xù)遵循帕累托法則。
能真正創(chuàng)造商業(yè)價(jià)值的頂級(jí)開(kāi)發(fā)者,薪酬還會(huì)越來(lái)越高。但差異性極小的勞動(dòng)者,很可能就會(huì)被AI優(yōu)化和替代。
總之,舊金山的大科技公司,永遠(yuǎn)不會(huì)承認(rèn)自己過(guò)度招聘了。如果真的去仔細(xì)調(diào)研,可能會(huì)發(fā)現(xiàn)這些高薪招來(lái)的人,干的卻是很容易被替代、無(wú)關(guān)緊要的崗位。
不過(guò),對(duì)于已經(jīng)入了CS門的學(xué)生,不去搞AI,前途在哪里呢?
莫非,真的如AI教父Hinton所說(shuō),去干水管工?