自Llama2、Code Llama發(fā)布后，許久未現(xiàn)身的小扎今天正式官宣：

全力搞「開源AGI」！

短短1分45秒視頻中，小扎對(duì)Meta的戰(zhàn)略升級(jí)進(jìn)行了分享，從AGI構(gòu)建，到團(tuán)隊(duì)合作，再到基礎(chǔ)設(shè)施的等一系列舉措。

接下來(lái)，劃重點(diǎn)?。?！

從現(xiàn)在起，人工智能實(shí)驗(yàn)室FAIR團(tuán)隊(duì)將納入「GenAI」，緊密合作重點(diǎn)構(gòu)建AGI，并全面開源。

目前，Meta內(nèi)部正在訓(xùn)練下一代模型Llama 3。截止年底，將會(huì)有近35萬(wàn)塊H100搭建的基礎(chǔ)設(shè)施。

網(wǎng)友無(wú)法想象，Llama 3那得有多大！

Omdia研究數(shù)據(jù)顯示，Meta在2023年H100的出貨量為15萬(wàn)塊，與微軟持平，且是其他公司出貨量的3倍。

小扎稱，「如果算上英偉達(dá)A100和其他AI芯片，到2024年底，Meta將擁有近60萬(wàn)個(gè)GPU等效算力」。

此外，小扎的「元宇宙」信仰還沒(méi)有放棄。他提到，AI最終會(huì)與智能設(shè)備結(jié)合，比如Ray-ban智能眼鏡。

30倍GPT-4算力，接近GPT-5水平

在小扎自曝Meta算力之后，Pytorch創(chuàng)始人Soumith Chintala表示，終于可以公開談?wù)揋PU數(shù)據(jù)了。到今年年底，Meta將擁有60塊H100等效GPU。

他還在此賣關(guān)子，讓大家自由猜測(cè)，Meta已經(jīng)部署和正在使用的GPU。

CAIS的負(fù)責(zé)人驚嘆道， 35萬(wàn)塊H100，這比GPT-4的計(jì)算能力高出約30倍，幾乎達(dá)到了GPT-5的水平。

還有人給Meta算了一筆賬，「每臺(tái)H100的成本約為3萬(wàn)美元，這意味著小扎的公司僅購(gòu)買算力就需要支付約105億美元，更不用說(shuō)電費(fèi)了」。

而這僅僅是為了訓(xùn)練Llama 3？

另外，有網(wǎng)友預(yù)計(jì)150-200億美元的算力訓(xùn)練為推薦系統(tǒng)服務(wù)的Llama 3。

圖靈獎(jiǎng)巨頭Yann LeCun更是有感而發(fā)，今天連發(fā)了多條推文。

FAIR的使命是開發(fā)人類水平的AI助手：是一個(gè)能夠理解世界、感知、記憶、推理、計(jì)劃和行動(dòng)系統(tǒng)。

在不遠(yuǎn)的將來(lái)，我們與數(shù)字世界的所有互動(dòng)，都將由AI助手通過(guò)智能眼鏡和其他設(shè)備來(lái)實(shí)現(xiàn)。我們需要這些系統(tǒng)具備人類水平的智能，這樣它們才能理解世界、人和工具，從而在日常生活中幫助我們。

為了加快進(jìn)度，F(xiàn)AIR現(xiàn)已成為人工智能產(chǎn)品部門GenAI的姊妹機(jī)構(gòu)。與此同時(shí)，Meta正在建設(shè)大規(guī)模的計(jì)算基礎(chǔ)設(shè)施，以支持人工智能的研究、開發(fā)和生產(chǎn)。

當(dāng)然，我們也致力于開放研究和開源人工智能平臺(tái)（是的，Llama 3就要來(lái)了?。AIR是世界上將AI研究推進(jìn)到新水平的最佳研究機(jī)構(gòu)，而Meta則是將AI應(yīng)推向數(shù)十億人群的最佳公司。

沒(méi)有開源AI，就沒(méi)有AI創(chuàng)業(yè)生態(tài)系統(tǒng)。

Meta一直嘗試去做正確的事情。

Meta一直在AI領(lǐng)域進(jìn)行開放研究。

Meta一直在推廣開源AI平臺(tái)。

經(jīng)過(guò)過(guò)去一年的多次討論（有時(shí)是有爭(zhēng)議的），一個(gè)共識(shí)正在形成，即開源人工智能平臺(tái)是不可避免的、必要的，而且是一件好事。

小扎：全員打造「開源AGI」

最近，Sam Altman在參加的世界經(jīng)濟(jì)論壇中透露，人類水平的AGI即將到來(lái)，而且GPT-5正在訓(xùn)練中。

2023年，人工智能領(lǐng)域成為OpenAI微軟的主戰(zhàn)場(chǎng)，GPT-4、Copilot等一系列模型/產(chǎn)品發(fā)布，讓許多大廠望之莫及。

谷歌、Meta、蘋果等科技巨頭在AI推陳出新上，已經(jīng)站在了第二梯隊(duì)。

凌晨，小扎一則視頻正式官宣，意味著Meta全員已經(jīng)重振旗鼓，向全力打造開源AGI邁進(jìn)。

在Ins視頻配文中，小扎寫道，

我們的長(zhǎng)期愿景是構(gòu)建AGI，負(fù)責(zé)任地將其開源，并使其廣泛可用，讓每個(gè)人都能從中受益。為了支持這一目標(biāo)，我們正在將兩大AI研究團(tuán)隊(duì)——FAIR和GenAI緊密結(jié)合在一起。

Meta目前正在訓(xùn)練下一代模型Llama 3，并建設(shè)大規(guī)模的計(jì)算基礎(chǔ)設(shè)施，以支撐未來(lái)路線圖，其中包括到今年年底建成35萬(wàn)塊H100，如果算上其他GPU，Meta總算力相當(dāng)于近60萬(wàn)個(gè)H100。此外，我們?cè)跇?gòu)建以AI為中心的新型計(jì)算設(shè)備（如Ray Ban Meta智能眼鏡）方面取得的進(jìn)展也讓人非常興奮。

Llama 3匹敵GPT-4，免費(fèi)開源

關(guān)于Meta下一代模型的消息，此前也有傳言稱，Llama 3的實(shí)力堪比GPT-4，而且還是免費(fèi)開源。

OpenAI工程師、前谷歌大腦工程師Jason Wei去年8約在Meta組織的Generative AI Group活動(dòng)中聽說(shuō)：

Meta有足夠的算力來(lái)訓(xùn)練Llama 3和Llama 4。Llama 3計(jì)劃達(dá)到GPT-4的性能水平，但仍將免費(fèi)提供

這次也算是，Meta正式官宣Llama 3訓(xùn)練中，而且LeCun也表示最新模型很快就會(huì)上線。

從2023年2月，Llama 1首次面世，到7約Llama 2的升級(jí)，Meta花了大約5個(gè)月的時(shí)間。

當(dāng)時(shí)，Llama 2在某些應(yīng)用上與GPT-3.5能力相媲美，而且還通過(guò)微調(diào)，額外功能讓開源社區(qū)進(jìn)行優(yōu)化。

Llama模型開源后所帶來(lái)的是，模型生態(tài)大爆發(fā)。

據(jù)Meta統(tǒng)計(jì)數(shù)據(jù)顯示，在世界最大開源社區(qū)平臺(tái)Hugging Face上，Llama模型的下載量超過(guò)3000萬(wàn)次。其中，僅在過(guò)去30天（9月份）內(nèi)就超過(guò)了1000萬(wàn)次。

另外，發(fā)布在Hugging Face的Llama版微調(diào)模型，已經(jīng)多達(dá)7000+個(gè)。

而現(xiàn)在，得知Llama 3在訓(xùn)練中，AI圈的人興奮不已。

AI團(tuán)隊(duì)重組：成立10年FAIR團(tuán)隊(duì)+GenAI

除了將重點(diǎn)放在開發(fā)AGI之外，Meta官宣最引人注目的消息就是：小扎決定將其人工智能研究團(tuán)隊(duì)FAIR納入產(chǎn)品部門。

根據(jù)Verge的獨(dú)家采訪，成立10年FAIR團(tuán)隊(duì)，將并入GenAI團(tuán)隊(duì)。雖然小扎在視頻并未說(shuō)明，只是透露了兩個(gè)團(tuán)隊(duì)將緊密合作。

Meta此舉與谷歌合并兩大AI團(tuán)隊(duì)，別無(wú)二致。

OpenAI微軟在AI圈名氣大漲讓谷歌瞬間火燒眉毛，去年4月官宣合并DeepMind和谷歌大腦團(tuán)隊(duì)，統(tǒng)稱為Google DeepMind。

2013年12月，在LeCun主導(dǎo)下，F(xiàn)cabook成立了FAIR人工智能實(shí)驗(yàn)室。

從成立之初，F(xiàn)AIR的定位便是一個(gè)負(fù)責(zé)研究技術(shù)的部門，其研究重點(diǎn)也大多聚焦在解決推理、預(yù)測(cè)、規(guī)劃、無(wú)監(jiān)督學(xué)習(xí)等底層技術(shù)問(wèn)題上。

過(guò)去幾年來(lái)，在這個(gè)實(shí)驗(yàn)室中人才輩出，何愷明、SVM的締造者Vladimir Vapnik、提出隨機(jī)梯度下降法的Léon Bottou等AI領(lǐng)域的學(xué)者和專家。

與此同時(shí)，研究成果也是「世界級(jí)」AI，包括輕量化和模塊化的深度學(xué)習(xí)框架Caffe2、PyTorch架構(gòu)等等。

而現(xiàn)在，Meta內(nèi)部需要戰(zhàn)略調(diào)整，全力奔赴AGI。

說(shuō)來(lái)，GenAI這一團(tuán)隊(duì)的成立并未官宣。第一次露面還是在Llama 2發(fā)布時(shí)，在論文中所有作者下面一行中出現(xiàn)。

GenAI首次以團(tuán)隊(duì)名稱出現(xiàn)

未來(lái)，F(xiàn)AIR的副總裁Joelle Pineau和首席AI科學(xué)家Yann LeCun將向Meta的首席產(chǎn)品官Chris Cox匯報(bào)工作。

而在此之前，他們是向負(fù)責(zé)Reality Labs的首席技術(shù)官Andrew ‘Boz’ Bosworth匯報(bào)。

對(duì)此，Cox表示，這一調(diào)整強(qiáng)調(diào)了AI研究對(duì)Meta及其產(chǎn)品長(zhǎng)遠(yuǎn)成功的核心作用。

「通過(guò)FAIR和GenAI更加緊密的合作，我們可以擁有一個(gè)更加統(tǒng)一的AI研究項(xiàng)目和發(fā)展藍(lán)圖。其中，Llama將成為我們邁向AGI的主力，同時(shí)我們也將簡(jiǎn)化新技術(shù)或創(chuàng)新AI研究的開發(fā)流程，確保在一個(gè)日益受到關(guān)注的領(lǐng)域中，能夠在法律、政策和品牌形象方面保持一致?！?/span>

專訪小扎

問(wèn)：你將FAIR從Boz所負(fù)責(zé)的部門轉(zhuǎn)移到了Chris所負(fù)責(zé)的部門。這對(duì)Reality Labs有何影響？我覺(jué)得有些人可能會(huì)認(rèn)為RL將會(huì)失去它。

小扎：這絕對(duì)不是我的看法。讓我詳細(xì)說(shuō)明這個(gè)決定是如何形成的：這其實(shí)是Boz的建議。

在討論如何統(tǒng)一研究規(guī)劃和流程時(shí)，Chris、Boz和我進(jìn)行了交談。Boz表示他在AI方面投入了大量時(shí)間。但他認(rèn)為，與其讓這些問(wèn)題不斷上報(bào)給Chris和Boz，不如讓他們直接參與協(xié)調(diào)工作。因此，他建議將FAIR移至Chris那里。

在以前的模式下，F(xiàn)AIR相對(duì)獨(dú)立地運(yùn)作，盡管它屬于Boz負(fù)責(zé)的部門，但我不確定他們是否真的認(rèn)為自己是Reality Labs的一部分。我們總是將AI工作和Reality Labs的工作視為兩個(gè)不同的領(lǐng)域。Reality Labs可以作為一個(gè)獨(dú)立的組織獨(dú)立運(yùn)作，而AI則滲透到公司的各個(gè)方面。

這并不意味著所有的工作以前都集中在一個(gè)地方，或者現(xiàn)在都會(huì)集中在一個(gè)地方。這次調(diào)整更具體地說(shuō)，是將我們的兩個(gè)主要研究實(shí)驗(yàn)室并置，以便我們能在這些長(zhǎng)期研究領(lǐng)域取得更多進(jìn)展。在Reality Labs以前的模式中，我不認(rèn)為FAIR的負(fù)責(zé)人們會(huì)參加Boz的員工會(huì)議，它們更像是被作為獨(dú)立項(xiàng)目來(lái)管理。

我認(rèn)為這次組織內(nèi)部的調(diào)整并不會(huì)帶來(lái)太大的不同感。而且，鑒于AI對(duì)公司的重要性，Boz無(wú)論如何都會(huì)在這方面投入大量時(shí)間，Reality Labs也將繼續(xù)涵蓋很多AI相關(guān)的項(xiàng)目。

問(wèn)：你是否注意到，隨著生成式AI的興起，你的個(gè)人關(guān)注點(diǎn)也隨之轉(zhuǎn)移了？相對(duì)于Reality Labs，你是不是發(fā)現(xiàn)自己在AI方面投入了更多時(shí)間，還是說(shuō)這種投入每周都在變化？

小扎：這不僅僅是兩者之間的選擇問(wèn)題。在2023年，最耗費(fèi)我時(shí)間的是關(guān)注如何提高效率，我們改變了公司的運(yùn)作方式，使其更加高效精煉。這并不意味著我們會(huì)回到過(guò)去的狀態(tài)。但我覺(jué)得我們已經(jīng)建立了一套新的操作規(guī)范，現(xiàn)在可以比較順利地繼續(xù)進(jìn)行。這需要一定的工作量，但可能只有去年我在這方面投入的時(shí)間的十分之一。

對(duì)于今年而言，這部分工作減少了，這使得我有更多的時(shí)間來(lái)專注于產(chǎn)品開發(fā)。至于其他需要關(guān)注的事項(xiàng)，今年將是一個(gè)全球范圍內(nèi)重要的選舉年。顯然，包括美國(guó)在內(nèi)的選舉，但我認(rèn)為，從歷史角度來(lái)看，今年可能是全球選舉最密集的一年。我認(rèn)為確保我們?cè)谒械恼\(chéng)信維護(hù)工作上做得出色也同樣重要。因此，這方面今年會(huì)比以前更受關(guān)注。

身處一種模式中頗為有趣，不是在削減事務(wù)，而是我們又可以專注于創(chuàng)造新的東西。這是一種令人愉悅的狀態(tài)。