扎克伯格在社交媒體上稱，F(xiàn)acebook?AI?Research研發(fā)的LLaMA是“目前水平最高的”大型語(yǔ)言模型，目標(biāo)是幫助研究人員推進(jìn)他們?cè)谌斯ぶ悄?AI)領(lǐng)域的工作。

“大型語(yǔ)言模型”(LLM)可以消化大量的文本數(shù)據(jù)，并推斷文本的單詞之間的關(guān)系。隨著計(jì)算能力的進(jìn)步，以及輸入數(shù)據(jù)集與參數(shù)空間的不斷擴(kuò)大，LLM的能力也相應(yīng)提高。

目前，LLM已經(jīng)被證明能高效地執(zhí)行多種任務(wù)，包括文本生成、問(wèn)題回答、書(shū)面材料總結(jié)等。扎克伯格稱，LLM在自動(dòng)證明數(shù)學(xué)定理、預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)等更復(fù)雜的方面也有很大的發(fā)展前景。

值得一提的是，近期大火的ChatGPT就是采用LLM構(gòu)建的聊天機(jī)器人。ChatGPT由GPT3.5提供支持，而GPT3.5是一款基于OpenAI?175B參數(shù)基礎(chǔ)模型訓(xùn)練的LLM，175B是它從訓(xùn)練數(shù)據(jù)中所學(xué)習(xí)、沉淀下來(lái)的內(nèi)容。

Meta在官網(wǎng)介紹中稱，LLaMA有7B、13B、33B和65B四個(gè)基礎(chǔ)模型，在大多數(shù)基準(zhǔn)測(cè)試中都優(yōu)于GPT3.5的前身GPT3-175B，而LLaMA-65B可與業(yè)內(nèi)最佳的Chinchilla-70B和PaLM-540B競(jìng)爭(zhēng)。