基于Meta模型打造的輕量版ChatGPT，這就來啦？

Meta宣布推出LLaMA才三天，業(yè)界就出現(xiàn)了把它打造成ChatGPT的開源訓(xùn)練方法，號(hào)稱比ChatGPT訓(xùn)練速度最高快15倍。

LLaMA是Meta推出的超快超小型GPT-3，參數(shù)量只有后者的10%，只需要單張GPU就能運(yùn)行。

把它變成ChatGPT的方法名叫ChatLLaMA，基于RLHF（基于人類反饋的強(qiáng)化學(xué)習(xí)）進(jìn)行訓(xùn)練，在網(wǎng)上很快掀起了一陣熱度。

所以，Meta的開源版ChatGPT真的要來了？

先等等，事情倒也沒那么簡單。

把LLaMA訓(xùn)練成ChatGPT的“開源方法”

點(diǎn)進(jìn)ChatLLaMA項(xiàng)目主頁來看，會(huì)發(fā)現(xiàn)它實(shí)際上集成了四個(gè)部分——

DeepSpeed、RLHF方法、LLaMA和基于LangChain agent生成的數(shù)據(jù)集。

其中，DeepSpeed是一個(gè)開源深度學(xué)習(xí)訓(xùn)練優(yōu)化庫，包含名叫Zero的現(xiàn)存優(yōu)化技術(shù)，用于提升大模型訓(xùn)練能力，具體指幫模型提升訓(xùn)練速度、降低成本、提升模型可用性等。

RLHF則會(huì)采用獎(jiǎng)勵(lì)模型來對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)。獎(jiǎng)勵(lì)模型即先用多個(gè)模型生成問題問答，再依靠人工對(duì)問答進(jìn)行排序，讓它學(xué)會(huì)打分；隨后，基于獎(jiǎng)勵(lì)學(xué)習(xí)給模型生成的回答進(jìn)行打分，通過強(qiáng)化學(xué)習(xí)的方式增強(qiáng)模型能力。

LangChain是一個(gè)大語言模型應(yīng)用開發(fā)庫，希望將各種大語言模型整合起來，結(jié)合其他知識(shí)來源或計(jì)算能力創(chuàng)建一個(gè)實(shí)用的應(yīng)用程序。LangChain agent則會(huì)像思維鏈一樣放出GPT-3思考的全過程，將操作記錄下來。

這時(shí)候你會(huì)發(fā)現(xiàn)，最關(guān)鍵的依舊是LLaMA的模型權(quán)重。它從哪里來？

嘿嘿，自己去找Meta申請(qǐng)吧，ChatLLaMA并不提供。（雖然Meta聲稱開源LLaMA，但依舊需要申請(qǐng)）

所以本質(zhì)上來說，ChatLLaMA并不是一個(gè)開源ChatGPT項(xiàng)目，而只是一種基于LLaMA的訓(xùn)練方法，其庫內(nèi)集成的幾個(gè)項(xiàng)目原本也都是開源的。

實(shí)際上，ChatLLaMA也并非由Meta打造，而是來自一個(gè)叫做Nebuly AI的初創(chuàng)AI企業(yè)。

Nebuly AI做了一個(gè)叫做Nebullvm的開源庫，里面集成了一系列即插即用的優(yōu)化模塊，用于提升AI系統(tǒng)性能。

例如這是Nebullvm目前包含的一些模塊，包括基于DeepMind開源的AlphaTensor算法打造的OpenAlphaTensor、自動(dòng)感知硬件并對(duì)其進(jìn)行加速的優(yōu)化模塊……

ChatLLaMA也在這一系列模塊中，但要注意的是它的開源license也是不可商用的。?

所以“國產(chǎn)自研ChatGPT”想要直接拿去用，可能還沒那么簡單（doge）。?

看完這個(gè)項(xiàng)目后，有網(wǎng)友表示，要是有人真搞到LLaMA的模型權(quán)重（代碼）就好了……

但也有網(wǎng)友指出，“比ChatGPT訓(xùn)練方法快15倍”這種說法是一個(gè)純純的誤導(dǎo)：

所謂的快15倍只是因?yàn)長LaMA模型本身很小，甚至能在單個(gè)GPU上運(yùn)行，但應(yīng)該不是因?yàn)檫@個(gè)項(xiàng)目所做的任何事情吧？

這位網(wǎng)友還推薦了一個(gè)比庫中效果更好的RLHF訓(xùn)練方法，名叫trlx，訓(xùn)練速度要比通常的RLHF方法快上3~4倍：

你拿到LLaMA的代碼了嗎？覺得這個(gè)訓(xùn)練方法如何？

ChatLLaMA地址：???https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama??

參考鏈接：???https://twitter.com/omarsar0/status/1630211059876339713??