背景介紹

在當(dāng)今這個(gè)數(shù)據(jù)爆炸的時(shí)代，語(yǔ)言模型的訓(xùn)練變得越來(lái)越復(fù)雜和困難。我們需要巨大的計(jì)算資源和時(shí)間來(lái)訓(xùn)練一個(gè)高效的語(yǔ)言模型。然而，這對(duì)許多人來(lái)說(shuō)并不現(xiàn)實(shí)。與此同時(shí)，我們也遇到了如何在有限的內(nèi)存和計(jì)算資源中使用大型語(yǔ)言模型的挑戰(zhàn)，特別是在邊緣設(shè)備上。

今天要給大家推薦一個(gè) GitHub 開(kāi)源項(xiàng)目 jzhang38/TinyLlama，該項(xiàng)目在 GitHub 有超過(guò) 4.3k Star，用一句話介紹該項(xiàng)目就是：“The TinyLlama project is an open endeavor to pretrain a 1.1B Llama model on 3 trillion tokens.”。

項(xiàng)目介紹

TinyLlama 旨在預(yù)訓(xùn)練一個(gè)在 3 萬(wàn)億的 token 上的 1.1B Llama 模型。在一些恰當(dāng)?shù)膬?yōu)化下，我們可以在短短 90 天內(nèi)使用 16 個(gè) A100-40G GPUs 來(lái)達(dá)到這個(gè)目標(biāo)。該項(xiàng)目采用了與 Llama 2 完全相同的架構(gòu)和 tokenizer，這意味著 TinyLlama 可以在許多基于 Llama 的開(kāi)源項(xiàng)目中插入并使用。此外，TinyLlama 非常緊湊，只有 1.1B 的參數(shù)。這種緊湊性使其能夠滿足許多需要限制計(jì)算和內(nèi)存占用的應(yīng)用。

如何使用

直接下載模型就可以使用，或者通過(guò) huggingface 使用 demo。

如果你想自己訓(xùn)練的話，參考如下訓(xùn)練詳情。

項(xiàng)目推介

TinyLlama 是一個(gè)令人興奮的開(kāi)源項(xiàng)目，它正在積極解決一些關(guān)鍵問(wèn)題，并在開(kāi)源社區(qū)中得到了廣泛的關(guān)注。

以下是該項(xiàng)目 Star 趨勢(shì)圖（代表項(xiàng)目的活躍程度）：

更多項(xiàng)目詳情請(qǐng)查看如下鏈接。

開(kāi)源項(xiàng)目地址：https://github.com/jzhang38/TinyLlama

開(kāi)源項(xiàng)目作者：jzhang38

以下是參與項(xiàng)目建設(shè)的所有成員：