1.LLaMA

LLaMA項(xiàng)目包含了一組基礎(chǔ)語(yǔ)言模型，其規(guī)模從70億到650億個(gè)參數(shù)不等。這些模型在數(shù)以百萬(wàn)計(jì)的token上進(jìn)行訓(xùn)練，而且它完全在公開(kāi)的數(shù)據(jù)集上進(jìn)行訓(xùn)練。結(jié)果，LLaMA-13B超過(guò)了GPT-3（175B），而LLaMA-65B的表現(xiàn)與Chinchilla-70B和PaLM-540B等最佳模型相似。

圖片來(lái)自LLaMA

資源：

• 研究論文：“LLaMA: Open and Efficient Foundation Language Models (arxiv.org)” [https://arxiv.org/abs/2302.13971]
• GitHub：facebookresearch/llama [https://github.com/facebookresearch/llama]
• 演示：Baize Lora 7B [https://huggingface.co/spaces/project-baize/Baize-7B]

2.Alpaca

斯坦福大學(xué)的Alpaca聲稱它可以與ChatGPT競(jìng)爭(zhēng)，任何人都可以在不到600美元的情況下復(fù)制它。Alpaca 7B是在52K指令遵循的示范上從LLaMA 7B模型中進(jìn)行微調(diào)。

訓(xùn)練內(nèi)容｜圖片來(lái)自斯坦福大學(xué)CRFM

資源：

• 博客：斯坦福大學(xué)CRFM。[https://crfm.stanford.edu/2023/03/13/alpaca.html]
• GitHub：tatsu-lab/stanford_alpaca [https://github.com/tatsu-lab/stanford_alpaca]
• 演示：Alpaca-LoRA (官方演示已經(jīng)丟失，這是Alpaca模型的再現(xiàn)) [https://huggingface.co/spaces/tloen/alpaca-lora]

3.Vicuna

Vicuna是在從ShareGPT收集到的用戶共享對(duì)話上的LLaMA模型基礎(chǔ)上進(jìn)行微調(diào)。Vicuna-13B模型已經(jīng)達(dá)到了OpenAI ChatGPT和Google Bard的90%以上的質(zhì)量。它還在90%的情況下超過(guò)了LLaMA和斯坦福大學(xué)Alpaca模型。訓(xùn)練Vicuna的成本約為300美元。

圖片來(lái)自Vicuna

資源：

• 博客文章：“Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality” [https://vicuna.lmsys.org/]
• GitHub：lm-sys/FastChat [https://github.com/lm-sys/FastChat#fine-tuning]
• 演示：FastChat (lmsys.org) [https://chat.lmsys.org/]

4.OpenChatKit

OpenChatKit：開(kāi)源的ChatGPT替代方案，是一個(gè)用于創(chuàng)建聊天機(jī)器人的完整工具包。它提供了用于訓(xùn)練用戶自己的指令調(diào)整的大型語(yǔ)言模型、微調(diào)模型、用于更新機(jī)器人響應(yīng)的可擴(kuò)展檢索系統(tǒng)以及用于過(guò)濾問(wèn)題的機(jī)器人審核的指令。

圖片來(lái)自TOGETHER

可以看到，GPT-NeoXT-Chat-Base-20B模型在問(wèn)答、提取和分類任務(wù)上的表現(xiàn)優(yōu)于基礎(chǔ)模式GPT-NoeX。

資源：

• 博客文章：“Announcing OpenChatKit”—TOGETHER [https://www.together.xyz/blog/openchatkit]
• GitHub: togethercomputer/OpenChatKit [https://github.com/togethercomputer/OpenChatKit]
• 演示：OpenChatKit [https://huggingface.co/spaces/togethercomputer/OpenChatKit]
• 模型卡：togethercomputer/GPT-NeoXT-Chat-Base-20B [https://huggingface.co/togethercomputer/GPT-NeoXT-Chat-Base-20B]

5.GPT4ALL

GPT4ALL是一個(gè)社區(qū)驅(qū)動(dòng)的項(xiàng)目，并在一個(gè)大規(guī)模的輔助交互語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練，包括代碼、故事、描述和多輪對(duì)話。該團(tuán)隊(duì)提供了數(shù)據(jù)集、模型權(quán)重、數(shù)據(jù)管理過(guò)程和訓(xùn)練代碼以促進(jìn)開(kāi)源。此外，他們還發(fā)布了模型的量化4位版本，可以在筆記本電腦上運(yùn)行。甚至可以使用Python客戶端來(lái)運(yùn)行模型推理。

圖片來(lái)自GPT4ALL

資源：

• 技術(shù)報(bào)告：GPT4All [https://s3.amazonaws.com/static.nomic.ai/gpt4all/2023_GPT4All_Technical_Report.pdf]
• GitHub: nomic-ai/gpt4al [https://github.com/nomic-ai/gpt4all]
• 演示：GPT4All（非官方）。[https://huggingface.co/spaces/rishiraj/GPT4All]
• 模型卡：nomic-ai/gpt4all-lora · Hugging Face [https://huggingface.co/nomic-ai/gpt4all-lora]

6.Raven RWKV

Raven RWKV 7B是一個(gè)開(kāi)源的聊天機(jī)器人，它由RWKV語(yǔ)言模型驅(qū)動(dòng)，生成的結(jié)果與ChatGPT相似。該模型使用RNN，可以在質(zhì)量和伸縮性方面與transformer相匹配，同時(shí)速度更快，節(jié)省VRAM。Raven在斯坦福大學(xué)Alpaca、code-alpaca和更多的數(shù)據(jù)集上進(jìn)行了微調(diào)。

圖片來(lái)自Raven RWKV 7B

資源：

• GitHub：BlinkDL/ChatRWKV [https://github.com/BlinkDL/ChatRWKV]
• 演示：Raven RWKV 7B [https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B]
• 模型卡：BlinkDL/rwkv-4-raven [https://huggingface.co/BlinkDL/rwkv-4-raven]

7.OPT

OPT：Open Pre-trained Transformer語(yǔ)言模型并不像ChatGPT那樣強(qiáng)大，但它在零樣本和少樣本學(xué)習(xí)以及刻板偏見(jiàn)分析方面表現(xiàn)出卓越的能力。還可以將它與Alpa、Colossal-AI、CTranslate2和FasterTransformer集成以獲得更好的結(jié)果。注意：它上榜的原因是它的受歡迎程度，因?yàn)樗谖谋旧深悇e中每月有624,710次下載。

圖片來(lái)自（arxiv.org）

資源：

• 研究論文：“OPT: Open Pre-trained Transformer Language Models (arxiv.org)” [https://arxiv.org/abs/2205.01068]
• GitHub: facebookresearch/metaseq [https://github.com/facebookresearch/metaseq]
• 演示：A Watermark for LLMs [https://huggingface.co/spaces/tomg-group-umd/lm-watermarking]
• 模型卡：facebook/opt-1.3b [https://huggingface.co/facebook/opt-1.3b]

8.Flan-T5-XXL

Flan-T5-XXL在以指令形式表述的數(shù)據(jù)集上微調(diào)了T5模型。指令的微調(diào)極大地提高了各種模型類別的性能，如PaLM、T5和U-PaLM。Flan-T5-XXL模型在1000多個(gè)額外的任務(wù)上進(jìn)行了微調(diào)，涵蓋了更多語(yǔ)言。

圖片來(lái)自Flan-T5-XXL

資源：

• 研究論文：“Scaling Instruction-Fine Tuned Language Models” [https://arxiv.org/pdf/2210.11416.pdf]
• GitHub: google-research/t5x [https://github.com/google-research/t5x]
• 演示：Chat Llm Streaming [https://huggingface.co/spaces/olivierdehaene/chat-llm-streaming]
• 模型卡：google/flan-t5-xxl [https://huggingface.co/google/flan-t5-xxl?text=Q%3A+%28+False+or+not+False+or+False+%29+is%3F+A%3A+Let%27s+think+step+by+step]

總結(jié)

現(xiàn)在有很多開(kāi)源的可供選擇的大模型，本文涉及到其中比較流行的8個(gè)大模型。