近年來，大型語言模型 (LLM) 廣受歡迎，已成為人工智能應(yīng)用的基石技術(shù)。LLM 的應(yīng)用領(lǐng)域非常廣泛，從聊天機(jī)器人和虛擬助手，到數(shù)據(jù)分析和創(chuàng)意寫作。隨著 Hugging Face 等平臺(tái)上可用模型的激增，為你的應(yīng)用選擇合適的模型可能會(huì)變得非常困難。

在本文中，我們將分析三款領(lǐng)先的開源 LLM——Llama、Mistral 和 DeepSeek——并比較它們?cè)谝韵聨讉€(gè)方面的性能：

(1) 計(jì)算需求

(2) 內(nèi)存占用

(3) 延遲與吞吐量的權(quán)衡

(4) 生產(chǎn)部署考量

(5) 安全行為

(6) 基準(zhǔn)性能。

無論您是初學(xué)者還是 AI 工程師，我們都將以通俗易懂的術(shù)語和深入的技術(shù)講解關(guān)鍵概念。

1. Llama、Mistral 和 DeepSeek 的計(jì)算要求

1.1. 模型大小和 FLOP

每個(gè)系列都提供不同參數(shù)大小的模型（7B、13B，最多約 65-70B 個(gè)參數(shù)）。參數(shù)數(shù)量直接影響每次推理所需的計(jì)算量（FLOP）。例如，Llama 和 Mistral 的 7B 模型擁有約 70 億個(gè)參數(shù)，相當(dāng)于生成的每個(gè) token 大約需要 140 億次浮點(diǎn)運(yùn)算（前向傳播的 FLOP 約為 2P，其中 P 是模型中的參數(shù)數(shù)量）。像 Llama-2-70B 這樣更大的 70B 模型，每個(gè) token 大約需要 1400 億次 FLOP——每個(gè)輸出 token 的計(jì)算量大約是 7B 模型的 10 倍。DeepSeek 的開放模型有 7B 版本和更大的 67B 版本（類似于 Llama 的 65-70B 范圍）。運(yùn)行 67B DeepSeek 模型所需的計(jì)算量幾乎與 70B Llama 相同，即每個(gè)令牌生成大約 1e11 FLOPs。

1.2. 典型的推理硬件

較小的模型（7B-13B）可以在單個(gè)現(xiàn)代 GPU 上運(yùn)行，而最大的模型則需要多 GPU 或?qū)Ｓ糜布?。?shí)際上，Llama-3-8B 或 Mistral 7B（舊版）模型可以在配備約 12-16GB VRAM 的消費(fèi)級(jí) GPU 上運(yùn)行。例如，Mistral 7B（7.3B 個(gè)參數(shù)）需要約 15GB 的 GPU 內(nèi)存才能以全精度加載。Llama-2-13B（13B 個(gè)參數(shù)）的需求大約是該需求的兩倍——建議使用約 24GB 的 VRAM。較大的模型（Llama 65B/70B 或 DeepSeek 67B）的要求更高：以 16 位精度運(yùn)行 Llama-2 70B 至少需要兩塊高內(nèi)存 GPU?？偨Y(jié)：

7B/8B 模型（Llama-2–7B、Llama3.1–8B、Mistral-7B、DeepSeek-R1-Distill-Llama-8B）： 1 個(gè) GPU（≈15 GB VRAM）足以進(jìn)行 FP16 推理。這些模型甚至可以在一些筆記本電腦 GPU 或普通的云實(shí)例上運(yùn)行。

13B 型號(hào)（Llama2-13B）：需要 1 個(gè)高端 GPU（≈24 GB 顯存）。如果只有 16 GB 顯存，則可能需要內(nèi)存優(yōu)化或使用多 GPU 架構(gòu)。

65B–70B 模型（Llama-3.1–70B、DeepSeek-67B）：需要 2–4 個(gè) GPU 或?qū)Ｓ眉铀倨?。這些模型在 FP16 中權(quán)重約為 130–140 GB，因此無法在單個(gè) GPU 上運(yùn)行。實(shí)際應(yīng)用中會(huì)使用多 GPU 推理或服務(wù)器級(jí)加速器。

2. 推理和微調(diào)的內(nèi)存要求

2.1. 基本內(nèi)存需求

所需的原始內(nèi)存會(huì)隨著模型大小而增長(zhǎng)。對(duì)于推理，經(jīng)驗(yàn)法則是 FP16 模型每個(gè)參數(shù)占用約 2 字節(jié)內(nèi)存（另加一些開銷）。因此，7B 模型大約占用 14-16 GB 內(nèi)存，而 FP16 的 13B 模型占用約 26-30 GB 內(nèi)存。實(shí)際上，Llama-2 7B 在半精度下占用約 14 GB 內(nèi)存，并且可以輕松裝入 16 GB 的存儲(chǔ)卡中。如上所述，65B 及以上模型的內(nèi)存超過 130 GB，因此需要多個(gè)設(shè)備。

2.2. 微調(diào)記憶

微調(diào)需要額外的內(nèi)存來存儲(chǔ)優(yōu)化器狀態(tài)和梯度。由于梯度和優(yōu)化器矩通常也使用 16 位或 32 位精度，F(xiàn)P16 中的完全微調(diào)需要大約 2-3 倍的內(nèi)存來容納模型大小。例如，如果不使用梯度檢查點(diǎn)或低秩自適應(yīng)等策略，在 24 GB GPU 上微調(diào) 13B 模型很可能會(huì)運(yùn)行 OOM（內(nèi)存不足）。這就是LoRA/QLoRA 等技術(shù)流行的原因——它們凍結(jié)大部分權(quán)重并訓(xùn)練少量額外參數(shù)，從而大幅減少內(nèi)存使用量。使用 QLoRA（4 位量化 + 低秩適配器），可以將內(nèi)存需求減少到全尺寸的一小部分，從而在單個(gè) GPU 上微調(diào) 7B 和 13B 模型。查看 LoRA 和 QLoRA 論文，了解有關(guān)微調(diào)低秩自適應(yīng)的更多信息。

2.3. 上下文長(zhǎng)度和運(yùn)行時(shí)內(nèi)存

內(nèi)存的另一個(gè)方面是注意力機(jī)制的KV 緩存，它會(huì)隨著上下文中 token 數(shù)量的增加而增長(zhǎng)。長(zhǎng)提示可能會(huì)增加內(nèi)存使用量，因?yàn)槟Ｐ托枰獮槊恳粚哟鎯?chǔ)鍵 / 值。Mistral 7B 的滑動(dòng)窗口注意力機(jī)制通過以固定大小的段（例如，4096 個(gè) token 的窗口）處理長(zhǎng)上下文來解決這個(gè)問題，只需適度增加內(nèi)存（它不會(huì)一次將整個(gè)長(zhǎng)上下文保存在內(nèi)存中），就可以高效地處理最多約 131k 個(gè) token 的上下文。DeepSeek 版本引入了多頭潛在注意力 (MLA)，這是一項(xiàng)壓縮注意力鍵值緩存的新技術(shù)，可減少每個(gè) token 的計(jì)算量和內(nèi)存占用。簡(jiǎn)而言之，Mistral 和 DeepSeek 利用架構(gòu)改進(jìn)（滑動(dòng)窗口、MLA 等）來降低所需的計(jì)算量，這意味著與原始 Llama 設(shè)計(jì)相比，這些模型的單位 FLOP 性能更高。

3. 延遲/吞吐量：理解權(quán)衡

在生產(chǎn)環(huán)境中提供模型時(shí)，需要在延遲和吞吐量之間進(jìn)行權(quán)衡：

延遲是指單個(gè)輸入產(chǎn)生結(jié)果所需的時(shí)間（聊天機(jī)器人響應(yīng)一個(gè)用戶的問題的速度）。

吞吐量是指系統(tǒng)充分利用時(shí)單位時(shí)間內(nèi)可以產(chǎn)生的結(jié)果（或令牌）數(shù)量（服務(wù)器每秒可以生成的令牌總數(shù)，或批量請(qǐng)求時(shí)每秒的響應(yīng)數(shù)量）。

這兩者往往是相互矛盾的。如果您試圖通過同時(shí)處理多個(gè)請(qǐng)求或一個(gè)長(zhǎng)批次來最大化吞吐量，那么每個(gè)單獨(dú)的請(qǐng)求可能會(huì)遇到更高的延遲（等待批次中的其他請(qǐng)求）。另一方面，為了獲得某個(gè)用戶的絕對(duì)最低延遲，您可能會(huì)單獨(dú)為該用戶運(yùn)行模型，這會(huì)導(dǎo)致硬件利用率不足，從而降低總吞吐量。

3.1. 為什么它對(duì)不同的用例很重要

對(duì)于聊天機(jī)器人等交互式應(yīng)用程序，延遲至關(guān)重要，因?yàn)橛脩羝谕玫郊皶r(shí)響應(yīng)。0.5 秒和 2 秒之間的差異是顯而易見的。因此，您將在有利于快速單流生成的模式下運(yùn)行模型。對(duì)于大規(guī)模批處理（翻譯一百萬個(gè)文檔或分析大型數(shù)據(jù)集），吞吐量（每秒處理的令牌數(shù)）比任何單個(gè)項(xiàng)目的實(shí)時(shí)延遲更重要。在這些情況下，向模型提供盡可能大的批次（或并行流）以保持 GPU 100% 繁忙，即使任何給定的文檔在隊(duì)列中等待一會(huì)兒，也能實(shí)現(xiàn)最快的整體作業(yè)完成速度。較小模型（7B、13B）的每令牌延遲低于 70B 模型。例如，在同一個(gè) GPU 上，7B 模型每秒可以生成數(shù)十個(gè)令牌，而 70B 模型由于每個(gè)步驟的計(jì)算量較大，每秒可能只能生成幾個(gè)令牌。

3.2. 延遲/吞吐量和用例調(diào)整

在生產(chǎn)部署中，系統(tǒng)通常根據(jù)用例進(jìn)行配置。對(duì)于聊天機(jī)器人或交互式代理，您可以不進(jìn)行批處理（或僅進(jìn)行少量批處理），并優(yōu)先考慮每個(gè)請(qǐng)求的速度。對(duì)于非實(shí)時(shí)批處理作業(yè)（例如夜間數(shù)據(jù)處理），您可以將數(shù)十個(gè)輸入一起批處理，以充分利用硬件。現(xiàn)代推理框架甚至允許動(dòng)態(tài)批處理——自動(dòng)在短時(shí)間窗口內(nèi)對(duì)傳入的請(qǐng)求進(jìn)行分組，以提高 GPU 利用率（提升吞吐量），而不會(huì)增加太多延遲。這可以實(shí)現(xiàn)一個(gè)折中方案，即略微增加延遲，以換取吞吐量的大幅提升。

總而言之，聊天和交互式應(yīng)用程序受益于低延遲，而大規(guī)模自動(dòng)化任務(wù)則更傾向于高吞吐量。模型本身不會(huì)改變，但運(yùn)行方式會(huì)改變。較小的 Mistral 和 Llama 模型的單次請(qǐng)求速度會(huì)比大型 DeepSeek 模型更快，但如果您需要最高的準(zhǔn)確度并且可以容忍一定的延遲（或使用更多硬件進(jìn)行并行化），那么較大的模型可能值得權(quán)衡。

4. 生產(chǎn)部署

將這些模型投入生產(chǎn)需要考慮軟件支持、優(yōu)化（量化）和服務(wù)基礎(chǔ)設(shè)施等因素。好消息是，Llama、Mistral 和 DeepSeek 模型均兼容主流開源工具，并且各自擁有活躍的社區(qū)。

4.1. 框架兼容性

這三個(gè)模型系列都采用了類似 Llama 的 Transformer 架構(gòu)，因此它們得到了 Hugging Face Transformers 等框架的開箱即用支持。例如，可以像 Llama 一樣使用 AutoModelForCausalLM 加載 DeepSeek 7B 或 67B 模型。這意味著您可以使用常用庫（Transformers、Accelerate 等）來運(yùn)行推理，或以極少的更改對(duì)這些模型進(jìn)行微調(diào)。此外，所有模型都可通過 Hugging Face Hub 或直接下載提供模型權(quán)重。

部署示例：以下是部署這些模型的一些常見模式：

本地 GPU 服務(wù)器：許多模型使用 Hugging Face 的TextGenerationInference服務(wù)器或 API 封裝器，在單個(gè) GPU 盒（或多個(gè) GPU）上運(yùn)行這些模型。這對(duì)于單 GPU 上高達(dá) 13B 的模型是可行的，對(duì)于多 GPU 上更大的模型也是可行的。

云推理：所有三個(gè)模型都可以部署在云 GPU 實(shí)例上。例如，AWS Bedrock 提供 Mistral 模型，IBM 的watsonx.ai于 2024 年初開放了 Mistral 的 8×7B 混合模型（利用 IBM 的 GPU/加速器基礎(chǔ)設(shè)施）。DeepSeek 模型是開放的，同樣可以托管在配備 A100/H100 GPU 的 AWS、GCP 或 Azure 虛擬機(jī)上。為了提高效率，可以使用 TensorRT 或 vLLM 對(duì)模型進(jìn)行容器化。

CPU 和邊緣計(jì)算： 7B 模型（尤其是采用 4 位量化的模型）足夠輕量，可以在高端 CPU 上運(yùn)行。Llama.cpp 等項(xiàng)目通過針對(duì) AVX2/AVX512 指令集進(jìn)行優(yōu)化，使得 Llama 7B 能夠在筆記本電腦或手機(jī)上運(yùn)行。例如，Mistral 7B 由于其較小的體積和優(yōu)化，已經(jīng)在 CPU 上以合理的速度運(yùn)行，這使其在 GPU 不可用的離線或邊緣用例中頗具吸引力。

4.2. 量化和框架支持總結(jié)

所有這些模型都支持 Hugging Face Transformers 等庫中的 8 位和 4 位量化（通過 Bitsandbytes 或 GPTQ 集成）。它們還可以與服務(wù)框架集成：

Transformers + Accelerate：簡(jiǎn)單靈活，適合制作原型。

vLLM：通過 LLM 完整批處理對(duì)吞吐量進(jìn)行了高度優(yōu)化（Mistral 為此提供了示例）。

TensorRT-LLM：利用 NVIDIA Tensor Cores 提高速度，支持 Llama 和類似的架構(gòu)。

Habana Gaudi： GPU 的加速器替代品，Optimum 庫中對(duì) Llama 系列模型的支持日益增強(qiáng)（有關(guān)更多信息請(qǐng)參閱 Gaudi 部分）。

在實(shí)踐中，部署開放模型可能涉及權(quán)重轉(zhuǎn)換（如果需要）、專用硬件的加載，以及確保擁有良好的監(jiān)控和防護(hù)措施（尤其考慮到這些開放模型默認(rèn)不具備 OpenAI 式的監(jiān)控機(jī)制）。這就引出了下一個(gè)話題：安全考量。

5. 安全考慮

開源模型通常不具備專有模型（例如 OpenAI 的 ChatGPT 或 Anthropic 的 Claude）所具備的強(qiáng)大的安全強(qiáng)化學(xué)習(xí)和內(nèi)容過濾器。如果您計(jì)劃在產(chǎn)品中部署這些開放模型，則必須在其上實(shí)現(xiàn)安全層。這可能包括：

內(nèi)容過濾系統(tǒng)：使用庫或較小的模型來檢測(cè)輸出中的仇恨言論、自殘等內(nèi)容，并拒絕或進(jìn)行后期處理。

及時(shí)審核和注入掃描：確保用戶輸入不包含隱藏指令。

速率限制和使用策略可防止自動(dòng)利用模型進(jìn)行惡意目的。

社區(qū)正在研究開放模型的對(duì)齊技術(shù)。例如，有些項(xiàng)目正在對(duì) Llama-2 進(jìn)行安全指令微調(diào)，或使用 GPT-4 來判斷和過濾輸出（創(chuàng)建“裁判”模型）。但截至 2025 年，開源 LLM 在安全性方面仍明顯落后于封閉模型。如果您計(jì)劃部署這些模型，請(qǐng)注意，它們可能會(huì)生成一些不被允許的內(nèi)容，您有責(zé)任根據(jù)需要處理這些問題。另一方面是靈活性——有些用戶特別希望模型的過濾程度最低（用于研究或創(chuàng)作自由），而開放模型正好滿足了這一需求。但請(qǐng)注意，如果存在濫用風(fēng)險(xiǎn)，請(qǐng)勿在沒有防護(hù)措施的情況下直接將它們部署給最終用戶。

6. 基準(zhǔn)性能比較

盡管這些模型規(guī)模較小且開放，但它們?cè)跇?biāo)準(zhǔn)基準(zhǔn)測(cè)試中表現(xiàn)出色。讓我們比較一下 Llama-3、Mistral 和 DeepSeek。它們各自代表了其家族中目前最好的模型，其規(guī)模大約為 70 到 80 億（適用于單個(gè)高端 GPU）。我們重點(diǎn)關(guān)注它們?cè)谥R(shí)與推理 (MMLU)、數(shù)學(xué)問題解決 (GSM8K) 和編碼能力 (HumanEval) 等標(biāo)準(zhǔn)基準(zhǔn)測(cè)試中的表現(xiàn)。下表總結(jié)了結(jié)果：

表格：約 80 億個(gè)頂級(jí)開源模型在知識(shí)（MMLU）、數(shù)學(xué)（GSM8K）和編碼（HumanEval）方面的基準(zhǔn)準(zhǔn)確率/通過率。分?jǐn)?shù)越高越好。每個(gè)模型的得分反映了基準(zhǔn)測(cè)試的準(zhǔn)確率（MMLU 和 GSM8K）或通過率（HumanEval）。盡管規(guī)模較小，但這些模型取得了優(yōu)異的成績(jī)，在某些領(lǐng)域縮小了與更大規(guī)模模型的差距。

6.1. Llama 3–8B 通用模型

Meta 的 Llama-3-8B 是一款功能全面的通用開放模型，在推理、數(shù)學(xué)和編碼方面均表現(xiàn)出色，同時(shí)保持了足夠的緊湊性，可在單 GPU 上運(yùn)行。它在 MMLU 上達(dá)到了約 68% 的準(zhǔn)確率，在 GSM8K 上達(dá)到了約 80% 的準(zhǔn)確率，在 HumanEval 上達(dá)到了約 62% 的準(zhǔn)確率，使其成為同級(jí)別中性能最強(qiáng)的基礎(chǔ)模型之一。它是一個(gè)均衡的模型，能夠在各種任務(wù)中可靠地執(zhí)行，且無需特別專門化。對(duì)于那些尋求多功能、指令遵循的 LLM 進(jìn)行聊天、問答和輕量級(jí)編碼且無需犧牲性能或多 GPU 設(shè)置的開發(fā)者來說，它是理想之選。

6.2. Mistral 7B — 高效基礎(chǔ)，扎實(shí)基礎(chǔ)

Mistral 7B 是首個(gè)真正挑戰(zhàn)更強(qiáng)大競(jìng)爭(zhēng)對(duì)手的開放模型，憑借其高效的架構(gòu)選擇（例如分組查詢和滑動(dòng)窗口注意力機(jī)制），它在大多數(shù)基準(zhǔn)測(cè)試中均優(yōu)于 Llama-2-13B。它在 MMLU 上的得分約為 60%，在 GSM8K 上的得分約為 50%，編碼能力一般（HumanEval 約為 26%），但其出色的性能重量比脫穎而出。Mistral 針對(duì)速度和更低的內(nèi)存占用進(jìn)行了優(yōu)化，對(duì)于資源受限的部署或長(zhǎng)上下文應(yīng)用而言，它仍然是一個(gè)強(qiáng)大的基礎(chǔ)模型。盡管較新的模型已經(jīng)超越了它的原始性能，但它仍然是快速推理和可擴(kuò)展性的熱門選擇。

6.3. DeepSeek——針對(duì)推理和代碼優(yōu)化的 8B 精簡(jiǎn)模型

DeepSeek 精簡(jiǎn)后的 8B 模型在同等規(guī)模的開源模型中表現(xiàn)最佳，尤其是在數(shù)學(xué)和代碼方面。它在 MMLU 上的得分約為 78%，在 GSM8K 上的得分約為 85.5%，在 HumanEval 上的得分約為 71%，在這些領(lǐng)域中，它的性能堪比甚至超越了之前的 30B+ 模型。這得益于精心設(shè)計(jì)的訓(xùn)練流程，該流程涵蓋了以推理為中心的數(shù)據(jù)集、思路鏈提示和強(qiáng)化學(xué)習(xí)。雖然 DeepSeek 的平衡性不如 Llama 3，但在復(fù)雜推理或程序合成中，當(dāng)用例對(duì)精度要求較高時(shí)，它表現(xiàn)出色。對(duì)于那些正確性高于速度或通用性的應(yīng)用來說，它是最佳選擇。

6.4. 性能與模型大小

即使規(guī)模較小，這些約 80 億參數(shù)的模型在極具挑戰(zhàn)性的基準(zhǔn)測(cè)試中也表現(xiàn)出色，令人驚喜。相比之下，像 GPT-4 這樣的專有模型得分仍然更高（GPT-4 在 MMLU 上的得分超過 85%），但差距已顯著縮小。Llama-3-8B 和 DeepSeek-8B 的表現(xiàn)更是超出預(yù)期。Llama 3 的 MMLU 得分高達(dá) 60 多分，這曾經(jīng)是 300-700 億模型的水平，而 DeepSeek 在 GSM8K 數(shù)學(xué)上的得分約為 85%，接近更大規(guī)模模型的性能。此外，這些模型能夠在單個(gè) GPU 上運(yùn)行，這證明了該領(lǐng)域模型設(shè)計(jì)和訓(xùn)練技術(shù)的快速進(jìn)步。

總而言之，每種模式都有其獨(dú)特的優(yōu)勢(shì)：

• Llama-3–8B是最好的通用小型 LLM，具有知識(shí)、推理和代碼方面的全面能力。
• Mistral 7B性能高效，由于其占用空間小，在理解和推理任務(wù)中保持了強(qiáng)大的基礎(chǔ)。
• DeepSeek 8B（精簡(jiǎn)版）高度專業(yè)化，推動(dòng)了 8B 模型的數(shù)學(xué)推理和編碼的最新水平。

這三款產(chǎn)品都表明，2025 年中期的開放式 8B 規(guī)模模型可以提供令人印象深刻的結(jié)果，通?？膳c舊的 13B-30B 模型相媲美或更好，同時(shí)保持輕便性和易于使用。