大家好，我是肆〇柒。DeepSeek-V3 曾經(jīng)一度備受全球矚目，從 V3 發(fā)布至今，這一開源模型已經(jīng)在眾多企業(yè)場景中成功落地。然而，在落地過程中，由于其復雜的工程細節(jié)，相信許多團隊也遇到了不少挑戰(zhàn)。剛好，我最近讀到一篇論文——《Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures》。這篇論文相比于 DeepSeek 的技術(shù)報告，更加深入探討了 DeepSeek-V3 在硬件與模型協(xié)同設計方面的創(chuàng)新實踐，不僅揭示了 DeepSeek-V3 如何巧妙應對大規(guī)模語言模型（LLM）在內(nèi)存容量、計算效率和通信帶寬等方面的挑戰(zhàn)，還為我們展示了未來 AI 硬件架構(gòu)發(fā)展的新方向。

這些內(nèi)容將有助于大家更加深刻地理解 DeepSeek 的工程優(yōu)化細節(jié)，從而在進行私有化落地時，能夠結(jié)合具體業(yè)務場景，更好地理解并解決遇到的問題。下面就一起來了解一下。

DeepSeek-V3 的模型架構(gòu)設計

Multi-head Latent Attention（MLA）

Multi-head Latent Attention（MLA）是 DeepSeek-V3 中一項關鍵的創(chuàng)新技術(shù)，它巧妙地解決了傳統(tǒng)注意力機制在處理長序列和多輪對話時面臨的內(nèi)存瓶頸問題。在傳統(tǒng)的 Transformer 架構(gòu)中，注意力機制需要存儲大量的 Key-Value（KV）緩存，以便在生成后續(xù) token 時進行計算。然而，這種方法在內(nèi)存消耗方面十分巨大，尤其是當處理長序列或需要多輪對話交互時，KV 緩存的存儲需求會呈指數(shù)級增長，嚴重限制了模型的擴展性和推理速度。

MLA 的核心思想是通過一個投影矩陣，將所有注意力頭的 KV 表示壓縮到一個更小的潛在向量中。這個潛在向量不僅能夠保留原始 KV 緩存的關鍵信息，還能在很大程度上減少內(nèi)存占用。在推理過程中，只需要緩存這個潛在向量，就可以在后續(xù)的計算中重建出所需的 KV 信息，從而大大降低了內(nèi)存消耗。

MLA 的實現(xiàn)原理可以表示為如下公式：

其中， 表示潛在向量， 是投影矩陣， 是輸入隱藏狀態(tài)。通過這種方式，MLA 將每個注意力頭的 KV 表示壓縮到一個共享的潛在空間中。在解碼階段，根據(jù)潛在向量重建 KV 緩存的公式為：

在這里，和  分別是重建 Key 和 Value 的投影矩陣。通過這種潛在向量的壓縮與重建機制，MLA 在保證模型性能的同時，顯著減少了內(nèi)存占用。

如圖表所示，在與其他模型的對比中，DeepSeek-V3 的 MLA 技術(shù)展現(xiàn)出了卓越的內(nèi)存壓縮效果。

例如，與 LLaMA-3.1 405B 相比，DeepSeek-V3 的 KV 緩存大小僅為后者的  左右，這對于需要處理長序列和多輪對話的場景來說，無疑是一個巨大的優(yōu)勢。這不僅使得模型能夠處理更長的上下文，還大大提高了推理速度，降低了對硬件內(nèi)存資源的要求。

DeepSeek-V3 的基本架構(gòu)上圖展示了 DeepSeek-V3 的基本架構(gòu)，其中融合了 DeepSeek-V2 的 MLA 和 DeepSeekMoE 架構(gòu)，并引入了多 token 預測模塊和 FP8 混合精度訓練，以提升推理和訓練效率。圖中還標明了不同部分計算所使用的精度，所有組件的輸入和輸出均采用 BF16。

Mixture of Experts（MoE）架構(gòu)的原理與協(xié)同

Mixture of Experts（MoE）架構(gòu)是一種稀疏計算模型，它通過在不同的計算任務中選擇性地激活不同的專家網(wǎng)絡，從而實現(xiàn)模型規(guī)模的擴展，同時避免了計算資源的浪費。DeepSeek-V3 中的 MoE 架構(gòu)采用了先進的門控機制和專家選擇策略，以確保在每個 token 的處理過程中，只有最相關的專家網(wǎng)絡被激活。

MoE 架構(gòu)的算法邏輯可以分為以下幾個關鍵步驟：

1. 專家選擇（Expert Selection）

在 MoE 架構(gòu)中，輸入數(shù)據(jù)首先被傳遞到一個門控網(wǎng)絡（Gating Network）。門控網(wǎng)絡的作用是根據(jù)輸入數(shù)據(jù)的特征，計算出每個專家網(wǎng)絡的權(quán)重分數(shù)。這些權(quán)重分數(shù)反映了每個專家網(wǎng)絡對當前輸入數(shù)據(jù)的適用性。具體來說，門控網(wǎng)絡會輸出一個概率分布，表示每個專家網(wǎng)絡被選中的概率。通常，門控網(wǎng)絡會采用一個 softmax 函數(shù)來生成這些概率值。例如，對于一個包含 ( N ) 個專家網(wǎng)絡的 MoE 架構(gòu)，門控網(wǎng)絡的輸出可以表示為：

其中， 是輸入數(shù)據(jù)，和 是門控網(wǎng)絡的權(quán)重和偏置參數(shù)， 是門控網(wǎng)絡的輸出，表示每個專家網(wǎng)絡的權(quán)重分數(shù)。

在實際應用中，通常會選擇權(quán)重分數(shù)最高的前 個專家網(wǎng)絡進行激活。這種方法被稱為“Top-K 選擇”。例如，如果 ，則每個輸入數(shù)據(jù)只會激活權(quán)重分數(shù)最高的兩個專家網(wǎng)絡。這種稀疏激活機制大大減少了計算量，同時保留了模型的多樣性。

2. 專家處理（Expert Processing）

一旦選定了要激活的專家網(wǎng)絡，這些專家網(wǎng)絡將對輸入數(shù)據(jù)進行處理。每個專家網(wǎng)絡是一個獨立的神經(jīng)網(wǎng)絡，通常具有相同的架構(gòu)，但權(quán)重不同。專家網(wǎng)絡的輸出可以表示為：

其中，表示第  個專家網(wǎng)絡的函數(shù)， 是第  個專家網(wǎng)絡的輸出。每個專家網(wǎng)絡的輸出都是對輸入數(shù)據(jù)的一種解釋或表示。

3. 結(jié)果融合（Result Fusion）

在所有被激活的專家網(wǎng)絡完成處理后，需要將它們的輸出結(jié)果進行融合，以生成最終的輸出。融合過程通?；陂T控網(wǎng)絡計算出的權(quán)重分數(shù)進行加權(quán)求和。具體來說，最終輸出可以表示為：

其中，是第  個專家網(wǎng)絡的權(quán)重分數(shù)， 是第  個專家網(wǎng)絡的輸出。這種加權(quán)求和的方式確保了每個專家網(wǎng)絡的貢獻與其重要性成正比。

這種架構(gòu)與 Multi-head Latent Attention（MLA）協(xié)同工作，共同優(yōu)化了計算 - 通信權(quán)衡。MLA 在注意力機制層面減少了內(nèi)存消耗和通信開銷，而 MoE 則通過稀疏激活的方式，降低了計算復雜度和通信壓力。兩者相互配合，使得 DeepSeek-V3 在大規(guī)模訓練和推理過程中，能夠更高效地利用硬件資源，實現(xiàn)性能的顯著提升。

從實驗數(shù)據(jù)可以看出，MoE 架構(gòu)在參數(shù)規(guī)模和計算成本方面具有明顯的優(yōu)勢。例如，DeepSeek-V3 的參數(shù)規(guī)模達到了 671B，但每個 token 激活的計算量僅為 37B，遠低于密集模型在相同參數(shù)規(guī)模下的計算需求。這表明 MoE 架構(gòu)能夠在保持模型性能的同時，大幅降低計算資源的消耗，提高模型的性價比和可擴展性。

下表列出了 MoE 和密集模型的訓練計算成本對比，在序列長度為 4096 的情況下，DeepSeek-V3 的訓練計算成本僅為每 token 250 GFLOPS，而 Qwen-72B 密集模型和 LLaMA-405B 密集模型的訓練計算成本分別高達每 token 394 GFLOPS 和 2448 GFLOPS。

FP8 混合精度訓練

FP8 混合精度訓練是 DeepSeek-V3 提升訓練效率和模型性能的又一重要創(chuàng)新。與傳統(tǒng)的 FP16 和 FP32 精度訓練相比，F(xiàn)P8 在內(nèi)存占用和計算速度方面具有顯著的優(yōu)勢。然而，由于其較低的精度，F(xiàn)P8 訓練也面臨著數(shù)值穩(wěn)定性和模型收斂性等挑戰(zhàn)。

為了充分發(fā)揮 FP8 的優(yōu)勢，同時保證訓練的穩(wěn)定性，DeepSeek-V3 采用了以下關鍵策略：

1. 1. 高精度累積 ：在計算梯度時，采用 FP32 精度進行累積，以避免數(shù)值下溢和上溢問題，確保訓練過程的穩(wěn)定性。
2. 2. 細粒度量化 ：對激活和模型權(quán)重進行細粒度量化，采用 1x128 的 tile-wise 量化和 128x128 的 block-wise 量化策略，以減少量化誤差，提高模型精度。
3. 3. 張量核心優(yōu)化 ：充分利用 NVIDIA GPU 的張量核心（Tensor Cores），實現(xiàn) FP8 矩陣乘法的高效計算，加速訓練過程。

從實驗數(shù)據(jù)來看，F(xiàn)P8 混合精度訓練在 DeepSeek-V3 中取得了良好的平衡效果。與 FP16 相比，F(xiàn)P8 能夠?qū)?nèi)存占用減少約 50%，同時在訓練速度上也有顯著提升。盡管在某些情況下可能會出現(xiàn)精度損失，但通過上述優(yōu)化策略，DeepSeek-V3 將相對精度損失控制在了 0.25% 以內(nèi)，幾乎不會對模型的最終性能產(chǎn)生明顯影響。這表明 FP8 混合精度訓練是一種極具潛力的訓練方法，能夠在保證模型質(zhì)量的前提下，大幅提高訓練效率，降低硬件成本。

內(nèi)存效率優(yōu)化的實踐

低精度模型

低精度模型，如 FP8，在內(nèi)存消耗方面的表現(xiàn)令人矚目。與傳統(tǒng)的 BF16 模型相比，F(xiàn)P8 將內(nèi)存占用減少了一半，這對于緩解 AI 內(nèi)存墻問題具有重要意義。在現(xiàn)代 AI 系統(tǒng)中，內(nèi)存資源往往成為限制模型規(guī)模和性能的關鍵因素。通過采用低精度模型，可以在不顯著降低模型性能的情況下，大幅度減少內(nèi)存占用，提高系統(tǒng)的整體效率。

然而，低精度模型的實現(xiàn)并非一帆風順。它需要在硬件和軟件層面進行深入的優(yōu)化和協(xié)調(diào)。在硬件方面，需要確保 GPU 等計算設備能夠高效地支持 FP8 等低精度計算。例如，NVIDIA 的 Hopper 架構(gòu) GPU 就對 FP8 計算提供了一定的支持，但這仍然需要軟件層面的進一步優(yōu)化。在軟件方面，需要開發(fā)專門的量化算法和訓練框架，以確保低精度模型能夠在訓練和推理過程中保持良好的性能。

此外，低精度模型在不同硬件平臺上的適用性也需要仔細評估。例如，在某些對精度要求較高的應用場景中，可能需要對低精度模型進行進一步的優(yōu)化和調(diào)整，以滿足特定的業(yè)務需求。同時，還需要考慮不同硬件平臺的內(nèi)存架構(gòu)和計算能力，以充分發(fā)揮低精度模型的優(yōu)勢。

下表對比了 DeepSeek-V3 與其他模型的 KV 緩存大小，在 BF16 精度下，DeepSeek-V3 的 MLA 技術(shù)顯著減少了 KV 緩存占用。DeepSeek-V3 每個 token 僅需 70.272 KB，而 Qwen-2.5 72B 和 LLaMA-3.1 405B 分別需要 327.680 KB 和 516.096 KB。

MLA 壓縮 KV 緩存的效果量化

如論文中所述，MLA 技術(shù)在壓縮 KV 緩存方面取得了顯著的成果。通過將 KV 表示壓縮到潛在向量中，MLA 大大減少了 KV 緩存的存儲需求。具體來說，DeepSeek-V3 的 MLA 實現(xiàn)將 KV 緩存大小降低到了每個 token 僅需 70.272 KB，而相比之下，Qwen-2.5 72B（采用 GQA 技術(shù)）的每個 token KV 緩存大小為 327.680 KB，LLaMA-3.1 405B（同樣采用 GQA 技術(shù)）的每個 token KV 緩存大小更是高達 516.096 KB。這表明 MLA 在 KV 緩存壓縮方面具有明顯的優(yōu)勢。

這種 KV 緩存的壓縮對于模型的性能有著深遠的影響。首先，在推理速度方面，較小的 KV 緩存意味著更少的內(nèi)存訪問和數(shù)據(jù)傳輸，從而降低了推理延遲，提高了推理速度。其次，在內(nèi)存占用方面，KV 緩存的壓縮使得模型能夠在有限的內(nèi)存資源中處理更長的序列和更大的批量，提高了系統(tǒng)的整體吞吐量。此外，對于需要在資源受限環(huán)境中運行的場景，如移動端或嵌入式設備，MLA 的壓縮效果使得大型語言模型的部署成為可能，大大拓展了模型的應用范圍。

其他內(nèi)存優(yōu)化方法的對比與應用

除了 MLA 和低精度模型之外，還有其他一些內(nèi)存優(yōu)化方法在 AI 領域得到了廣泛的研究和應用。例如，共享 KV（如 Grouped-Query Attention，GQA；Multi-Query Attention，MQA）通過讓多個注意力頭共享同一組 KV 對，顯著減少了 KV 存儲需求。這種方法在不增加太多計算復雜度的情況下，實現(xiàn)了內(nèi)存占用的有效降低，適用于多種 Transformer 架構(gòu)的變體。

窗口化 KV（Windowed KV）則針對長序列場景，只在緩存中保留一個滑動窗口內(nèi)的 KV 對，從而減少了存儲需求。然而，這種方法可能會對長序列的推理能力產(chǎn)生一定的影響，因為它丟棄了窗口之外的信息。在實際應用中，需要根據(jù)具體的業(yè)務場景和模型需求，權(quán)衡窗口大小與推理性能之間的關系。

量化壓縮是一種更為通用的內(nèi)存優(yōu)化方法，它通過使用低比特表示（如 4 位或 8 位量化）來減少 KV 對的存儲需求。這種方法可以在保持模型性能基本不變的前提下，顯著降低內(nèi)存占用。量化壓縮技術(shù)的關鍵在于如何設計高效的量化算法，以最小化量化誤差對模型性能的影響。

在實際應用中，選擇合適的內(nèi)存優(yōu)化方法需要綜合考慮多種因素，包括模型的規(guī)模、序列長度、硬件資源限制以及業(yè)務場景對推理性能和精度的要求等。例如，在需要處理長序列且對內(nèi)存占用敏感的場景中，可以優(yōu)先考慮 MLA 和窗口化 KV 的結(jié)合應用；而在對推理速度要求較高且硬件資源相對有限的場景中，低精度模型和量化壓縮技術(shù)則可能更為合適。

降低成本與提高推理速度的策略

MoE 模型的成本效益分析

MoE 模型在降低訓練成本方面展現(xiàn)出了巨大的優(yōu)勢。與傳統(tǒng)的密集模型相比，MoE 模型通過稀疏激活的方式，在保持模型性能的同時，大幅減少了計算資源的消耗。以 DeepSeek-V3 為例，其參數(shù)規(guī)模達到了 671B，但每個 token 激活的計算量僅為 37B，而相比之下，同樣規(guī)模的密集模型（如 405B 的 LLaMA-3.1）在訓練過程中需要激活所有的參數(shù)，導致計算成本急劇上升。

從上表中的數(shù)據(jù)可以看出，DeepSeek-V3 的訓練計算成本為每 token 250 GFLOPS，而 72B 的 Qwen-72B 密集模型的訓練計算成本為每 token 394 GFLOPS，405B 的 LLaMA-405B 密集模型的訓練計算成本更是高達每 token 2448 GFLOPS。這表明 MoE 模型在大規(guī)模訓練中具有顯著的經(jīng)濟效益，能夠在相同的硬件資源下實現(xiàn)更大的模型規(guī)模和更高的性能。

這種成本效益的提升不僅有助于降低大規(guī)模模型訓練的門檻，還使得更多的研究團隊和企業(yè)能夠參與到 AI 技術(shù)的創(chuàng)新中來。同時，隨著模型規(guī)模的擴大和性能的提升，MoE 模型也能夠為各種復雜的應用場景提供更強大的支持，推動 AI 技術(shù)在更多領域的廣泛應用。

推理速度的影響因素分析

推理速度是衡量 AI 模型性能的重要指標之一，它直接關系到用戶體驗和系統(tǒng)的實際可用性。推理速度的影響因素可以主要從系統(tǒng)整體吞吐量和單次請求延遲兩個維度進行分析。

從系統(tǒng)整體吞吐量的角度來看，提高吞吐量的關鍵在于充分利用硬件資源，減少計算和通信的空閑時間。DeepSeek-V3 通過采用雙微批處理重疊策略，巧妙地將通信延遲與計算過程重疊起來，使得 GPU 能夠始終保持高利用率。例如，在線推理系統(tǒng)中，通過將 MLA 和 MoE 的計算過程分解為兩個階段，并在兩個微批處理之間進行交替計算和通信，實現(xiàn)了計算與通信的無縫銜接。這種策略不僅提高了系統(tǒng)的整體吞吐量，還降低了推理延遲，為用戶提供更流暢的服務體驗。

在單次請求延遲方面，影響因素主要包括模型的計算復雜度、KV 緩存的訪問速度以及通信帶寬等。為了降低單次請求延遲，需要對模型架構(gòu)進行優(yōu)化，減少不必要的計算和數(shù)據(jù)傳輸。例如，通過采用 MLA 技術(shù)，減少 KV 緩存的存儲需求和訪問時間；通過優(yōu)化 MoE 架構(gòu)中的專家選擇和通信策略，降低通信開銷；以及通過使用低精度計算和量化壓縮技術(shù)，加速計算過程。

此外，推理速度還受到硬件性能的直接影響。高性能的 GPU、高速的內(nèi)存和通信接口等硬件設施能夠顯著提高推理速度。因此，在設計 AI 系統(tǒng)時，需要綜合考慮軟件優(yōu)化和硬件選型，以實現(xiàn)推理速度的最大化。

Multi-Token Prediction（MTP）技術(shù)的實證

Multi-Token Prediction（MTP）技術(shù)是 DeepSeek-V3 提高推理速度的一項創(chuàng)新性嘗試。傳統(tǒng)的自回歸模型在推理過程中通常一次只生成一個 token，這導致了推理過程中的順序瓶頸，限制了推理速度的提升。而 MTP 框架通過在每次解碼步驟中同時生成多個候選 token，并在并行驗證這些 token，從而顯著提高了推理效率。

MTP 的實現(xiàn)原理可以概括為以下幾個步驟：

1. 多 token 預測 ：在推理過程中，模型不僅預測下一個 token，還會預測接下來的多個 token，生成多個候選序列。
2. 并行驗證 ：通過輕量級的網(wǎng)絡結(jié)構(gòu)對生成的候選序列進行快速驗證，篩選出最有可能的序列。
3. 結(jié)果融合 ：將驗證后的序列進行融合，得到最終的輸出結(jié)果。

實際測試數(shù)據(jù)表明，MTP 技術(shù)在提高推理吞吐量方面具有顯著的效果。例如，在預測第二個后續(xù) token 時，MTP 模塊的接受率能夠達到 80% - 90%，使得生成吞吐量（TPS）相比沒有 MTP 模塊的場景提高了 1.8 倍。這表明 MTP 技術(shù)在一定程度上能夠有效緩解傳統(tǒng)自回歸模型在推理速度方面的限制，為實現(xiàn)更快速、更高效的 AI 服務提供了一種新的解決方案。

然而，MTP 技術(shù)也存在一定的局限性。由于其需要同時處理多個候選序列，可能會導致計算資源的增加和模型復雜度的提升。在某些對延遲要求極高的場景中，MTP 的并行驗證過程可能會引入額外的延遲。因此，在實際應用中，需要根據(jù)具體的業(yè)務需求和硬件條件，合理選擇和調(diào)整 MTP 技術(shù)的參數(shù)和策略，以實現(xiàn)最佳的推理性能。

網(wǎng)絡拓撲優(yōu)化的探索

Multi-Plane Network Topology 的優(yōu)勢與實現(xiàn)

Multi-Plane Network Topology 是 DeepSeek-V3 在網(wǎng)絡通信優(yōu)化方面的重要創(chuàng)新之一。傳統(tǒng)的網(wǎng)絡拓撲結(jié)構(gòu)在處理大規(guī)模集群通信時，往往會面臨網(wǎng)絡擁塞、通信延遲高以及擴展性差等問題。而 Multi-Plane Network Topology 通過將網(wǎng)絡劃分為多個獨立的平面，并在每個平面中采用多層 Fat-Tree 架構(gòu)，有效地解決了這些問題。

八平面雙層胖樹擴展網(wǎng)絡：每對GPU和IB網(wǎng)卡屬于一個網(wǎng)絡平面?？缙矫媪髁勘仨毷褂昧硪粔K網(wǎng)卡以及PCIe或NVLink進行節(jié)點內(nèi)轉(zhuǎn)發(fā)

DeepSeek-V3 的 Multi-Plane Network Topology 具有以下優(yōu)勢：

1. 故障隔離與容錯性 ：由于每個網(wǎng)絡平面獨立運行，一個平面中的故障不會影響其他平面的正常工作，大大提高了系統(tǒng)的可靠性。例如，當某個平面中的交換機或鏈路出現(xiàn)故障時，其他平面仍然可以繼續(xù)工作，確保了整個集群的穩(wěn)定運行。
2. 成本效率 ：與傳統(tǒng)的三層 Fat-Tree 拓撲相比，Multi-Plane Network Topology 能夠在保持成本相近的情況下，支持更多的計算節(jié)點。如論文中的表 3 所示，采用 MPFT（Multi-Plane Fat-Tree）拓撲的網(wǎng)絡在支持 16,384 個 GPU 時，其總成本與支持 10k 端點的兩層 Fat-Tree（FT2）網(wǎng)絡成本相近，但能夠提供更強大的擴展能力和通信性能。
3. 低延遲與高帶寬 ：通過優(yōu)化網(wǎng)絡拓撲結(jié)構(gòu)和通信協(xié)議，Multi-Plane Network Topology 實現(xiàn)了更低的通信延遲和更高的帶寬利用率。這在需要頻繁進行大規(guī)模數(shù)據(jù)傳輸和同步的 AI 訓練和推理場景中，能夠顯著提高系統(tǒng)的整體性能。例如，在進行模型的分布式訓練時，低延遲的網(wǎng)絡通信能夠加快梯度同步的速度，從而縮短訓練時間，提高訓練效率。如下表為MPFT網(wǎng)絡與MRFT網(wǎng)絡的訓練指標比較數(shù)據(jù)

NCCL all-to-all性能從32個GPU擴展到128個GPU，針對MRFT和MPFT網(wǎng)絡

DeepEP在MPFT上的表現(xiàn)：EP分發(fā)和合并內(nèi)核通過全互聯(lián)方式在16到128個GPU之間通信。每個GPU處理4096個標記。觀察到的吞吐量幾乎達到了400Gbps網(wǎng)卡帶寬的飽和狀態(tài)

為了驗證 Multi-Plane Network Topology 的性能優(yōu)勢，研究者進行了實際的實驗測試。實驗結(jié)果表明，MPFT 網(wǎng)絡在大規(guī)模分布式訓練中的通信效率與 MRFT 網(wǎng)絡相當，但具有更高的可擴展性和成本效益。

在不同消息大小下，NCCL全互聯(lián)測試中MPFT網(wǎng)絡和MRFT網(wǎng)絡的延遲對比，表明它們的性能幾乎相同

下表對比了不同網(wǎng)絡拓撲的成本，采用 MPFT（多平面 Fat-Tree）拓撲的網(wǎng)絡在支持 16,384 個 GPU 時，總成本為 72 百萬美元，與支持 10k 端點的兩層 Fat-Tree（FT2）網(wǎng)絡成本相近，但提供了更強大的擴展能力和通信性能。

在實現(xiàn)方面，Multi-Plane Network Topology 需要對網(wǎng)絡設備和通信協(xié)議進行深度定制和優(yōu)化。例如，每個 GPU 節(jié)點配備多個網(wǎng)絡接口卡（NIC），每個 NIC 連接到不同的網(wǎng)絡平面。同時，在通信協(xié)議棧中引入了特殊的路由機制和流量調(diào)度策略，以確保數(shù)據(jù)能夠在多個平面之間高效地傳輸和交換。此外，為了進一步降低通信延遲，還需要對網(wǎng)絡硬件進行優(yōu)化，如采用高速的 InfiniBand 交換機和低延遲的通信芯片等。

理想多平面網(wǎng)絡：每個網(wǎng)卡（NIC）都配備了多個物理端口，每個端口都連接到一個獨立的網(wǎng)絡平面。一個隊列對（QP）可以同時利用所有可用端口進行數(shù)據(jù)包的發(fā)送和接收，這需要網(wǎng)卡本身支持亂序放置（out-of-order placement）

上圖描述了理想的多平面網(wǎng)絡架構(gòu)，每個 NIC 配備多個物理端口，每個端口連接到不同的網(wǎng)絡平面。單個隊列對（QP）可以同時利用所有可用端口進行數(shù)據(jù)包的發(fā)送和接收，這需要 NIC 原生支持數(shù)據(jù)包的無序放置。然而，當前的硬件實現(xiàn)還存在一些限制。例如，由于當前 400G NDR InfiniBand 的限制，跨平面通信需要通過節(jié)點內(nèi)的轉(zhuǎn)發(fā)，這會引入額外的延遲。如果未來的硬件能夠?qū)崿F(xiàn)規(guī)模擴展（scale-up）和擴展出（scale-out）網(wǎng)絡的融合，這種延遲可以顯著降低，從而進一步增強多平面網(wǎng)絡的可行性

低延遲通信網(wǎng)絡的實踐

低延遲通信網(wǎng)絡在大規(guī)模模型訓練和推理中發(fā)揮著至關重要的作用。在 DeepSeek-V3 的實踐中，通過采用 InfiniBand（IB）網(wǎng)絡和一系列優(yōu)化技術(shù)，實現(xiàn)了低延遲、高帶寬的通信環(huán)境，為模型的高效訓練和推理提供了有力支持。

IB 網(wǎng)絡相較于 RoCE（RDMA over Converged Ethernet）等其他網(wǎng)絡技術(shù)，在延遲方面具有明顯的優(yōu)勢。如論文中的表 5 所示，在進行 64B 數(shù)據(jù)傳輸時，IB 在相同葉節(jié)點和跨葉節(jié)點的傳輸延遲分別為 2.8us 和 3.7us，而 RoCE 的對應延遲則為 3.6us 和 5.6us。這種低延遲特性對于需要頻繁進行小數(shù)據(jù)包通信的 AI 應用來說至關重要，因為它能夠顯著減少通信開銷，提高系統(tǒng)吞吐量。

然而，盡管 IB 網(wǎng)絡在性能上表現(xiàn)出色，但其也存在一些局限性，如成本較高、可擴展性相對較差等。針對這些問題，研究人員提出了一系列改進 RoCE 性能的建議，例如開發(fā)專用的低延遲 RoCE 交換機、優(yōu)化路由策略以及改進流量隔離和擁塞控制機制等。這些改進措施是為了提高 RoCE 網(wǎng)絡的性能，使其能夠在大規(guī)模 AI 系統(tǒng)中發(fā)揮更大的作用。

不同路由方法（ECMP、AR、靜態(tài)路由）以及不同TP維度下AllGather和ReduceScatter通信原語的RoCE網(wǎng)絡帶寬

通過優(yōu)化路由策略，可以顯著提高 RoCE 網(wǎng)絡在大規(guī)模分布式通信中的性能。例如，自適應路由（AR）能夠動態(tài)地將數(shù)據(jù)包分散到多個路徑上，從而避免網(wǎng)絡擁塞，提高通信效率。

此外，DeepSeek-V3 還采用了 InfiniBand GPUDirect Async（IBGDA）技術(shù)，進一步降低了網(wǎng)絡通信中的延遲。通過允許 GPU 直接填充工作請求（WR）內(nèi)容并寫入 RDMA 門鈴 MMIO 地址，IBGDA 消除了傳統(tǒng)通信模式中 GPU 與 CPU 之間頻繁的交互開銷，提高了通信效率。這在大規(guī)模分布式訓練和推理場景中，能夠顯著減少通信延遲，提高系統(tǒng)的整體性能。

以下是 H800 節(jié)點互連的示意圖：

H800 節(jié)點互連

硬件與模型的相互依賴關系

硬件特性對模型設計的塑造

硬件特性在很大程度上塑造了 DeepSeek-V3 的模型設計。例如，F(xiàn)P8 低精度計算作為一種新興的硬件特性，為模型訓練和推理提供了更高的計算效率和更低的內(nèi)存占用。DeepSeek-V3 針對 FP8 硬件特性進行了專門的優(yōu)化，開發(fā)了一套兼容 FP8 的訓練框架，使得模型能夠在充分利用硬件能力的同時，保持良好的訓練穩(wěn)定性和模型精度。

此外，硬件的規(guī)模擴展（scale-up）和擴展出（scale-out）網(wǎng)絡特性也對模型設計產(chǎn)生了重要影響。為了避免張量并行（TP）在有限的 NVLink 帶寬下效率低下，DeepSeek-V3 在訓練過程中盡量避免使用 TP，而在推理階段則根據(jù)實際需求選擇性地采用 TP 來降低延遲和提高 TPOT 性能。同時，通過對模型架構(gòu)進行分解和重組，使得模型能夠更好地適應硬件的并行計算模式，提高整體性能。

例如，DeepSeek-V3 的 Multi-Plane Network Topology 設計，充分考慮了硬件網(wǎng)絡的特性和限制。通過將網(wǎng)絡劃分為多個獨立的平面，每個平面采用多層 Fat-Tree 架構(gòu)，實現(xiàn)了故障隔離、低延遲通信和成本效益的統(tǒng)一。這種網(wǎng)絡拓撲結(jié)構(gòu)不僅提高了系統(tǒng)的可靠性和通信效率，還為大規(guī)模模型的分布式訓練和推理提供了有力支持。

模型發(fā)展對硬件需求的推動

隨著 LLMs 的不斷發(fā)展和模型規(guī)模的日益擴大，它們對硬件的需求也在不斷增長。DeepSeek-V3 的成功實踐表明，現(xiàn)有的硬件架構(gòu)在內(nèi)存容量、計算能力和通信帶寬等方面已經(jīng)難以滿足未來大規(guī)模模型的需求。因此，模型的發(fā)展推動了下一代硬件的研發(fā)，促使硬件廠商不斷創(chuàng)新和優(yōu)化硬件技術(shù)。

例如，為了滿足模型對內(nèi)存容量和帶寬的高要求，硬件廠商正在探索新型的內(nèi)存技術(shù)，如高帶寬內(nèi)存（HBM）的進一步升級和優(yōu)化，以及內(nèi)存語義通信和順序問題的改進等。通過提高內(nèi)存的帶寬和容量，能夠更好地支持大型模型的訓練和推理，降低內(nèi)存訪問延遲，提高系統(tǒng)性能。

在計算能力方面，硬件廠商需要進一步提升 GPU 等計算設備的計算效率，特別是在低精度計算和混合精度計算方面。例如，開發(fā)支持更高精度累積的張量核心，以及優(yōu)化對細粒度量化技術(shù)的支持，能夠提高模型的訓練速度和精度，滿足大規(guī)模模型的計算需求。

通信帶寬也是模型發(fā)展中的一個關鍵瓶頸。硬件廠商需要研發(fā)更高帶寬、更低延遲的網(wǎng)絡互連技術(shù)，如統(tǒng)一總線（UB）、Ultra Ethernet 等。這些新技術(shù)將有助于提高大規(guī)模集群的通信效率，減少通信延遲，為分布式模型訓練和推理提供更強大的支持。

此外，模型的發(fā)展還推動了硬件在可靠性、可擴展性和易用性等方面的進步。例如，為了應對大規(guī)模集群中硬件故障的頻繁發(fā)生，硬件廠商需要開發(fā)更先進的錯誤檢測和糾正機制，提高系統(tǒng)的魯棒性。同時，通過優(yōu)化硬件的架構(gòu)設計和軟件工具鏈，提高硬件的可擴展性和易用性，使得研究人員和工程師能夠更方便地開發(fā)和部署大規(guī)模模型。

以硬件驅(qū)動模型設計

硬件特性對架構(gòu)選擇的影響

DeepSeek-V3 的架構(gòu)選擇深受硬件特性的影響，尤其是 FP8 低精度計算和網(wǎng)絡拓撲特性。FP8 低精度計算作為一種新興的硬件特性，為模型訓練和推理提供了更高的計算效率和更低的內(nèi)存占用。DeepSeek-V3 針對 FP8 硬件特性進行了專門的優(yōu)化，開發(fā)了一套兼容 FP8 的訓練框架，使得模型能夠在充分利用硬件能力的同時，保持良好的訓練穩(wěn)定性和模型精度。

此外，硬件的網(wǎng)絡拓撲特性也對模型設計產(chǎn)生了重要影響。為了避免張量并行（TP）在有限的 NVLink 帶寬下效率低下，DeepSeek-V3 在訓練過程中盡量避免使用 TP，而在推理階段則根據(jù)實際需求選擇性地采用 TP 來降低延遲和提高 TPOT 性能。同時，通過對模型架構(gòu)進行分解和重組，使得模型能夠更好地適應硬件的并行計算模式，提高整體性能。

例如，DeepSeek-V3 的 Multi-Plane Network Topology 設計，充分考慮了硬件網(wǎng)絡的特性和限制。通過將網(wǎng)絡劃分為多個獨立的平面，每個平面采用多層 Fat-Tree 架構(gòu)，實現(xiàn)了故障隔離、低延遲通信和成本效益的統(tǒng)一。這種網(wǎng)絡拓撲結(jié)構(gòu)不僅提高了系統(tǒng)的可靠性和通信效率，還為大規(guī)模模型的分布式訓練和推理提供了有力支持。

硬件特性對模型性能的影響

硬件特性不僅影響了 DeepSeek-V3 的架構(gòu)選擇，還對模型的性能產(chǎn)生了深遠的影響。例如，F(xiàn)P8 計算的引入顯著提高了訓練速度，同時降低了內(nèi)存占用。通過采用 FP8 混合精度訓練，DeepSeek-V3 在保證模型精度的前提下，將內(nèi)存占用減少約 50%，訓練速度顯著提升。這種性能的提升使得模型能夠在更短的時間內(nèi)完成訓練，提高了研發(fā)效率，降低了訓練成本。

此外，硬件的內(nèi)存帶寬和計算核心數(shù)量也對模型性能產(chǎn)生了重要影響。為了充分利用 GPU 的高內(nèi)存帶寬，DeepSeek-V3 對模型的內(nèi)存訪問模式進行了優(yōu)化，減少了內(nèi)存訪問沖突和數(shù)據(jù)傳輸延遲。同時，根據(jù) GPU 的計算核心數(shù)量和并行處理能力，對模型的計算任務進行了合理的分配和調(diào)度，提高了計算資源的利用率，進一步提升了模型的訓練和推理速度。

Figure 2 展示了 H800 節(jié)點的互連架構(gòu)，基于 Hopper 架構(gòu)，與 H100 GPU 類似，但 NVLink 帶寬從 900 GB/s 降低到 400 GB/s，以符合監(jiān)管要求。每個節(jié)點配備八個 400G Infiniband (IB) CX7 NIC，增強擴展出能力，彌補帶寬不足。

硬件與模型之間的相互依賴

硬件能力塑造模型創(chuàng)新

硬件能力的發(fā)展為模型創(chuàng)新提供了強大的支持，推動了 DeepSeek-V3 等先進模型的誕生。例如，高性能的 GPU 和高速的內(nèi)存技術(shù)使得大規(guī)模模型的訓練和推理成為可能。同時，硬件的低延遲通信網(wǎng)絡為分布式模型的訓練和推理提供了有力保障，使得模型能夠在大規(guī)模集群中高效運行。

例如，DeepSeek-V3 中的 MoE 架構(gòu)能夠?qū)崿F(xiàn)稀疏激活，這得益于硬件對大規(guī)模并行計算的支持。硬件的高性能計算能力使得在每個 token 的處理過程中，只有最相關的專家網(wǎng)絡被激活，從而實現(xiàn)了模型規(guī)模的擴展，同時避免了計算資源的浪費。這種硬件能力與模型創(chuàng)新的結(jié)合，不僅提高了模型的性能，還為未來模型的發(fā)展提供了新的方向。

模型演變需求推動硬件發(fā)展

隨著 LLM 的不斷發(fā)展和模型規(guī)模的日益擴大，它們對硬件的需求也在不斷增長。DeepSeek-V3 的成功實踐表明，現(xiàn)有的硬件架構(gòu)在內(nèi)存容量、計算能力和通信帶寬等方面已經(jīng)難以滿足未來大規(guī)模模型的需求。因此，模型的發(fā)展推動了下一代硬件的研發(fā)，促使硬件廠商不斷創(chuàng)新和優(yōu)化硬件技術(shù)。

例如，為了滿足模型對內(nèi)存容量和帶寬的高要求，硬件廠商正在探索新型的內(nèi)存技術(shù)，如高帶寬內(nèi)存（HBM）的進一步升級和優(yōu)化，以及內(nèi)存語義通信和順序問題的改進等。通過提高內(nèi)存的帶寬和容量，能夠更好地支持大型模型的訓練和推理，降低內(nèi)存訪問延遲，提高系統(tǒng)性能。

此外，模型的發(fā)展還推動了硬件在可靠性、可擴展性和易用性等方面的進步。例如，為了應對大規(guī)模集群中硬件故障的頻繁發(fā)生，硬件廠商需要開發(fā)更先進的錯誤檢測和糾正機制，提高系統(tǒng)的魯棒性。同時，通過優(yōu)化硬件的架構(gòu)設計和軟件工具鏈，提高硬件的可擴展性和易用性，使得研究人員和工程師能夠更方便地開發(fā)和部署大規(guī)模模型。

硬件開發(fā)未來方向

從 DeepSeek-V3 提取的硬件設計見解

DeepSeek-V3 的實踐為未來硬件設計提供了寶貴的見解。例如，F(xiàn)P8 混合精度計算的廣泛應用表明，低精度計算將成為未來硬件發(fā)展的重要方向。硬件廠商需要進一步優(yōu)化對低精度計算的支持，提高計算效率，降低功耗。

此外，DeepSeek-V3 的 Multi-Plane Network Topology 設計為未來網(wǎng)絡硬件的發(fā)展提供了新的思路。硬件廠商可以借鑒這種網(wǎng)絡拓撲結(jié)構(gòu)，開發(fā)更高性能、更可靠的網(wǎng)絡互連技術(shù)，以滿足大規(guī)模模型的通信需求。

未來硬件與模型協(xié)同設計

為了實現(xiàn)硬件與模型的更好協(xié)同，未來的研究和開發(fā)方向可能包括以下幾個方面：

1. 1. 精確低精度計算單元 ：開發(fā)支持更高精度累積的張量核心，以及優(yōu)化對細粒度量化技術(shù)的支持，能夠提高模型的訓練速度和精度，滿足大規(guī)模模型的計算需求。
2. 2. 規(guī)模擴展與擴展出的融合 ：設計更高效的并行計算架構(gòu)，實現(xiàn)規(guī)模擴展和擴展出的無縫融合，提高硬件資源的利用率，降低通信開銷。
3. 3. 低延遲通信網(wǎng)絡 ：研發(fā)更高帶寬、更低延遲的網(wǎng)絡互連技術(shù)，如統(tǒng)一總線（UB）、Ultra Ethernet 等，提高大規(guī)模集群的通信效率，減少通信延遲。
4. 4. 硬件與模型的深度協(xié)同優(yōu)化 ：通過硬件意識的模型開發(fā)和軟件定義的硬件優(yōu)化，實現(xiàn)兩者在性能、功耗和成本等方面的最佳平衡。

總結(jié)

總結(jié)要點

通過對 DeepSeek-V3 的深入理解，我們領略到了硬件 - 模型協(xié)同設計的無窮魅力和巨大潛力。DeepSeek-V3 作為一款在大規(guī)模 GPU 集群上成功訓練的先進語言模型，憑借其獨特的 Multi-head Latent Attention（MLA）、Mixture of Experts（MoE）架構(gòu)以及 FP8 混合精度訓練等創(chuàng)新技術(shù)，在提高 LLM 訓練和推理效率方面取得了顯著的成就。它不僅成功地解決了內(nèi)存效率、成本效益和推理速度等關鍵問題，還為我們展示了硬件與模型相互促進、共同發(fā)展的良好典范。

從內(nèi)存優(yōu)化的角度來看，MLA 技術(shù)通過巧妙地壓縮 KV 緩存，大幅減少了內(nèi)存占用，使得模型能夠處理更長的序列和更大的批量，提高了系統(tǒng)的吞吐量。同時，低精度模型和量化壓縮技術(shù)的廣泛應用，也為緩解 AI 內(nèi)存墻問題提供了有效的解決方案。在降低成本方面，MoE 架構(gòu)通過稀疏激活的方式，在保持模型性能的同時，顯著降低了訓練和推理的計算成本。此外，MTP 技術(shù)的引入，進一步提高了推理速度，為實現(xiàn)更快速、更高效的 AI 服務開辟了新的途徑。

在網(wǎng)絡拓撲優(yōu)化方面，DeepSeek-V3 所采用的 Multi-Plane Network Topology 為我們提供了一種高效、可靠的大規(guī)模集群通信方案。它通過多個獨立的網(wǎng)絡平面，實現(xiàn)了故障隔離、低延遲通信和成本效益的統(tǒng)一，為大規(guī)模模型的分布式訓練和推理提供了有力支持。同時，低延遲通信網(wǎng)絡的實踐和相關技術(shù)的探索，也為未來網(wǎng)絡硬件的發(fā)展指明了方向。

展望未來

基于 DeepSeek-V3 的實踐經(jīng)驗，我們對未來的 AI 系統(tǒng)架構(gòu)設計充滿了期待。未來可能開發(fā)方向可能包括以下幾個方面：

1. 硬件架構(gòu)的創(chuàng)新 ：隨著模型規(guī)模的不斷增長，硬件廠商需要不斷探索新的架構(gòu)和技術(shù)，如存算一體芯片、新型內(nèi)存技術(shù)、更高性能的網(wǎng)絡互連等，以滿足 AI 工作負載對內(nèi)存、計算和通信的極高要求。
2. 模型優(yōu)化算法的研發(fā) ：研究人員將致力于開發(fā)更高效的模型優(yōu)化算法，進一步提高模型的性能和效率。例如，改進的量化算法、更智能的稀疏激活策略以及新穎的注意力機制等，都將成為未來研究的重點領域。
3. 硬件與模型的深度協(xié)同設計 ：未來的 AI 系統(tǒng)將更加注重硬件與模型之間的深度協(xié)同設計。通過硬件意識的模型開發(fā)和軟件定義的硬件優(yōu)化，實現(xiàn)兩者在性能、功耗和成本等方面的最佳平衡。
4. 系統(tǒng)軟件的優(yōu)化 ：為了充分發(fā)揮硬件和模型的潛力，系統(tǒng)軟件也需要進行深度優(yōu)化。包括高效的分布式訓練框架、智能的資源調(diào)度算法以及用戶友好的開發(fā)工具等，都將是未來系統(tǒng)軟件發(fā)展的重要方向。

DeepSeek-V3 的成功為我們展示了硬件與模型協(xié)同設計的強大力量。它不僅在當前的 AI 領域具有重要的應用價值，更為未來 AI 系統(tǒng)的發(fā)展提供了寶貴的經(jīng)驗和啟示。我們通過這次深入理解 DeepSeek-V3，不僅可以豐富自己的知識儲備，還拓寬了技術(shù)視野。

參考資料

• Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures

     https://arxiv.org/pdf/2505.09343