在大模型發(fā)展進(jìn)程中，MoE 架構(gòu)憑借獨(dú)特優(yōu)勢(shì)備受關(guān)注。與傳統(tǒng) Dense 架構(gòu)相比，它在計(jì)算效率、模型擴(kuò)展性和任務(wù)處理能力等方面表現(xiàn)突出，為大模型性能提升提供了新方向。下面是其優(yōu)勢(shì)：

• 計(jì)算效率更高：MoE 架構(gòu)通過路由器網(wǎng)絡(luò)動(dòng)態(tài)選擇輸入 token 激活的專家集合，僅激活部分參數(shù)，大幅降低計(jì)算量。如 DeepSeek - V3 激活 37B 參數(shù)（占總量 671B 的 5.5%），其 FLOPs 可降低至傳統(tǒng) Dense 架構(gòu)的 30% 以下。在推理時(shí)，MoE 架構(gòu)能根據(jù)輸入動(dòng)態(tài)分配計(jì)算資源，避免不必要計(jì)算，而 Dense 架構(gòu)每次前向傳播都需激活全部參數(shù)，計(jì)算成本高。這種高效計(jì)算模式使 MoE 在處理大規(guī)模數(shù)據(jù)和復(fù)雜任務(wù)時(shí)，速度更快且資源消耗更少。
• 模型擴(kuò)展性更強(qiáng)：增加模型參數(shù)是提升大模型能力的常見方法，但 Dense 架構(gòu)擴(kuò)展參數(shù)會(huì)導(dǎo)致計(jì)算需求劇增。MoE 架構(gòu)則不同，它將任務(wù)分給多個(gè)專家處理，增加專家不會(huì)使計(jì)算需求成比例增加。通過添加專家，MoE 可處理更大、更多樣化的數(shù)據(jù)集，還能促進(jìn)并行處理，加速操作。這一特性使 MoE 能突破計(jì)算資源限制，構(gòu)建參數(shù)規(guī)模更大的模型，提升模型整體性能和泛化能力。
• 知識(shí)表達(dá)更靈活：像 DeepSeek MoE 等創(chuàng)新架構(gòu)，將單個(gè)專家分割為多個(gè)細(xì)粒度子專家，如拆分 FFN 隱藏維度，通過組合式激活提升知識(shí)表達(dá)靈活性。實(shí)驗(yàn)顯示，32 個(gè)子專家配置可使模型在數(shù)學(xué)推理任務(wù)中的準(zhǔn)確率提升 18%。相比之下，Dense 架構(gòu)神經(jīng)元連接固定，在處理復(fù)雜任務(wù)時(shí)，知識(shí)表達(dá)的靈活性和針對(duì)性不如 MoE 架構(gòu)。
• 跨領(lǐng)域知識(shí)遷移能力更強(qiáng)：MoE 架構(gòu)保留部分專家作為共享知識(shí)庫(kù)，如 DeepSeek MoE 隔離 15% 共享專家，既降低參數(shù)冗余度，又增強(qiáng)跨領(lǐng)域知識(shí)遷移能力。在醫(yī)療問答測(cè)試中，該技術(shù)使模型準(zhǔn)確率從 91% 提升至 94%。而 Dense 架構(gòu)在跨領(lǐng)域知識(shí)遷移方面相對(duì)較弱，難以快速適應(yīng)不同領(lǐng)域任務(wù)需求。
• 提升訓(xùn)練效率：以 DeepSeek 為例，其多 tokens 預(yù)測(cè)（MTP）技術(shù)允許模型同時(shí)預(yù)測(cè)多個(gè)連續(xù)位置的 token，極大提高了訓(xùn)練效率。此外，DeepSeek V3 原生支持 FP8 混合精度訓(xùn)練，降低了計(jì)算和存儲(chǔ)需求，使得在資源有限環(huán)境下也能高效訓(xùn)練大規(guī)模模型。而 Dense 模型在訓(xùn)練時(shí)，由于其全連接和全激活的特點(diǎn)，訓(xùn)練效率相對(duì)較低，對(duì)計(jì)算資源的需求也更大。

參考

??https://mp.weixin.qq.com/s/21reK1zrvy8rdz58NQ9aDA?? 騰訊混元大模型面試：奪命11連問

??https://blog.csdn.net/Z_Flank/article/details/145970067?? Qwen-2.5、DeepSeek-R1、DeepSeek-V3 核心區(qū)別

??https://blog.csdn.net/weixin_59191169/article/details/148560050?? 三萬字詳解，一文講清楚Qwen系列，看這一篇就夠了！

??https://blog.51cto.com/u_15497017/13880122?? Qwen3 開源！深度對(duì)比 DeepSeek，一文選對(duì)模型

??https://blog.csdn.net/weixin_41429382/article/details/145400425?? qwen2.5-max 和deepseek 比較

??https://blog.csdn.net/smileKH/article/details/148828469?? 通義千問（Qwen）：阿里云打造的全能AI大模型

??https://www.cnblogs.com/obullxl/p/18706323/NTopic2025020901?? DeepSeek vs. Qwen 大模型編程能力比拼，誰更適合作為你的 AI 輔助編程助手？

本文轉(zhuǎn)載自????????鴻煊的學(xué)習(xí)筆記????????，作者：乘風(fēng)破浪jxj