批歸一化(BatchNormalization)和層歸一化(LayerNormalization)是深度學(xué)習(xí)中廣泛應(yīng)用的兩種數(shù)據(jù)歸一化方法,用于改善神經(jīng)網(wǎng)絡(luò)的訓(xùn)練性能。本文將從提出這兩種技術(shù)的原論文出發(fā),詳細闡述技術(shù)背景、原理及基于Pytorch的實現(xiàn)方式。1.批歸一化(BatchNormalization)批歸一化由谷歌的SergeyIoffe和ChristianSzegedy于2015年在論文“BatchNormalization:AcceleratingDeepNetworkTrainingbyReducingInternalCovariateShift”中提...
2025-06-23 06:40:25 861瀏覽 0點贊 0回復(fù) 0收藏
對模型的泛化性能進行評估,不僅需要有效可行的試驗估計方法,還需要具有衡量模型泛化能力的評價標準,即性能度量。且在不同的任務(wù)中對比模型的性能時,使用不同的性能度量往往會導(dǎo)致不同的評判結(jié)果。在分類任務(wù)中,最常用的性能度量有錯誤率、精度、查準率、查全率、F1分數(shù)及AUCROC曲線。01錯誤率與精度(1)錯誤率(errorrate)是分類錯誤的樣本數(shù)占樣本總數(shù)(m)的比例。計算公式可表示為:(2)精度(accuracy)是分類正確的樣本數(shù)...
2025-06-10 06:37:51 819瀏覽 0點贊 0回復(fù) 0收藏
對模型的泛化性能進行評估,不僅需要有效可行的試驗估計方法,還需要具有衡量模型泛化能力的評價標準,即性能度量。且在不同的任務(wù)中對比模型的性能時,使用不同的性能度量往往會導(dǎo)致不同的評判結(jié)果。在分類任務(wù)中,最常用的性能度量有錯誤率、精度、查準率、查全率、F1分數(shù)及AUCROC曲線。本文將首先介紹錯誤率、精度、查準率、查全率、PR曲線與平衡點及F1分數(shù)的詳細原理。1.錯誤率與精度(1)錯誤率(errorrate)是分類錯誤的樣本...
2025-05-14 00:05:30 1148瀏覽 0點贊 0回復(fù) 0收藏
阿里的Ma等人于2018年在論文《EntireSpaceMultiTaskModel:AnEffectiveApproachforEstimatingPostClickConversionRate》中提出了ESMM模型,用于建模電商推薦系統(tǒng)中點擊后轉(zhuǎn)化率的預(yù)估問題,同時有效緩解了樣本選擇偏差和數(shù)據(jù)稀疏問題。本文將從ESMM模型提出的背景、問題建模、模型原理及損失函數(shù)涉及方面進行詳細的闡述。1.ESMM模型背景(1)在電商推薦系統(tǒng)中,用戶的行為一般遵循“曝光點擊轉(zhuǎn)化”的順序,ESSM主要用于建模點擊...
2025-04-16 07:25:40 1812瀏覽 0點贊 0回復(fù) 0收藏
Transformer模型的時間復(fù)雜度主要由其核心模塊自注意力機制和前饋神經(jīng)網(wǎng)絡(luò)決定,其中自注意力機制的計算復(fù)雜度占主導(dǎo)地位。本文將從單個矩陣乘法的時間復(fù)雜度計算出發(fā),分析自注意力機制、多頭注意力機制、前饋神經(jīng)網(wǎng)絡(luò)的時間復(fù)雜度,從而得到整個Transformer模型的時間復(fù)雜度,并說明優(yōu)化方法。1.單個矩陣乘法的時間復(fù)雜度2.自注意力機制的時間復(fù)雜度3.多頭自注意力機制的時間復(fù)雜度4.前饋神經(jīng)網(wǎng)絡(luò)的時間復(fù)雜度5.Transformer模...
2025-04-03 07:17:10 2415瀏覽 0點贊 0回復(fù) 0收藏
位置編碼(PostitionalEncoding)是Transformer架構(gòu)中的關(guān)鍵技術(shù)之一。不同于卷積神經(jīng)網(wǎng)絡(luò)利用局部感受野、共享權(quán)重和池化操作等機制,可以自然地感受輸入數(shù)據(jù)的空間位置信息,也不同于循環(huán)神經(jīng)網(wǎng)絡(luò)憑借循環(huán)結(jié)構(gòu)和隱藏狀態(tài)的記憶與更新機制,能夠隱式地捕捉輸入序列中的時間順序信息,Tranformer架構(gòu)并未顯式地建模輸入序列中的絕對或相對位置信息,故需通過位置編碼技術(shù)顯式地注入位置信息,以使模型能更好地理解序列中不同位...
2025-03-24 01:12:19 2333瀏覽 0點贊 0回復(fù) 0收藏
快手的Chang等人于2023年在論文《PEPNet:ParameterandEmbeddingPersonalizedNetworkforInfusingwithPersonalizedPriorInformation》中正式提出了PEPNet模型,用于建模推薦系統(tǒng)中的多任務(wù)多領(lǐng)域問題。本文將從PEPNet模型提出的動機、問題建模、模型結(jié)構(gòu)及工程優(yōu)化策略方面進行詳細的闡述。1.PEPNet模型的提出動機(1)多任務(wù)學(xué)習(xí):出發(fā)點是不同的任務(wù)之間存在稀疏性和依賴性。但由于不同任務(wù)具有獨特的稀疏性和相互影響,很難在...
2025-03-12 00:11:20 2814瀏覽 0點贊 0回復(fù) 0收藏
MMOE模型由谷歌研究團隊于2018年在論文《ModelingTaskRelationshipsinMultitaskLearningwithMultigateMixtureofExperts》中提出,是一種新穎的多任務(wù)學(xué)習(xí)框架,廣泛應(yīng)用于推薦系統(tǒng)中。本文從技術(shù)背景、演化過程、計算原理、關(guān)鍵問題解析以及基于PyTorch的代碼實現(xiàn)方面對MMoE架構(gòu)進行深入探究。1.技術(shù)背景(1)多任務(wù)學(xué)習(xí)的本質(zhì)是共享表示以及相關(guān)任務(wù)的相互影響,多任務(wù)學(xué)習(xí)模型并不總是在所有任務(wù)上都優(yōu)于相應(yīng)的單任務(wù)模型。(...
2025-02-27 12:18:03 4278瀏覽 0點贊 0回復(fù) 0收藏
圖1DeepSeekV2&DeepSeekV3基本架構(gòu)。DeepSeekMoE架構(gòu)的提出源于DeepSeek發(fā)表的論文《DeepSeekMoE:TowardsUltimateExpertSpecializationinMixtureofExpertsLanguageModels》,在DeepSeekV2、V3及R1中得到了更好的應(yīng)用。1.DeepSeekMoE關(guān)鍵技術(shù)(1)DeepSeekMoE架構(gòu)有兩個關(guān)鍵思想:細粒度專家劃分和共享專家隔離。細粒度專家細分以實現(xiàn)更高的專家專業(yè)化程度和更準確的知識獲取,共享專家隔離以減少專家之間的知識冗余。圖2DeepSee...
2025-02-20 11:07:38 2826瀏覽 0點贊 0回復(fù) 0收藏
?DeepSeek的基本架構(gòu)仍然在Transformer框架內(nèi),每個Transformer模塊由一個注意力模塊和一個前饋網(wǎng)絡(luò)組成。為實現(xiàn)更高效的推理和更經(jīng)濟的訓(xùn)練,在注意力和前饋網(wǎng)絡(luò)部分,設(shè)計并使用了創(chuàng)新的MLA(MultiHeadLatentAttention)和DeepSeekMoE架構(gòu)。本文將從MLA的提出背景、技術(shù)原理、解耦RoPE策略及MHA與MLA的緩存對比方面進行詳細闡述。MLA是對多頭自注意力機制(MHA)的改進,其核心是對鍵(Keys)和值(Values)進行低秩聯(lián)合壓縮...
2025-02-13 12:01:11 4938瀏覽 0點贊 0回復(fù) 0收藏