大家好，我是小寒。

今天給大家分享你必須知道的 79 個深度學習術(shù)語。

1.人工神經(jīng)網(wǎng)絡(luò)（ANN）

人工神經(jīng)網(wǎng)絡(luò)是一種模擬人腦神經(jīng)元結(jié)構(gòu)和功能的計算模型，用于處理復(fù)雜的計算和模式識別任務(wù)。

它由多個神經(jīng)元（節(jié)點）組成，這些神經(jīng)元通過連接權(quán)重相互連接，可以通過調(diào)整這些權(quán)重來學習和適應(yīng)不同的任務(wù)。

2.激活函數(shù)

激活函數(shù)是神經(jīng)網(wǎng)絡(luò)中的一個函數(shù)，用于引入非線性，使得神經(jīng)網(wǎng)絡(luò)可以表示復(fù)雜的模式和關(guān)系。

常見的激活函數(shù)包括ReLU（修正線性單元）、Sigmoid（S型函數(shù)）和Tanh（雙曲正切函數(shù)）。

3.反向傳播

反向傳播是一種用于訓練神經(jīng)網(wǎng)絡(luò)的算法，通過計算損失函數(shù)的梯度并更新網(wǎng)絡(luò)中的權(quán)重，使得模型的預(yù)測結(jié)果更加準確。

反向傳播通常使用梯度下降法來優(yōu)化權(quán)重。

4.卷積神經(jīng)網(wǎng)絡(luò)（CNN）

卷積神經(jīng)網(wǎng)絡(luò)是一種專門用于處理圖像數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過使用卷積層、池化層和全連接層來提取和學習圖像的特征。

它在圖像分類、目標檢測和圖像分割等任務(wù)中表現(xiàn)出色。

5.深度學習

深度學習是一種基于多層神經(jīng)網(wǎng)絡(luò)的機器學習方法，通過構(gòu)建和訓練深度模型來自動學習數(shù)據(jù)的復(fù)雜特征和模式。

深度學習在圖像處理、自然語言處理和語音識別等領(lǐng)域取得了顯著的成果。

6.epoch

一個epoch指的是神經(jīng)網(wǎng)絡(luò)在訓練過程中遍歷整個訓練數(shù)據(jù)集一次。

多個epoch可以提高模型的準確性和穩(wěn)定性，但過多的epoch可能導(dǎo)致過擬合。

7.特征提取

特征提取是從原始數(shù)據(jù)中提取有用特征的過程，這些特征可以幫助模型更好地理解和預(yù)測數(shù)據(jù)的模式。

特征提取可以是手工設(shè)計的，也可以是通過深度學習模型自動學習的。

8.梯度下降

梯度下降是一種優(yōu)化算法，用于最小化損失函數(shù)。

通過計算損失函數(shù)相對于模型參數(shù)的梯度，并沿著梯度的反方向更新參數(shù)，使得損失函數(shù)逐漸減小。

9.損失函數(shù)

損失函數(shù)用于衡量模型預(yù)測值與真實值之間的差異。

常見的損失函數(shù)包括均方誤差（MSE）、交叉熵損失（cross-entropy loss）等。

10.循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）

循環(huán)神經(jīng)網(wǎng)絡(luò)是一種處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它通過在網(wǎng)絡(luò)中引入循環(huán)連接，使得模型能夠記住之前的輸入信息，并用于后續(xù)的預(yù)測和決策。

11.遷移學習

遷移學習是一種將一個任務(wù)中學到的知識應(yīng)用到另一個相關(guān)任務(wù)中的方法。

通過遷移學習，可以利用預(yù)訓練模型的權(quán)重和特征，減少新任務(wù)的訓練時間和數(shù)據(jù)需求。

12.權(quán)重

權(quán)重是神經(jīng)網(wǎng)絡(luò)中連接各個神經(jīng)元的參數(shù)，用于調(diào)節(jié)輸入信號的強度。

通過訓練過程，權(quán)重會不斷調(diào)整，以使得模型的預(yù)測結(jié)果更加準確。

13.偏置

偏置是神經(jīng)網(wǎng)絡(luò)中的一個附加參數(shù)，它與權(quán)重一起用于調(diào)整模型的輸出。

偏置可以幫助模型在沒有輸入信號的情況下也能產(chǎn)生輸出，從而提高模型的靈活性和準確性。

14.過擬合

過擬合是指模型在訓練數(shù)據(jù)上表現(xiàn)良好，但在測試數(shù)據(jù)上表現(xiàn)不佳的情況。

過擬合通常是由于模型過于復(fù)雜，捕捉到了訓練數(shù)據(jù)中的噪聲和細節(jié)，導(dǎo)致其泛化能力下降。

15.欠擬合

欠擬合是指模型在訓練數(shù)據(jù)和測試數(shù)據(jù)上都表現(xiàn)不佳的情況。

這通常是由于模型過于簡單，無法捕捉數(shù)據(jù)中的重要模式和關(guān)系。

16.正則化

正則化是一種防止過擬合的方法，通過在損失函數(shù)中加入懲罰項，限制模型的復(fù)雜度，使得模型能夠更好地泛化到未見過的數(shù)據(jù)。

常見的正則化方法包括L1正則化和L2正則化。

17.Dropout

Dropout 是一種正則化技術(shù)，通過在訓練過程中隨機丟棄一部分神經(jīng)元及其連接，使得模型更具魯棒性，防止過擬合。

18.批量標準化

批量標準化是一種加速神經(jīng)網(wǎng)絡(luò)訓練并提高穩(wěn)定性的方法，通過在每一層對輸入數(shù)據(jù)進行標準化，使得數(shù)據(jù)的均值為 0，方差為1，從而減少內(nèi)層協(xié)變量偏移。

19.自動編碼器

自動編碼器是一種用于無監(jiān)督學習的神經(jīng)網(wǎng)絡(luò)，通過將輸入數(shù)據(jù)編碼為低維表示（編碼器）并從低維表示重建原始數(shù)據(jù)（解碼器），自動編碼器可以用于數(shù)據(jù)降維、特征提取和異常檢測。

20.生成對抗網(wǎng)絡(luò)（GAN）

生成對抗網(wǎng)絡(luò)是一種用于生成新數(shù)據(jù)的模型，由生成器和判別器兩個部分組成。

生成器生成偽造數(shù)據(jù)，判別器判斷數(shù)據(jù)的真假，兩者相互競爭，最終生成器可以生成逼真的數(shù)據(jù)。

21.注意力機制

注意力機制是一種提高模型處理長序列數(shù)據(jù)能力的方法，通過為每個輸入元素分配不同的權(quán)重，使得模型能夠更關(guān)注重要的信息，廣泛應(yīng)用于自然語言處理和圖像處理任務(wù)。

22.嵌入層

嵌入層是一種將高維離散數(shù)據(jù)（如單詞）映射到低維連續(xù)向量空間的技術(shù)，用于捕捉數(shù)據(jù)之間的語義關(guān)系，常用于自然語言處理任務(wù)中的詞向量表示。

23.多層感知器（MLP）

多層感知器是一種基本的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由輸入層、隱藏層和輸出層組成。

每層的神經(jīng)元通過權(quán)重連接，MLP可以用于分類和回歸任務(wù)。

24.規(guī)范化

規(guī)范化是將數(shù)據(jù)按比例縮放到特定范圍的方法，常見的規(guī)范化方法包括最小-最大規(guī)范化和z-score規(guī)范化。

規(guī)范化有助于加速模型的訓練并提高模型的性能。

25.池化層

池化層是一種用于減少特征圖尺寸的層，通過取鄰近區(qū)域的最大值或平均值，減少參數(shù)數(shù)量和計算量，同時保留重要特征，常用于卷積神經(jīng)網(wǎng)絡(luò)中。

26.序列到序列模型

序列到序列模型是一種用于處理序列數(shù)據(jù)的模型結(jié)構(gòu)，通過編碼器將輸入序列編碼為固定長度的向量，再通過解碼器將向量解碼為輸出序列，廣泛應(yīng)用于機器翻譯和文本生成等任務(wù)。

27.張量

張量是深度學習中用于表示數(shù)據(jù)的多維數(shù)組。

張量可以是標量、向量、矩陣或更高維度的數(shù)據(jù)結(jié)構(gòu)，是構(gòu)建和訓練神經(jīng)網(wǎng)絡(luò)的基本數(shù)據(jù)單元。

28.骨干網(wǎng)絡(luò)

骨干網(wǎng)絡(luò)（Backbone）是深度學習中用于特征提取的主要網(wǎng)絡(luò)結(jié)構(gòu)。它通常是一個預(yù)訓練的神經(jīng)網(wǎng)絡(luò)模型，用于從輸入數(shù)據(jù)中提取高層次的特征表示。這些特征然后被用作下游任務(wù)（如分類、檢測、分割等）的輸入。

29.微調(diào)

微調(diào)是指在預(yù)訓練模型的基礎(chǔ)上，對特定任務(wù)進行進一步訓練和調(diào)整，使模型更適應(yīng)新的任務(wù)。

微調(diào)可以減少訓練時間和數(shù)據(jù)需求，提高模型的性能。

30.超參數(shù)

超參數(shù)是模型訓練前設(shè)置的參數(shù)，不會在訓練過程中更新。

常見的超參數(shù)包括學習率、批次大小、網(wǎng)絡(luò)層數(shù)等。

超參數(shù)的選擇對模型的性能有重要影響。

31.學習率

學習率是梯度下降法中的一個重要參數(shù)，決定了每次更新權(quán)重的步長大小。

學習率過大會導(dǎo)致訓練不穩(wěn)定，學習率過小會導(dǎo)致訓練速度慢。

32.Softmax 函數(shù)

Softmax 函數(shù)是一種歸一化函數(shù)，將輸入的實數(shù)向量轉(zhuǎn)換為概率分布，使得輸出的所有元素之和為1，常用于多分類任務(wù)的輸出層。

33.長短期記憶（LSTM）

長短期記憶是一種改進的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過引入記憶單元和門機制，解決了標準RNN的梯度消失和梯度爆炸問題，能夠更好地捕捉序列數(shù)據(jù)中的長依賴關(guān)系。

34.梯度消失問題

梯度消失問題是指在深度神經(jīng)網(wǎng)絡(luò)中，隨著反向傳播過程中梯度逐層傳遞，梯度值會變得非常小，導(dǎo)致前幾層的權(quán)重幾乎無法更新，影響模型的訓練效果。

35.梯度爆炸問題

梯度爆炸問題是指在深度神經(jīng)網(wǎng)絡(luò)中，隨著反向傳播過程中梯度逐層傳遞，梯度值會變得非常大，導(dǎo)致權(quán)重更新過度，影響模型的穩(wěn)定性。

36.數(shù)據(jù)增強

數(shù)據(jù)增強是一種通過對原始數(shù)據(jù)進行隨機變換（如旋轉(zhuǎn)、翻轉(zhuǎn)、裁剪等）來生成更多訓練數(shù)據(jù)的方法，以提高模型的泛化能力和魯棒性。

37.批次大小

批次大小是指在一次迭代中用于訓練模型的數(shù)據(jù)樣本數(shù)量。

較大的批次大小可以加速訓練過程，但需要更多的內(nèi)存；較小的批次大小則更具噪聲，可能導(dǎo)致訓練不穩(wěn)定。

38.優(yōu)化器

優(yōu)化器是用于更新神經(jīng)網(wǎng)絡(luò)權(quán)重的算法，根據(jù)損失函數(shù)的梯度計算權(quán)重的更新值。

常見的優(yōu)化器包括SGD（隨機梯度下降）、Adam、RMSprop等。

39.F1-score

F1-score 是用于衡量分類模型性能的指標，是精準率和召回率的調(diào)和平均值。

F1-score 的值介于0和1之間，值越大表示模型性能越好。

40.精準

精準率是指在所有被預(yù)測為正類的樣本中，實際為正類的樣本所占的比例。

它衡量了模型預(yù)測結(jié)果的準確性。

41.召回

召回率是指在所有實際為正類的樣本中，被正確預(yù)測為正類的樣本所占的比例。

它衡量了模型對正類樣本的識別能力。

42.ROC 曲線

ROC曲線（接收者操作特征曲線）是一種用于評價分類模型性能的圖形，通過繪制真陽性率和假陽性率之間的關(guān)系來展示模型在不同閾值下的表現(xiàn)。

43.曲線下面積（AUC）

AUC是ROC曲線下的面積，用于衡量分類模型的整體性能。AUC值介于0和1之間，值越大表示模型性能越好。

44.提前停止

提前停止是一種正則化技術(shù)，通過在驗證集上監(jiān)控模型的性能，如果性能不再提升或開始下降，提前停止訓練，以防止過擬合。

45.特征縮放

特征縮放是將特征數(shù)據(jù)按比例縮放到特定范圍的方法，常見的特征縮放方法包括標準化和歸一化。

特征縮放有助于加速模型的訓練并提高模型的性能。

46.生成模型

生成模型是指通過學習數(shù)據(jù)的分布來生成新數(shù)據(jù)的模型。

常見的生成模型包括GAN、變分自編碼器（VAE）等。

47.判別模型

判別模型是指通過學習數(shù)據(jù)的決策邊界來進行分類或回歸的模型。

常見的判別模型包括邏輯回歸、支持向量機（SVM）等。

48.數(shù)據(jù)不平衡

數(shù)據(jù)不平衡是指訓練數(shù)據(jù)中不同類別樣本數(shù)量差異較大的情況，可能導(dǎo)致模型偏向多數(shù)類樣本，影響分類性能。

49.降維

降維是將高維數(shù)據(jù)轉(zhuǎn)換為低維數(shù)據(jù)的過程，以減少數(shù)據(jù)的維度，降低計算復(fù)雜度，同時保留數(shù)據(jù)的主要特征。

常見的降維方法包括PCA、t-SNE等。

50.主成分分析（PCA）

主成分分析是一種線性降維方法，通過尋找數(shù)據(jù)中方差最大的方向，將數(shù)據(jù)投影到低維空間，以保留數(shù)據(jù)的主要特征。

51.非線性激活函數(shù)

非線性激活函數(shù)是神經(jīng)網(wǎng)絡(luò)中的一種函數(shù)，用于引入非線性，使得神經(jīng)網(wǎng)絡(luò)能夠表示復(fù)雜的模式和關(guān)系。

常見的非線性激活函數(shù)包括ReLU、Sigmoid、Tanh等。

52.批量訓練

批量訓練是指在訓練過程中將數(shù)據(jù)分成多個小批次，每次使用一個批次的數(shù)據(jù)來更新模型的參數(shù)。

這種方法可以加速訓練過程并提高模型的穩(wěn)定性。

53.隨機梯度下降（SGD）

隨機梯度下降是一種優(yōu)化算法，通過對每個樣本或小批次樣本計算梯度并更新模型參數(shù)，以最小化損失函數(shù)。

SGD 在大規(guī)模數(shù)據(jù)訓練中表現(xiàn)良好。

54.注意層

注意層是一種用于提高模型處理長序列數(shù)據(jù)能力的層，通過為每個輸入元素分配不同的權(quán)重，使得模型能夠更關(guān)注重要的信息，廣泛應(yīng)用于自然語言處理和圖像處理任務(wù)。

55.跳過連接

跳過連接是指在深度神經(jīng)網(wǎng)絡(luò)中通過增加跨層連接，使得輸入信號可以直接傳遞到后面的層，緩解梯度消失問題，提高模型的訓練效果。

ResNet是典型的應(yīng)用跳過連接的模型。

56.自監(jiān)督學習

自監(jiān)督學習是一種通過生成和利用數(shù)據(jù)中的內(nèi)在結(jié)構(gòu)和關(guān)系進行訓練的方法，不需要大量的標注數(shù)據(jù)，常用于圖像、文本和音頻等領(lǐng)域。

57.交叉熵損失

交叉熵損失是一種用于分類任務(wù)的損失函數(shù)，通過衡量模型預(yù)測的概率分布與真實分布之間的差異，來指導(dǎo)模型參數(shù)的更新。

58.序列建模

序列建模是指通過模型來捕捉和預(yù)測序列數(shù)據(jù)中的模式和關(guān)系，常用于時間序列分析、自然語言處理和音頻信號處理等任務(wù)。

59.知識蒸餾

知識蒸餾是一種通過將大模型（教師模型）的知識傳遞給小模型（學生模型）的方法，使得小模型能夠在保持較高性能的同時減少參數(shù)數(shù)量和計算量。

60. 神經(jīng)風格遷移

神經(jīng)風格遷移是一種通過深度學習模型將一種圖像的風格應(yīng)用到另一種圖像上的技術(shù)，常用于圖像生成和藝術(shù)創(chuàng)作。

61. 標簽平滑

標簽平滑是一種正則化技術(shù)，通過在訓練過程中將真實標簽分布進行平滑，使得模型的預(yù)測更加魯棒，減少過擬合的風險。

62.T-SNE

T-SNE 是一種用于數(shù)據(jù)可視化的降維方法，通過將高維數(shù)據(jù)嵌入到低維空間中，保留數(shù)據(jù)點之間的相對距離和結(jié)構(gòu)，以便于觀察和分析。

63.梯度剪切

梯度剪切是一種防止梯度爆炸的方法，通過將超過閾值的梯度進行剪裁，使得梯度保持在合理范圍內(nèi)，提高模型的訓練穩(wěn)定性。

64.元學習

元學習是一種學習如何學習的技術(shù)，通過在多個任務(wù)上進行訓練，使得模型能夠更快地適應(yīng)新任務(wù)和新數(shù)據(jù)，提高學習效率和泛化能力。

65.量化

量化是將神經(jīng)網(wǎng)絡(luò)中的權(quán)重和激活值從浮點數(shù)表示轉(zhuǎn)換為低精度表示（如整數(shù)），以減少模型的計算量和存儲需求，提高模型的運行效率。

66.自注意力

自注意力是一種用于捕捉序列數(shù)據(jù)中各元素之間依賴關(guān)系的機制，通過計算序列中各元素對其他元素的注意力權(quán)重，使得模型能夠更好地理解和處理長序列數(shù)據(jù)。

67.Transformer 模型

Transformer 模型是一種基于自注意力機制的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，廣泛應(yīng)用于自然語言處理任務(wù)，如機器翻譯、文本生成等。

Transformer 模型通過并行計算和全局依賴關(guān)系捕捉，顯著提高了模型的性能和訓練效率。

68.BERT

BERT（Bidirectional Encoder Representations from Transformers）是一種基于Transformer的預(yù)訓練語言模型，通過雙向編碼器捕捉句子中的上下文信息，廣泛應(yīng)用于各種自然語言處理任務(wù)。

69.詞嵌入

詞嵌入是一種將詞語表示為連續(xù)向量的方法，通過捕捉詞語之間的語義關(guān)系，使得詞語能夠在低維向量空間中進行計算和比較。

常見的詞嵌入方法包括Word2Vec、GloVe等。

70.位置編碼

位置編碼是一種在 Transformer 模型中用于表示序列中每個元素位置的信息，使得模型能夠捕捉序列數(shù)據(jù)中的順序關(guān)系，常用的方式包括正弦和余弦函數(shù)編碼。

71.圖神經(jīng)網(wǎng)絡(luò)（GNN）

圖神經(jīng)網(wǎng)絡(luò)是一種用于處理圖結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，通過對圖中節(jié)點和邊的信息進行傳遞和聚合，使得模型能夠捕捉圖結(jié)構(gòu)中的關(guān)系和模式，應(yīng)用于社交網(wǎng)絡(luò)分析、推薦系統(tǒng)等任務(wù)。

72.強化學習

強化學習是一種通過與環(huán)境互動來學習最優(yōu)策略的機器學習方法，通過獎勵和懲罰信號指導(dǎo)智能體的行為選擇，應(yīng)用于游戲、機器人控制等領(lǐng)域。

73.模型修剪

模型修剪是一種減少神經(jīng)網(wǎng)絡(luò)中冗余連接和參數(shù)的方法，通過刪除不重要的連接，使得模型更加緊湊、高效，同時保持或提高模型的性能。

74.偏差-方差權(quán)衡

偏差-方差權(quán)衡是指模型在擬合訓練數(shù)據(jù)和泛化到未見數(shù)據(jù)之間的平衡。

偏差表示模型對訓練數(shù)據(jù)的擬合能力，方差表示模型對訓練數(shù)據(jù)變化的敏感度。

合適的權(quán)衡可以提高模型的泛化能力。

75.多模式學習

多模式學習是指同時處理多種類型的數(shù)據(jù)（如圖像、文本、音頻等）并學習它們之間的關(guān)聯(lián)關(guān)系，使得模型能夠更全面地理解和處理復(fù)雜任務(wù)。

76.異常檢測

異常檢測是指識別和檢測數(shù)據(jù)中異?；虍惓ＤＪ降娜蝿?wù)，廣泛應(yīng)用于故障檢測、欺詐檢測和安全監(jiān)控等領(lǐng)域。

77.卷積

卷積是一種用于提取數(shù)據(jù)局部特征的操作，通過在輸入數(shù)據(jù)上應(yīng)用卷積核（濾波器），生成特征圖，使得模型能夠捕捉數(shù)據(jù)中的模式和結(jié)構(gòu)，常用于圖像處理任務(wù)。

78.池化

池化是一種用于減少特征圖尺寸的操作，通過取鄰近區(qū)域的最大值或平均值，減少參數(shù)數(shù)量和計算量，同時保留重要特征，常用于卷積神經(jīng)網(wǎng)絡(luò)中。

79.擴張卷積

擴張卷積是一種改進的卷積操作，通過在卷積核之間插入空洞，使得卷積核能夠覆蓋更大的感受野，從而提取更多的上下文信息，常用于圖像分割任務(wù)。