當(dāng)我們想構(gòu)建高性能的機(jī)器學(xué)習(xí)和 AI 系統(tǒng)時(shí)，僅僅訓(xùn)練單個(gè)模型和系統(tǒng)往往是不夠的。通常在開發(fā)中需要構(gòu)建多個(gè)模型，使用多種不同的算法，然后將不同的模型相互比較，看看哪個(gè)模型最好。此外，在比較過(guò)程中還需要 “調(diào)整” 每種不同算法的設(shè)置，以使它們以最佳方式（或接近最佳）執(zhí)行。

所以大多數(shù)機(jī)器學(xué)習(xí)算法都有 “設(shè)置”，我們可以稱之為超參數(shù)，使用超參數(shù)是機(jī)器學(xué)習(xí)的重要組成部分。

一、什么是超參數(shù)

在機(jī)器學(xué)習(xí)和人工智能中，超參數(shù)（Hyperparameters） 是指在訓(xùn)練模型之前需要設(shè)置的參數(shù)，它們的值無(wú)法通過(guò)訓(xùn)練數(shù)據(jù)直接學(xué)習(xí)獲得，而是由開發(fā)者手動(dòng)設(shè)定或通過(guò)某種搜索方法調(diào)整的，所以超參數(shù)在模型的構(gòu)建和對(duì)其性能的影響起著至關(guān)重要的作用，選擇合適的超參數(shù)可以顯著提升模型的效果。

簡(jiǎn)單地理解，超參數(shù)就是機(jī)器學(xué)習(xí)算法的各種設(shè)置數(shù)值。這些超參數(shù)不僅改變算法的工作方式，并改變訓(xùn)練過(guò)程的結(jié)果。超參數(shù)是機(jī)器學(xué)習(xí)開發(fā)者手動(dòng)設(shè)置的參數(shù)。盡管有多種方法可以為超參數(shù)選擇最佳值，但需要了解的重要一點(diǎn)是，機(jī)器學(xué)習(xí)開發(fā)者或數(shù)據(jù)科學(xué)家需要嘗試使用這些設(shè)置值，以找到讓模型獲得較高性能的最佳值。從這個(gè)意義上說(shuō)，模型超參數(shù)就像一臺(tái)設(shè)備上的設(shè)置。例如，吉他放大器通常具有多個(gè)旋鈕和開關(guān)，例如音量、增益、低音、高音等旋鈕。

而與之相對(duì)的是模型參數(shù)（Model Parameters），這些參數(shù)是通過(guò)訓(xùn)練數(shù)據(jù)學(xué)習(xí)得到的，在訓(xùn)練過(guò)程中由算法本身更新。例如線性回歸中的權(quán)重和偏置項(xiàng)，深度神經(jīng)網(wǎng)絡(luò)中的權(quán)重矩陣等。

重要的是，我們?cè)谀Ｐ蛻?yīng)用開發(fā)中需要區(qū)分超參數(shù)和學(xué)習(xí)參數(shù)。

二、Transformer框架中的超參數(shù)

在 Transformer 框架中，有許多可以調(diào)整的超參數(shù)，這些超參數(shù)直接影響模型的性能、訓(xùn)練速度和資源消耗。以下是 Transformer 框架中常用的超參數(shù)分類和優(yōu)化建議：

1. 模型結(jié)構(gòu)相關(guān)的超參數(shù)

這些超參數(shù)決定了 Transformer 的架構(gòu)復(fù)雜度和表達(dá)能力。

1.1 模型維度（Embedding Size 或 Hidden Size, (d_{model})）

作用： 決定每個(gè)輸入 token 被映射的向量維度，同時(shí)也是多頭注意力和前饋層的維度基礎(chǔ)。

常見值：128、256、512、768、1024。

調(diào)整建議：

• 小任務(wù)或資源有限時(shí)使用較小的值（如128或256）。
• 大規(guī)模任務(wù)（如 GPT、BERT）常用768或更高（如1024、2048）。
• 增大維度可以提高模型的容量，但也會(huì)顯著增加計(jì)算成本和顯存需求。

1.2 層數(shù)（Number of Layers, (L)）

作用：Transformer 的深度，即編碼器和解碼器的層數(shù)（或僅編碼器的層數(shù)，取決于具體任務(wù)）。

常見值：

• BERT Base: 12 層。
• BERT Large: 24 層。
• GPT-3: 從 12 層到 96 層。

調(diào)整建議：

• 對(duì)小數(shù)據(jù)集任務(wù)，選擇6-12層。
• 對(duì)大規(guī)模數(shù)據(jù)集任務(wù)，選擇12層及以上。
• 增加層數(shù)會(huì)提高模型表達(dá)能力，但可能導(dǎo)致訓(xùn)練時(shí)間增長(zhǎng)且更容易過(guò)擬合。

1.3 注意力頭數(shù)（Number of Attention Heads, (h)）

作用：每層多頭注意力機(jī)制中的頭數(shù)。

常見值： 4、8、12、16。

調(diào)整建議：(h) 應(yīng)滿足 (d_{model}) 可被 (h) 整除（每個(gè)頭的維度為 (d_{head} = d_{model} / h)）。

• 小模型任務(wù)：4或8頭。
• 大規(guī)模任務(wù)：12或16頭。
• 增加頭數(shù)可以提高模型捕獲不同子空間信息的能力，但也會(huì)增加計(jì)算開銷。

1.4 前饋層維度（Feedforward Dimension, (d_{ffn})）

作用：前饋全連接層的隱藏層維度，通常是 (d_{model}) 的 3-4 倍。

常見值：2048、3072、4096。

調(diào)整建議：典型值是 (d_{ffn} = 4 \times d_{model})（如 BERT Base 中，(d_{model}=768)，(d_{ffn}=3072)）。

可以根據(jù)任務(wù)復(fù)雜度和資源調(diào)整，較小的任務(wù)可以用 (2 \times d_{model})。

1.5 最大序列長(zhǎng)度（Max Sequence Length, (L_{max})）

作用：輸入序列的最大長(zhǎng)度，影響位置編碼和內(nèi)存占用。

常見值：128、256、512、1024。

調(diào)整建議：

• 短文本任務(wù)：128或256。
• 長(zhǎng)文本任務(wù)：512或更高。
• 增大序列長(zhǎng)度會(huì)顯著增加計(jì)算和內(nèi)存需求（復(fù)雜度為 (O(L^2))）。

1.6 Dropout 比例

作用：防止過(guò)擬合，通過(guò)隨機(jī)丟棄神經(jīng)元來(lái)提升泛化能力。

常見值：0.1、0.2。

調(diào)整建議：

• 對(duì)于大規(guī)模數(shù)據(jù)集，Dropout 比例可以較低（如 0.1）。
• 小數(shù)據(jù)集可以增加 Dropout 比例（如 0.2-0.3）。

2. 優(yōu)化相關(guān)的超參數(shù)

這些超參數(shù)影響模型的學(xué)習(xí)過(guò)程。

2.1 學(xué)習(xí)率（Learning Rate, (lr)）

作用：控制參數(shù)更新的步長(zhǎng)。

常見值：

• Adam 優(yōu)化器：(1e-4) 或 (5e-5)。
• 學(xué)習(xí)率調(diào)度器（如 Warmup）后，峰值學(xué)習(xí)率通常在 (1e-4) 左右。

調(diào)整建議：

• 使用 Warmup 學(xué)習(xí)率調(diào)度器（如在前 10,000 步逐漸增加學(xué)習(xí)率，然后逐漸衰減）。
• 調(diào)整學(xué)習(xí)率范圍：(1e-5) 到 (1e-3)，根據(jù)任務(wù)復(fù)雜度和模型大小選擇。

2.2 學(xué)習(xí)率調(diào)度器（Learning Rate Scheduler）

作用：動(dòng)態(tài)調(diào)整學(xué)習(xí)率以提高收斂速度。

常見方法：

• 線性衰減（Linear Decay）：學(xué)習(xí)率線性遞減。
• 余弦退火（Cosine Annealing）：學(xué)習(xí)率以余弦曲線遞減。
• Warmup + 衰減：先逐步增加學(xué)習(xí)率到峰值，再逐步衰減。

調(diào)整建議：

對(duì) Transformer，Warmup 通常設(shè)置為 10% 的總訓(xùn)練步數(shù)（如 10,000 步）。

2.3 優(yōu)化器

常見優(yōu)化器：

• Adam（常用）。
• AdamW（帶權(quán)重衰減，效果更佳）。

調(diào)整建議：

• AdamW 是 Transformer 默認(rèn)選擇，推薦設(shè)置 (\beta_1 = 0.9)，(\beta_2 = 0.98)，(\epsilon = 1e-6)。
• 權(quán)重衰減系數(shù)（Weight Decay）：通常為 (1e-2) 或 (1e-3)。

2.4 批量大小（Batch Size）

作用：每次更新模型參數(shù)時(shí)使用的樣本數(shù)量。

常見值：16、32、64、128。

調(diào)整建議：

• 根據(jù)顯存大小選擇合適的批量大小。
• 如果顯存不足，可以使用梯度累積（Gradient Accumulation）模擬大批量訓(xùn)練。

3. 正則化相關(guān)的超參數(shù)

為了防止過(guò)擬合，Transformer 框架中可以使用以下正則化技術(shù)。

3.1 Dropout 比例

作用：隨機(jī)丟棄部分神經(jīng)元。

常見值：0.1。

調(diào)整建議：

• 在注意力層、前饋層和嵌入層后都可以使用 Dropout。
• 小數(shù)據(jù)集任務(wù)可以增加 Dropout 比例。

3.2 Label Smoothing

作用：在分類任務(wù)中，將目標(biāo)標(biāo)簽的分布平滑化，防止模型過(guò)擬合。

常見值：0.1。

調(diào)整建議：在分類任務(wù)中廣泛使用，推薦設(shè)置為 0.1。

4. 數(shù)據(jù)相關(guān)的超參數(shù)

Transformer 的性能也受數(shù)據(jù)處理和增強(qiáng)策略的影響。

4.1 數(shù)據(jù)增強(qiáng)

作用：增加訓(xùn)練數(shù)據(jù)的多樣性。

常見策略：

• 文本任務(wù)：隨機(jī)刪除、同義詞替換、句子順序打亂。
• 圖像任務(wù)（如 Vision Transformer, ViT）：隨機(jī)裁剪、翻轉(zhuǎn)、旋轉(zhuǎn)。
• 時(shí)間序列任務(wù)：時(shí)間偏移、幅度縮放。

4.2 Tokenization 的詞匯大?。╒ocabulary Size, (V)）

作用：影響嵌入層的大小和模型的詞匯覆蓋率。

常見值：

• BERT：30,000。
• GPT-2：50,000。

調(diào)整建議：

• 小任務(wù)可以減少詞匯大小以節(jié)省內(nèi)存。
• 多語(yǔ)言任務(wù)需要更大的詞匯表。

5. 特定任務(wù)相關(guān)的超參數(shù)

• 解碼長(zhǎng)度（Decoding Length）：在生成任務(wù)（如翻譯、文本生成）中，調(diào)整最大生成序列的長(zhǎng)度。
• Beam Search 大小：調(diào)整生成任務(wù)中的 Beam Search 寬度（常見值為3-10）。
• 損失函數(shù)：根據(jù)任務(wù)選擇合適的損失函數(shù)（如交叉熵、KL散度、回歸誤差等）。?

三、總結(jié)

在深度神經(jīng)網(wǎng)絡(luò)中，可以通過(guò)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)化算法、正則化方法和訓(xùn)練策略等多方面的超參數(shù)來(lái)提升性能。建議遵循以下策略：

1. 優(yōu)先調(diào)整關(guān)鍵超參數(shù)（如學(xué)習(xí)率、網(wǎng)絡(luò)深度、批量大?。?。

2. 使用驗(yàn)證集評(píng)估超參數(shù)的效果。

3. 結(jié)合自動(dòng)調(diào)參工具（如Grid Search、Random Search、Bayesian Optimization或Optuna）進(jìn)行超參數(shù)優(yōu)化。

本文轉(zhuǎn)載自?????碼農(nóng)隨心筆記?????，作者：碼農(nóng)隨心筆記