大家好，我是小寒

今天給大家分享機器學(xué)習(xí)中的一個關(guān)鍵知識點，超參數(shù)調(diào)優(yōu)

超參數(shù)調(diào)優(yōu)是機器學(xué)習(xí)中調(diào)整模型超參數(shù)以優(yōu)化模型性能的過程。

超參數(shù)是用戶在模型訓(xùn)練前需要手動設(shè)置的參數(shù)，與訓(xùn)練過程中通過算法自動調(diào)整的參數(shù)（如神經(jīng)網(wǎng)絡(luò)中的權(quán)重）不同。這些超參數(shù)直接控制著訓(xùn)練過程和模型的行為，例如學(xué)習(xí)率、隱藏層的數(shù)量、隱藏層的節(jié)點數(shù)等。超參數(shù)的選擇對模型的表現(xiàn)至關(guān)重要。

超參數(shù)調(diào)優(yōu)的目的是找到一組最佳的超參數(shù)，使模型在驗證集上表現(xiàn)良好，能夠?qū)崿F(xiàn)良好的泛化能力（即在新數(shù)據(jù)上具有較好的性能），同時避免過擬合或欠擬合。

圖片

超參數(shù)調(diào)優(yōu)的重要性

1. 性能優(yōu)化
   合適的超參數(shù)可以顯著提高模型的準(zhǔn)確性、召回率等性能指標(biāo)。
2. 控制過擬合和欠擬合
   超參數(shù)調(diào)節(jié)可以控制模型復(fù)雜度，降低過擬合和欠擬合的風(fēng)險。
3. 訓(xùn)練效率
   調(diào)整超參數(shù)（如學(xué)習(xí)率、批量大?。┛梢蕴岣哂?xùn)練速度并穩(wěn)定收斂。

常見超參數(shù)調(diào)優(yōu)方法

網(wǎng)格搜索

網(wǎng)格搜索是一種系統(tǒng)地搜索超參數(shù)空間的方法，它通過窮舉搜索遍歷所有可能的超參數(shù)組合。

對于每組超參數(shù)，模型在訓(xùn)練集上訓(xùn)練并在驗證集上評估性能，從而找到最佳組合。

圖片

步驟：

1. 定義超參數(shù)及其可能取值范圍（通常是離散的值）。
2. 生成所有可能的超參數(shù)組合。
3. 逐一訓(xùn)練模型并在驗證集上進行評估。
4. 選擇使模型性能最優(yōu)的超參數(shù)組合。

優(yōu)點：

• 簡單易實現(xiàn)。
• 對于搜索空間較小的問題能找到全局最優(yōu)解。

缺點：

• 計算復(fù)雜度高，隨著超參數(shù)的維度和可能取值數(shù)量增加，搜索空間呈指數(shù)級增長。
• 低效：如果某些超參數(shù)的作用較小或?qū)δＰ托阅苡绊懖淮?，依然會浪費大量計算資源。

案例：

假設(shè)有一個分類模型，其超參數(shù)有：

• learning_rate: [0.001, 0.01, 0.1]
• max_depth: [3, 5, 7]

網(wǎng)格搜索將會嘗試以下組合：

(0.001, 3), (0.001, 5), (0.001, 7), 
(0.01, 3), (0.01, 5), (0.01, 7),
(0.1, 3), (0.1, 5), (0.1, 7)

一共 3 × 3 = 9 次訓(xùn)練。

隨機搜索

隨機搜索是一種隨機采樣超參數(shù)空間的方法，它從所有可能的超參數(shù)組合中隨機選擇一定數(shù)量的組合進行嘗試，而不是窮盡所有可能性。

圖片

步驟：

1. 定義超參數(shù)的分布范圍。
2. 隨機采樣一定數(shù)量的超參數(shù)組合。
3. 逐一訓(xùn)練模型并在驗證集上進行評估。
4. 選擇使模型性能最優(yōu)的超參數(shù)組合。

優(yōu)點：

• 計算效率高，通過減少搜索空間中的點，顯著降低計算成本。
• 效果較好，相比網(wǎng)格搜索，隨機搜索在高維空間中更有可能找到接近最優(yōu)的解。

缺點：

• 沒有系統(tǒng)性，不保證找到全局最優(yōu)解。
• 需要事先定義采樣數(shù)量。

案例：

假設(shè)超參數(shù)空間與上述網(wǎng)格搜索相同，但隨機搜索僅采樣 5 組超參數(shù)組合，例如：

(0.001, 7), (0.01, 5), (0.1, 3), (0.001, 5), (0.01, 3)

相比網(wǎng)格搜索的 9 次訓(xùn)練，這里僅訓(xùn)練 5 次。

示例代碼

以下是使用 Python 實現(xiàn)網(wǎng)格搜索和隨機搜索的示例代碼。

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV, RandomizedSearchCV
from sklearn.datasets import make_classification
X, y = make_classification(n_samples=1000, n_features=20, random_state=42)

model = RandomForestClassifier(random_state=42)

param_grid = {
    'n_estimators': [10, 50, 100],
    'max_depth': [5, 10, 15],
    'min_samples_split': [2, 5, 10]
}

# 網(wǎng)格搜索
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, cv=3, scoring='accuracy')
grid_search.fit(X, y)
print("Best parameters (Grid Search):", grid_search.best_params_)

from scipy.stats import randint
param_dist = {
    'n_estimators': randint(10, 200),
    'max_depth': randint(5, 50),
    'min_samples_split': randint(2, 20)
}

# 隨機搜索
random_search = RandomizedSearchCV(estimator=model, param_distributinotallow=param_dist, n_iter=10, cv=3, scoring='accuracy', random_state=42)
random_search.fit(X, y)
print("Best parameters (Random Search):", random_search.best_params_)