超強！機器學習超參數(shù)調優(yōu)指南
作者：程序員小寒
超參數(shù)調優(yōu)是機器學習和深度學習中重要的步驟，旨在選擇最佳的超參數(shù)組合，以提高模型的性能。
超參數(shù)調優(yōu)是機器學習和深度學習中重要的步驟，旨在選擇最佳的超參數(shù)組合，以提高模型的性能。
超參數(shù)是那些在訓練模型之前需要設置的參數(shù)，而不是在訓練過程中自動學習的參數(shù)。
常見的超參數(shù)包括學習率、批大小、正則化參數(shù)、神經網(wǎng)絡的層數(shù)和每層的神經元數(shù)等。
常見的超參數(shù)調優(yōu)技術
1.網(wǎng)格搜索
網(wǎng)格搜索是一種窮舉搜索技術，用于系統(tǒng)地遍歷多種參數(shù)組合，以找到最佳的模型參數(shù)。
這種方法簡單直接，但計算成本可能較高，尤其是當參數(shù)空間較大時。
優(yōu)點:
- 簡單易懂：網(wǎng)格搜索直觀易理解，適用于參數(shù)數(shù)量較少時。
- 徹底性：可以保證在給定的參數(shù)網(wǎng)格內找到最優(yōu)的組合。
缺點:
- 計算成本高：當參數(shù)空間大或者模型復雜時，計算成本非常高，因為它需要評估所有可能的參數(shù)組合。
代碼示例
from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier
import numpy as np
# 定義模型
model = RandomForestClassifier()
# 定義參數(shù)網(wǎng)格
param_grid = {
'n_estimators': [50, 100, 200],
'max_features': ['auto', 'sqrt', 'log2'],
'max_depth': [None, 10, 20, 30]
}
# 創(chuàng)建網(wǎng)格搜索對象
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, cv=3, scoring='accuracy')
# 擬合網(wǎng)格搜索
grid_search.fit(X_train, y_train)
# 最優(yōu)參數(shù)和最優(yōu)得分
print("最優(yōu)參數(shù):", grid_search.best_params_)
print("最高得分:", grid_search.best_score_)2.隨機搜索
隨機搜索不像網(wǎng)格搜索那樣嘗試所有可能的組合，而是在參數(shù)空間中隨機選取參數(shù)組合。
這種方法可以在更大的參數(shù)空間內更快地找到不錯的解。
優(yōu)點:
- 高效：在大參數(shù)空間中比網(wǎng)格搜索更加高效，不需要測試所有可能的參數(shù)組合。
缺點:
- 無保證：由于其隨機性，不能保證找到全局最優(yōu)解，特別是在迭代次數(shù)有限的情況下。
- 結果的隨機性： 同樣的參數(shù)和設置可能導致不同的搜索結果。
代碼示例
from sklearn.model_selection import RandomizedSearchCV
from sklearn.ensemble import RandomForestClassifier
# 定義模型
model = RandomForestClassifier()
# 定義參數(shù)分布
param_dist = {
'n_estimators': [50, 100, 200, 300],
'max_features': ['auto', 'sqrt', 'log2'],
'max_depth': [None, 10, 20, 30, 40]
}
# 創(chuàng)建隨機搜索對象
random_search = RandomizedSearchCV(estimator=model, param_distributinotallow=param_dist, n_iter=100, cv=3, scoring='accuracy')
# 擬合隨機搜索
random_search.fit(X_train, y_train)
# 最優(yōu)參數(shù)和最優(yōu)得分
print("最優(yōu)參數(shù):", random_search.best_params_)
print("最高得分:", random_search.best_score_)3.貝葉斯優(yōu)化
貝葉斯優(yōu)化是一種高效的全局優(yōu)化技術，廣泛用于機器學習領域中模型超參數(shù)的調優(yōu)。
這種方法利用貝葉斯統(tǒng)計理論，通過構建一個代理模型（通常是高斯過程）來預測目標函數(shù)的表現(xiàn)，并基于這個模型進行決策，以選擇新的參數(shù)值來測試。
優(yōu)點:
- 高效且有效：在較少的函數(shù)評估次數(shù)內找到最優(yōu)解，適用于評估代價高的情況。
- 適用于復雜空間：可以很好地處理非凸的優(yōu)化問題。
缺點:
- 實現(xiàn)復雜：相對于網(wǎng)格搜索和隨機搜索，貝葉斯優(yōu)化算法的實現(xiàn)和調試更為復雜。
- 計算密集型：在每一步都需要更新代理模型，可能需要高昂的計算成本，尤其是在參數(shù)維度非常高的情況下。
代碼示例
from bayes_opt import BayesianOptimization
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier
# 定義目標函數(shù)
def rf_cv(n_estimators, max_features, max_depth):
estimator = RandomForestClassifier(
n_estimators=int(n_estimators),
max_features=min(max_features, 0.999), # 浮點類型
max_depth=int(max_depth),
random_state=2
)
cval = cross_val_score(estimator, X_train, y_train, scoring='accuracy', cv=5)
return cval.mean()
# 定義參數(shù)范圍
pbounds = {
'n_estimators': (50, 300),
'max_features': (0.1, 0.999),
'max_depth': (5, 50)
}
# 初始化貝葉斯優(yōu)化
optimizer = BayesianOptimization(f=rf_cv, pbounds=pbounds, random_state=1)
# 執(zhí)行優(yōu)化
optimizer.maximize(init_points=2, n_iter=10)
# 輸出最優(yōu)參數(shù)
print("最優(yōu)參數(shù):", optimizer.max['params'])4.Hyperband
Hyperband 是一種基于多武裝賭博機的優(yōu)化技術，利用資源分配和早期停止策略來快速找到最優(yōu)參數(shù)。
這種方法主要適用于需要大量計算資源的情況，如大規(guī)模深度學習模型訓練。
優(yōu)點:
- 快速且高效： 通過早期停止低效的模型來節(jié)省時間和資源，使得它在處理需要大量資源的訓練任務時特別有效。
- 動態(tài)資源分配：可以更智能地分配計算資源，優(yōu)先給予表現(xiàn)良好的配置更多的資源。
缺點:
- 依賴于早期表現(xiàn)：基于早期停止策略，可能會錯過最初表現(xiàn)不佳但最終可能優(yōu)化良好的配置。
- 實現(xiàn)復雜性：相較于其他方法，Hyperband 的實現(xiàn)更為復雜，需要對資源管理和調度有較好的控制。
代碼示例
在這個例子中，我們定義了一個簡單的神經網(wǎng)絡，并用 Hyperband 算法來調整網(wǎng)絡中的隱藏層單元數(shù)和學習率。
此外，我們使用了 Fashion MNIST 數(shù)據(jù)集來訓練和驗證模型。
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
from kerastuner.tuners import Hyperband
def build_model(hp):
model = keras.Sequential()
model.add(layers.Flatten(input_shape=(28, 28)))
# 使用hp.Int()來定義學習的參數(shù)
model.add(layers.Dense(units=hp.Int('units', min_value=32, max_value=512, step=32), activatinotallow='relu'))
model.add(layers.Dense(10, activatinotallow='softmax'))
model.compile(
optimizer=keras.optimizers.Adam(
hp.Choice('learning_rate', [1e-2, 1e-3, 1e-4])),
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
return model
# 加載數(shù)據(jù)
(x_train, y_train), (x_test, y_test) = keras.datasets.fashion_mnist.load_data()
x_train = x_train.astype('float32') / 255
x_test = x_test.astype('float32') / 255
# 初始化Hyperband調優(yōu)器
tuner = Hyperband(
build_model,
objective='val_accuracy',
max_epochs=40,
directory='my_dir',
project_name='hyperband_tuning'
)
# 執(zhí)行超參數(shù)搜索
tuner.search(x_train, y_train, epochs=10, validation_split=0.2)
# 獲取最優(yōu)模型
best_model = tuner.get_best_models(num_models=1)[0]
best_model.evaluate(x_test, y_test)責任編輯：華軒
來源：
程序員學長
