Let's go!

我們以機(jī)器學(xué)習(xí)當(dāng)中的調(diào)參過(guò)程來(lái)進(jìn)行實(shí)踐，有三種方式可供選擇。第一個(gè)選項(xiàng)是使用 argparse，它是一個(gè)流行的 Python 模塊，專(zhuān)門(mén)用于命令行解析；另一種方法是讀取 JSON 文件，我們可以在其中放置所有超參數(shù)；第三種也是鮮為人知的方法是使用 YAML 文件！好奇嗎，讓我們開(kāi)始吧！

先決條件

在下面的代碼中，我將使用 Visual Studio Code，這是一個(gè)非常高效的集成 Python 開(kāi)發(fā)環(huán)境。這個(gè)工具的美妙之處在于它通過(guò)安裝擴(kuò)展支持每種編程語(yǔ)言，集成終端并允許同時(shí)處理大量 Python 腳本和 Jupyter 筆記本。

• https://www.kaggle.com/datasets/lakshmi25npathi/bike-sharing-dataset

使用 argparse

就像上圖所示，我們有一個(gè)標(biāo)準(zhǔn)的結(jié)構(gòu)來(lái)組織我們的小項(xiàng)目：

• 包含我們數(shù)據(jù)集的名為 data 的文件夾
• train.py 文件
• 用于指定超參數(shù)的 options.py 文件

首先，我們可以創(chuàng)建一個(gè)文件 train.py，在其中我們有導(dǎo)入數(shù)據(jù)、在訓(xùn)練數(shù)據(jù)上訓(xùn)練模型并在測(cè)試集上對(duì)其進(jìn)行評(píng)估的基本程序：

import pandas as pd
import numpy as np
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error, mean_absolute_error
from options import train_options
df = pd.read_csv('data\hour.csv')
print(df.head())
opt = train_options()
X=df.drop(['instant','dteday','atemp','casual','registered','cnt'],axis=1).values
y =df['cnt'].values
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
if opt.normalize == True:
   scaler = StandardScaler()
   X = scaler.fit_transform(X)
rf = RandomForestRegressor(n_estimators=opt.n_estimators,max_features=opt.max_features,max_depth=opt.max_depth)
model = rf.fit(X_train,y_train)
y_pred = model.predict(X_test)
rmse = np.sqrt(mean_squared_error(y_pred, y_test))
mae = mean_absolute_error(y_pred, y_test)
print("rmse: ",rmse)
print("mae: ",mae)

在代碼中，我們還導(dǎo)入了包含在 options.py 文件中的 train_options 函數(shù)。后一個(gè)文件是一個(gè) Python 文件，我們可以從中更改 train.py 中考慮的超參數(shù)：

import argparse
def train_options():
   parser = argparse.ArgumentParser()
   parser.add_argument("--normalize", default=True, type=bool, help='maximum depth')
   parser.add_argument("--n_estimators", default=100, type=int, help='number of estimators')
   parser.add_argument("--max_features", default=6, type=int, help='maximum of features',)
   parser.add_argument("--max_depth", default=5, type=int,help='maximum depth')
   opt = parser.parse_args()
   return opt

在這個(gè)例子中，我們使用了 argparse 庫(kù)，它在解析命令行參數(shù)時(shí)非常流行。首先，我們初始化解析器，然后，我們可以添加我們想要訪問(wèn)的參數(shù)。

這是運(yùn)行代碼的示例：

python train.py

要更改超參數(shù)的默認(rèn)值，有兩種方法。第一個(gè)選項(xiàng)是在 options.py 文件中設(shè)置不同的默認(rèn)值。另一種選擇是從命令行傳遞超參數(shù)值：

python train.py --n_estimators 200

我們需要指定要更改的超參數(shù)的名稱(chēng)和相應(yīng)的值。

python train.py --n_estimators 200 --max_depth 7

使用 JSON 文件

和前面一樣，我們可以保持類(lèi)似的文件結(jié)構(gòu)。在這種情況下，我們將 options.py 文件替換為 JSON 文件。換句話說(shuō)，我們想在 JSON 文件中指定超參數(shù)的值并將它們傳遞給 train.py 文件。與 argparse 庫(kù)相比，JSON 文件可以是一種快速且直觀的替代方案，它利用鍵值對(duì)來(lái)存儲(chǔ)數(shù)據(jù)。下面我們創(chuàng)建一個(gè) options.json 文件，其中包含我們稍后需要傳遞給其他代碼的數(shù)據(jù)。

{
"normalize":true,
"n_estimators":100,
"max_features":6,
"max_depth":5  
}

如上所見(jiàn)，它與 Python 字典非常相似。但是與字典不同的是，它包含文本/字符串格式的數(shù)據(jù)。此外，還有一些語(yǔ)法略有不同的常見(jiàn)數(shù)據(jù)類(lèi)型。例如，布爾值是 false/true，而 Python 識(shí)別 False/True。JSON 中其他可能的值是數(shù)組，它們用方括號(hào)表示為 Python 列表。

在 Python 中使用 JSON 數(shù)據(jù)的美妙之處在于，它可以通過(guò) load 方法轉(zhuǎn)換成 Python 字典：

f = open("options.json", "rb")
parameters = json.load(f)

要訪問(wèn)特定項(xiàng)目，我們只需要在方括號(hào)內(nèi)引用它的鍵名：

if parameters["normalize"] == True:
   scaler = StandardScaler()
   X = scaler.fit_transform(X)
rf=RandomForestRegressor(n_estimators=parameters["n_estimators"],max_features=parameters["max_features"],max_depth=parameters["max_depth"],random_state=42)
model = rf.fit(X_train,y_train)
y_pred = model.predict(X_test)

使用 YAML 文件

最后一種選擇是利用 YAML 的潛力。與 JSON 文件一樣，我們將 Python 代碼中的 YAML 文件作為字典讀取，以訪問(wèn)超參數(shù)的值。YAML 是一種人類(lèi)可讀的數(shù)據(jù)表示語(yǔ)言，其中層次結(jié)構(gòu)使用雙空格字符表示，而不是像 JSON 文件中的括號(hào)。下面我們展示 options.yaml 文件將包含的內(nèi)容：

normalize: True  
n_estimators: 100
max_features: 6
max_depth: 5

在 train.py 中，我們打開(kāi) options.yaml 文件，該文件將始終使用 load 方法轉(zhuǎn)換為 Python 字典，這一次是從 yaml 庫(kù)中導(dǎo)入的：

import yaml
f = open('options.yaml','rb')
parameters = yaml.load(f, Loader=yaml.FullLoader)

和前面一樣，我們可以使用字典所需的語(yǔ)法訪問(wèn)超參數(shù)的值。

最后的想法

配置文件的編譯速度非?？?，而 argparse 則需要為我們要添加的每個(gè)參數(shù)編寫(xiě)一行代碼。

所以我們應(yīng)該根據(jù)自己的不同情況來(lái)選擇最為合適的方式

例如，如果我們需要為參數(shù)添加注釋?zhuān)琂SON 是不合適的，因?yàn)樗辉试S注釋?zhuān)?YAML 和 argparse 可能非常適合。