LightGBM是一個快速、高效的梯度提升框架，他由微軟開發(fā)，在數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域應(yīng)用廣泛。接下來詳細(xì)介紹下他的原理

 1. 梯度提升框架：LightGBM基于梯度提升決策樹（GBDT）算法，通過迭代地訓(xùn)練決策樹來逐步減少預(yù)測誤差。它將弱學(xué)習(xí)器（如決策樹）組合成一個強(qiáng)學(xué)習(xí)器，不斷地根據(jù)之前模型的誤差來調(diào)整新模型的訓(xùn)練，從而提高整體模型的準(zhǔn)確性。

舉例：

假設(shè)有一個預(yù)測房價的任務(wù)，我們有一些房屋的特征數(shù)據(jù)，如面積、房間數(shù)、房齡等，目標(biāo)是根據(jù)這些特征預(yù)測房屋的價格。LightGBM會先初始化一個簡單的模型，比如預(yù)測所有房屋價格都是一個固定值（可以是房價的平均值），這是初始的弱學(xué)習(xí)器。然后，計算這個初始模型的預(yù)測誤差，即真實房價與預(yù)測房價的差值。接下來，根據(jù)這個誤差來訓(xùn)練一個新的決策樹，這個決策樹的目標(biāo)是盡量糾正之前模型的誤差。將新的決策樹與之前的模型結(jié)合起來，得到一個新的、更準(zhǔn)確的模型。不斷重復(fù)這個過程，每次都根據(jù)上一輪模型的誤差來訓(xùn)練新的決策樹并加入到模型中，使模型的預(yù)測能力不斷提升。 

2.  Leaf - Wise生長策略：與傳統(tǒng)的按層生長的決策樹不同，LightGBM采用了Leaf - Wise的生長方式。它每次選擇增益最大的葉子節(jié)點進(jìn)行分裂，而不是像層生長那樣在每一層上對所有節(jié)點同時進(jìn)行分裂。這種策略可以更快速地找到最優(yōu)的分裂點，減少不必要的計算，提高模型訓(xùn)練速度。

舉例：

在構(gòu)建決策樹時，傳統(tǒng)的按層生長方式是每一層都對所有節(jié)點進(jìn)行分裂，不管這個節(jié)點是否真的有必要分裂。而LightGBM的Leaf - Wise生長策略會從根節(jié)點開始，每次選擇一個增益最大的葉子節(jié)點進(jìn)行分裂。例如，在預(yù)測房價的決策樹中，可能某個葉子節(jié)點包含的房屋大多是房齡較新且面積較大的，這些房屋的價格相對較高且比較集中。如果按照層生長，可能會對這個節(jié)點所在層的其他節(jié)點也進(jìn)行分裂，而那些節(jié)點可能已經(jīng)比較純了，分裂意義不大。但Leaf - Wise策略會優(yōu)先選擇這個葉子節(jié)點繼續(xù)分裂，比如根據(jù)房間數(shù)進(jìn)一步細(xì)分，因為這樣可能會帶來更大的信息增益，能更精準(zhǔn)地預(yù)測房價。

3. 直方圖算法：LightGBM使用直方圖算法來優(yōu)化特征的離散化和數(shù)據(jù)的統(tǒng)計。它將連續(xù)的特征值離散化為有限個區(qū)間，然后在這些區(qū)間上構(gòu)建直方圖。通過對直方圖的統(tǒng)計和計算，可以快速找到最優(yōu)的分裂點，大大減少了計算量，同時也能有效地處理大規(guī)模數(shù)據(jù)。

舉例：

假設(shè)我們有一個房屋面積的特征，其取值范圍是0到1000平方米。LightGBM會先將這個連續(xù)的特征值離散化為有限個區(qū)間，比如0 - 100平方米、100 - 200平方米等。然后，對于每個訓(xùn)練數(shù)據(jù)點，根據(jù)其房屋面積落入相應(yīng)的區(qū)間，并在該區(qū)間的直方圖中計數(shù)加1。在尋找最優(yōu)分裂點時，LightGBM只需要在這些離散的區(qū)間上進(jìn)行計算，而不用像傳統(tǒng)方法那樣對每個具體的面積值進(jìn)行遍歷計算。例如，要判斷在哪個面積區(qū)間進(jìn)行分裂能使房價的預(yù)測更準(zhǔn)確，只需要比較不同區(qū)間的統(tǒng)計信息，如區(qū)間內(nèi)房屋的平均價格、數(shù)量等，大大減少了計算量。

LightGBM代碼實現(xiàn)

完整代碼示例（房價預(yù)測）

1 數(shù)據(jù)準(zhǔn)備

import lightgbm as lgb

from sklearn.datasets import fetch_california_housing

from sklearn.model_selection import train_test_split

from sklearn.metrics import mean_squared_error

#加載加州房價數(shù)據(jù)集

data = fetch_california_housing()

X, y = data.data, data.target

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

#轉(zhuǎn)換為LightGBM Dataset格式

train_data = lgb.Dataset(X_train, label=y_train)

test_data = lgb.Dataset(X_test, label=y_test, reference=train_data)

2 參數(shù)設(shè)置

params = {

'objective': 'regression',

'metric': 'mse',

'boosting_type': 'gbdt',

'num_leaves': 31,

'learning_rate': 0.05,

'feature_fraction': 0.8,

'lambda_l1': 0.1,

'lambda_l2': 0.1,

'max_depth': 5,

'min_data_in_leaf': 20,

'verbose': -1

}

3 模型訓(xùn)練與早停

evals_result = {} # 記錄評估結(jié)果

model = lgb.train(

params,

train_data,

valid_sets=[train_data, test_data],

valid_names=['train', 'test'],

num_boost_round=1000,

early_stopping_rounds=50,

verbose_eval=50,

evals_result=evals_result

)

4 模型評估與可視化

#預(yù)測并計算RMSE

y_pred = model.predict(X_test)

rmse = mean_squared_error(y_test, y_pred, squared=False)

print(f'Test RMSE: {rmse:.3f}')

#可視化特征重要性

lgb.plot_importance(model, figsize=(10, 6), max_num_features=10)

#繪制訓(xùn)練曲線

lgb.plot_metric(evals_result, metric='mse', figsize=(10, 5))

5 使用SHAP解釋模型

import shap

#創(chuàng)建SHAP解釋器

explainer = shap.TreeExplainer(model)

shap_values = explainer.shap_values(X_test)

#可視化單個樣本的特征貢獻(xiàn)

shap.force_plot(explainer.expected_value, shap_values[0,:], X_test[0,:], feature_names=data.feature_names)

#全局特征重要性

shap.summary_plot(shap_values, X_test, feature_names=data.feature_names)

LightGBM與XGBoost和CatBoost比較

LightGBM過擬合該如何處理？

1.數(shù)據(jù)層面：確保樣本量> 10,000，避免小數(shù)據(jù)使用LightGBM。

2.參數(shù)調(diào)優(yōu)：

• 降低num_leaves（如從31減至15）。
• 增大min_data_in_leaf（如從20增至100）。
• 提高正則化項（lambda_l1和lambda_l2）。

3.早停法：監(jiān)控驗證集誤差，提前終止訓(xùn)練。

LightGBM優(yōu)點

 ● 訓(xùn)練速度快：采用了Leaf - Wise生長策略和直方圖算法等優(yōu)化技術(shù)，能夠在較短的時間內(nèi)處理大規(guī)模數(shù)據(jù)集，提高模型訓(xùn)練效率。

 ● 內(nèi)存占用少：對數(shù)據(jù)的存儲和計算進(jìn)行了優(yōu)化，通過直方圖等數(shù)據(jù)結(jié)構(gòu)來壓縮數(shù)據(jù)，減少了內(nèi)存的使用，適合處理內(nèi)存受限的問題。

 ● 可擴(kuò)展性強(qiáng)：支持大規(guī)模數(shù)據(jù)集和分布式訓(xùn)練，可以在多臺機(jī)器上并行訓(xùn)練模型，加速模型的訓(xùn)練過程，適用于處理海量數(shù)據(jù)的場景。

 ● 魯棒性好：對數(shù)據(jù)中的噪聲和異常值具有較好的魯棒性，能夠在一定程度上避免過擬合，提高模型的泛化能力。

本文轉(zhuǎn)載自 ??人工智能訓(xùn)練營???，作者： 小A學(xué)習(xí)