偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

XGBoost + LR 就是加特征而已

開(kāi)發(fā) 開(kāi)發(fā)工具
LR (邏輯回歸) 算法因其簡(jiǎn)單有效,成為工業(yè)界最常用的算法之一。但 LR 算法是線(xiàn)性模型,不能捕捉到非線(xiàn)性信息,需要大量特征工程找到特征組合。

LR (邏輯回歸) 算法因其簡(jiǎn)單有效,成為工業(yè)界最常用的算法之一。但 LR 算法是線(xiàn)性模型,不能捕捉到非線(xiàn)性信息,需要大量特征工程找到特征組合。為了發(fā)現(xiàn)有效的特征組合,F(xiàn)acebook 在 2014年介紹了通過(guò) GBDT (Gradient Boost Decision Tree)+ LR 的方案 [1] (XGBoost 是 GBDT 的后續(xù)發(fā)展)。隨后 Kaggle 競(jìng)賽實(shí)踐證明此思路的有效性 [2][3]。

1. XGBoost + LR 的原理

XGBoost + LR 融合方式原理很簡(jiǎn)單。先用數(shù)據(jù)訓(xùn)練一個(gè) XGBoost 模型,然后將訓(xùn)練數(shù)據(jù)中的實(shí)例給 XGBoost 模型得到實(shí)例的葉子節(jié)點(diǎn),然后將葉子節(jié)點(diǎn)當(dāng)做特征訓(xùn)練一個(gè) LR 模型。XGBoost + LR 的結(jié)構(gòu)如下所示。

XGBoost + LR 的結(jié)構(gòu)

我***接觸到 XGBoost + LR 的時(shí)候,認(rèn)為 XGBoost + LR 是嘗試自動(dòng)替代特征工程的方法。深度學(xué)習(xí)在 CTR 領(lǐng)域便是在講述這樣的故事和邏輯:只需人工對(duì)原始特征進(jìn)行簡(jiǎn)單的變換,深度學(xué)習(xí)能取的比大量人工特征的 LR 好的效果。

2. XGBoost 葉子節(jié)點(diǎn)不能取代特征工程

為了驗(yàn)證 XGBoost + LR 是嘗試自動(dòng)替代特征工程的方法,還只是一種特征工程的方法,我們?cè)谧约簶I(yè)務(wù)的數(shù)據(jù)上做了一些實(shí)驗(yàn)。下圖便是實(shí)驗(yàn)結(jié)果,其中: “xgboost+lr1" 是 XGBoost 的葉子節(jié)點(diǎn)特征、原始屬性特征和二階交叉特征一起給 LR 進(jìn)行訓(xùn)練;"xgboost+lr2" 則只有葉子節(jié)點(diǎn)特征給 LR;"lr1" 是原始屬性特征和二階交叉特征; "lr2" 只有原始屬性特征。

XGBoost 葉子節(jié)點(diǎn)不能取代特征工程

從上面的實(shí)驗(yàn)來(lái)看:1) "xgboost+lr2" 明顯弱于 "lr1" 方法,說(shuō)明只用葉子節(jié)點(diǎn)特征的 XGBoost + LR 弱于有特征工程的 LR 算法。即 XGBoost 葉子節(jié)點(diǎn)不能取代特征工程,XGBoost + LR 無(wú)法取代傳統(tǒng)的特征工程。2) "xgboost+lr1" 取得了所有方法中的***效果,說(shuō)明了保留原來(lái)的特征工程 XGBoost + LR 方法擁有比較好的效果。即 XGBoost 葉子節(jié)點(diǎn)特征是一種有效的特征,XGBoost + LR 是一種有效的特征工程手段。

上面的實(shí)驗(yàn)結(jié)果和我同事二哥之前的實(shí)驗(yàn)結(jié)果一致。在他實(shí)驗(yàn)中沒(méi)有進(jìn)行二階交叉的特征工程技巧,結(jié)果 XGBoost > XGBoost + LR > LR,其中 XGBoost +LR 類(lèi)似我們的 "xgboost+lr2" 和 LR 類(lèi)似于我們的 "lr2"。

3. 強(qiáng)大的 XGBoost

只用 XGBoost 葉子節(jié)點(diǎn)特征, XGBoost + LR 接近或者弱于 XGBoost 。在下圖中,我們發(fā)現(xiàn) XGBoost 的每個(gè)葉子節(jié)點(diǎn)都有權(quán)重 w, 一個(gè)實(shí)例的預(yù)測(cè)值和這個(gè)實(shí)例落入的葉子節(jié)點(diǎn)的權(quán)重之和有關(guān)。

XGBoost

如果二分類(lèi) XGBoost 使用了 sgmoid 做激活函數(shù), 即參數(shù)為 "binary:logistic", 則 XGBoost 的最終預(yù)測(cè)值等于 sgmoid(葉子節(jié)點(diǎn)的權(quán)重之和)。而 LR 的最終預(yù)測(cè)值等于 sgmoid (特征對(duì)應(yīng)的權(quán)重之后)。因此 LR 只要學(xué)到葉子節(jié)點(diǎn)的權(quán)重,即可以將 XGBoost 模型復(fù)現(xiàn)出來(lái)。因此理論上,如果 LR 能學(xué)到更好的權(quán)重,即使只有葉子節(jié)點(diǎn)特征的 XGBoost + LR 效果應(yīng)該好于 XGBoost。

但是從上面的結(jié)果來(lái)看,XGBoost + LR 要接近或者弱于 XGBoost。XGBoost 賦予葉子節(jié)點(diǎn)的權(quán)重是很不錯(cuò)的,LR 學(xué)到的權(quán)重?zé)o法明顯地超過(guò)它。

4. 總結(jié)

XGBoost + LR 在工業(yè)和競(jìng)賽實(shí)踐中,都取得了不錯(cuò)的效果。但 XGBoost 的葉子節(jié)點(diǎn)不能完全替代人工特征, XGBoost + LR 并沒(méi)有像深度學(xué)習(xí)那樣試圖帶來(lái)自動(dòng)特征工程的故事和邏輯。最終,XGBoost + LR 的格局沒(méi)有超越特征工程。

【本文為51CTO專(zhuān)欄作者“李立”的原創(chuàng)稿件,轉(zhuǎn)載請(qǐng)通過(guò)51CTO獲取聯(lián)系和授權(quán)】

戳這里,看該作者更多好文

責(zé)任編輯:趙寧寧 來(lái)源: 51CTO專(zhuān)欄
相關(guān)推薦

2021-04-16 20:46:21

PythonXGBoost 特征

2020-08-03 09:22:19

互聯(lián)網(wǎng)數(shù)據(jù)技術(shù)

2013-09-22 10:17:07

iOS7加價(jià)

2021-04-27 19:24:34

ICMP IP 協(xié)議

2017-06-22 11:35:11

高清 雙攝

2019-09-03 16:00:30

戴爾

2015-04-13 10:54:42

java.netHashSet

2023-02-26 18:46:35

機(jī)器學(xué)習(xí)數(shù)據(jù)集算法

2009-09-28 10:34:32

LR監(jiān)控Linux系統(tǒng)資源Linux

2020-09-01 14:17:03

WindowsDefender微軟

2021-04-07 10:02:00

XGBoostPython代碼

2020-08-18 17:26:11

機(jī)器學(xué)習(xí)XGBoost人工智能

2024-03-22 16:13:42

LLMRAGXGBoost

2022-07-14 10:33:20

XGBoost機(jī)器學(xué)習(xí)

2021-06-05 08:04:26

機(jī)器學(xué)習(xí)CARTOptimal

2022-04-08 12:36:02

模型系統(tǒng)

2021-02-26 10:21:35

比特幣投資金融

2018-08-31 08:03:00

深度學(xué)習(xí)GBDT算法CatBoost

2015-07-27 10:26:30

2021-09-03 18:04:28

Velodyne
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)