偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

遇事不決,XGBoost,梯度提升比深度學習更容易贏得Kaggle競賽

新聞 前端
一位Reddit網(wǎng)友把這個問題發(fā)在機器學習板塊(r/MachineLearning),并給出了一個直覺上的結論:提升算法在比賽中提供的表格類數(shù)據(jù)中表現(xiàn)最好,而深度學習適合非常大的非表格數(shù)據(jù)集(例如張量、圖片、音頻、文本)。

 本文經(jīng)AI新媒體量子位(公眾號ID:QbitAI)授權轉(zhuǎn)載,轉(zhuǎn)載請聯(lián)系出處。

在Kaggle上參加機器學習比賽,用什么算法最容易拿獎金?

你可能會說:當然是深度學習。

還真不是,據(jù)統(tǒng)計獲勝最多的是像XGBoost這種梯度提升算法。

這就奇了怪了,深度學習在圖像、語言等領域大放異彩,怎么在機器學習比賽里還不如老前輩了。

一位Reddit網(wǎng)友把這個問題發(fā)在機器學習板塊(r/MachineLearning),并給出了一個直覺上的結論:

提升算法在比賽中提供的表格類數(shù)據(jù)中表現(xiàn)最好,而深度學習適合非常大的非表格數(shù)據(jù)集(例如張量、圖片、音頻、文本)。

但這背后的原理能不能用數(shù)學原理來解釋?

更進一步,能不能僅通過數(shù)據(jù)集的類型和規(guī)模來判斷哪種算法更適用于手頭的任務。

這能節(jié)省很多時間啊,舉個極端點的例子,如果嘗試用AlphaGo做Logistic回歸,你就走遠了。

問題吸引了很多人參與討論,有人回復到:

這是一個十分活躍的研究領域,完全可以就這個主題做一篇博士論文了。

關鍵在能不能人工提取特征

有網(wǎng)友表示,雖然很難給出詳細論證,但可以猜測一下。

基于樹的梯度提升算法可以簡單地分離數(shù)據(jù),就像這樣:

遇事不決,XGBoost,梯度提升比深度學習更容易贏得Kaggle競賽

如果特征小于某個值就向左,反之就向右,一步一步把數(shù)據(jù)拆解。

在深度學習中,要用到多個隱藏層才能把輸入空間變換成線性可分割:

遇事不決,XGBoost,梯度提升比深度學習更容易贏得Kaggle競賽

這個過程就像是把輸入空間在高維進行“揉捏”:

數(shù)據(jù)集越復雜,需要的隱藏層就越多,變換過程很可能失敗,反而讓數(shù)據(jù)更加纏在一起:

即使成功了,相對梯度提升樹來說也是效率極低的。

深度學習的優(yōu)勢是,面對人類很難手工提取特征的復雜數(shù)據(jù)可以自動創(chuàng)建隱藏特征。

而且即使你手工創(chuàng)建了特征,深度網(wǎng)絡無論如何還是會自己創(chuàng)建隱藏特征。

而Kaggle比賽中使用的表格數(shù)據(jù),特征往往已經(jīng)有了,就是表頭,那么直接使用梯度提升就好。

就像Kaggle Avito挑戰(zhàn)的冠軍所說:“遇事不決,XGBoost”。

遇事不決,XGBoost,梯度提升比深度學習更容易贏得Kaggle競賽

吃數(shù)據(jù)的怪物

另一個高贊回復是:

大多數(shù)Kaggle比賽的數(shù)據(jù)集都不夠喂出一個神經(jīng)網(wǎng)絡怪物。

遇事不決,XGBoost,梯度提升比深度學習更容易贏得Kaggle競賽

在小數(shù)據(jù)集上深度學習容易過擬合正則化的方法又依賴許多條件。在給定數(shù)據(jù)集的比賽上,還是梯度提升比較迅速、穩(wěn)定。

而參數(shù)越多的深度神經(jīng)網(wǎng)絡需要越多的數(shù)據(jù),比賽提供的數(shù)據(jù)集有限,數(shù)據(jù)維度也比較低,發(fā)揮不出深度學習的實力。

一位在Kaggle上成績很好的大神補充到:

不同的深度網(wǎng)絡適用于某種數(shù)據(jù)集,如CNN適合處理圖像,RNN適合處理特定的序列等。比賽給的數(shù)據(jù)集很難找到合適的預訓練模型可用。

總的來看,深度學習在表格數(shù)據(jù)上的性能肯定優(yōu)于梯度提升,但是需要大量時間優(yōu)化網(wǎng)絡架構。

Kaggle上的勝出方案一般是將二者結合,加上梯度提升,有經(jīng)驗的選手在幾個小時內(nèi)就能得到不錯的結果。

 

 

 

責任編輯:張燕妮 來源: 量子位
相關推薦

2020-04-28 17:13:12

箭頭函數(shù)ES6函數(shù)

2023-12-14 15:32:17

2020-03-10 13:27:28

深度學習人工智能Facebook

2013-06-08 14:57:50

2024-12-27 15:41:47

2020-09-28 14:25:05

代碼開發(fā)工具

2017-01-22 21:30:39

大數(shù)據(jù)Kaggle函數(shù)

2015-11-06 14:41:30

微軟Windows 10

2021-06-29 10:51:59

移動攻擊網(wǎng)絡攻擊漏洞

2022-09-05 09:10:19

Web3網(wǎng)絡攻擊網(wǎng)絡安全

2019-09-23 11:17:46

機器學習數(shù)據(jù)技術

2019-09-23 10:59:31

機器學習算法編程

2021-11-09 11:29:03

隱私人工智能AI

2022-07-18 13:37:10

網(wǎng)絡安全數(shù)據(jù)泄露

2016-10-25 13:46:25

深度學習機器學習性能提升

2019-03-11 15:26:26

HTTPSHTTP密鑰

2019-10-25 09:35:58

HTTPSHTTP通信

2019-11-13 09:08:50

HTTPS安全加密算法

2022-05-19 09:53:05

機器學習人工智能算法

2022-02-21 18:06:02

人臉識別神經(jīng)網(wǎng)絡技術
點贊
收藏

51CTO技術棧公眾號