在數(shù)據(jù)科學(xué)家入門(mén)階段，你不可避免會(huì)踩到一些雷區(qū)。這篇文章介紹了 Sébastien Foucaud 博士總結(jié)的新手?jǐn)?shù)據(jù)科學(xué)家最容易犯的 5 個(gè)錯(cuò)誤。博士已經(jīng)有 20 多年帶領(lǐng)學(xué)術(shù)界和應(yīng)用行業(yè)年輕數(shù)據(jù)科學(xué)家的經(jīng)驗(yàn)，可以幫讀者朋友少走些彎路，為你的實(shí)際工作提供一些指導(dǎo)和幫助。話不多說(shuō)，上清單！

[[234938]]

1. 熱衷于 Kaggle 競(jìng)賽

資料來(lái)源：kaggle.com

參加 Kaggle 競(jìng)賽可以鍛煉你的數(shù)據(jù)科學(xué)職業(yè)技能。如果你懂決策樹(shù)和神經(jīng)網(wǎng)絡(luò)那再好不過(guò)了。但實(shí)話告訴你吧，數(shù)據(jù)科學(xué)家的實(shí)際工作中用不著創(chuàng)建那么多的模型。請(qǐng)記住，一般情況下，你將花費(fèi) 80％的時(shí)間對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，只有剩下的 20％用于構(gòu)建模型。

數(shù)據(jù)科學(xué)家工作時(shí)間分布

參加 Kaggle 競(jìng)賽在很多方面都會(huì)對(duì)你很有幫助。但是，參加競(jìng)賽的時(shí)候，通常數(shù)據(jù)會(huì)被完美地清理干凈，所以你可以花很多時(shí)間去調(diào)整模型。而在現(xiàn)實(shí)工作中很少出現(xiàn)這種情況，你必須從不同格式和命名的不同來(lái)源收集數(shù)據(jù)。

不要害怕臟活累活，一定要好好練習(xí)數(shù)據(jù)預(yù)處理技能，因?yàn)樗鼘⒄紦?jù)你 80％的工作時(shí)間。比如爬取圖像或從 API 收集這些圖像數(shù)據(jù)；從 Genius 收集歌詞數(shù)據(jù)等。準(zhǔn)備好解決特定問(wèn)題所需的數(shù)據(jù)，然后將其輸入你的筆記本并訓(xùn)練機(jī)器學(xué)習(xí)生命周期。精通數(shù)據(jù)預(yù)處理無(wú)疑將幫助你成為真正的數(shù)據(jù)科學(xué)家，并對(duì)你的公司產(chǎn)生直接影響。

2. 神經(jīng)網(wǎng)絡(luò)是“萬(wàn)能金丹”

深度學(xué)習(xí)模型在計(jì)算機(jī)視覺(jué)或自然語(yǔ)言處理領(lǐng)域優(yōu)于其他機(jī)器學(xué)習(xí)模型。但他們也有明顯的缺點(diǎn)。

神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)十分依賴。如果樣本較少，通常用決策樹(shù)或邏輯回歸模型結(jié)果會(huì)更好。神經(jīng)網(wǎng)絡(luò)還是一個(gè)黑匣子。眾所周知，它們難以解釋和說(shuō)明。如果產(chǎn)品所有者或管理者開(kāi)始質(zhì)疑模型的輸出，你必須能夠解釋清楚模型的原理。這對(duì)于傳統(tǒng)模型來(lái)說(shuō)更容易一點(diǎn)。

正如 James Le 在這篇優(yōu)秀文章中所說(shuō)（https://towardsdatascience.com/a-tour-of-the-top-10-algorithms-for-machine-learning-newbies-dde4edffae11 ），我們有很多很棒的統(tǒng)計(jì)學(xué)習(xí)模型。自學(xué)這些知識(shí)，了解它們的優(yōu)缺點(diǎn)，并根據(jù)用例的條件應(yīng)用這些模型。除非你在計(jì)算機(jī)視覺(jué)或自然語(yǔ)音識(shí)別專(zhuān)業(yè)領(lǐng)域工作，否則很有可能傳統(tǒng)機(jī)器學(xué)習(xí)算法才是最好用的模型。你很快就會(huì)發(fā)現(xiàn)，最簡(jiǎn)單的模型，如 Logistic 回歸，才是最好用的模型。

來(lái)源： scikit-learn.org 算法備忘單

3. 機(jī)器學(xué)習(xí)是產(chǎn)品

機(jī)器學(xué)習(xí)在過(guò)去的十年中都被過(guò)度炒作，太多的創(chuàng)業(yè)公司吹噓機(jī)器學(xué)習(xí)能夠解決任何存在的問(wèn)題。

來(lái)源：過(guò)去 5 年 Google 機(jī)器學(xué)習(xí)趨勢(shì)

機(jī)器學(xué)習(xí)本身不應(yīng)該是產(chǎn)品。機(jī)器學(xué)習(xí)是創(chuàng)建滿足客戶需求的產(chǎn)品的強(qiáng)有力的工具。在客戶接收精準(zhǔn)商品推薦方面，機(jī)器學(xué)習(xí)可以有所幫助。如果客戶需要準(zhǔn)確識(shí)別圖像中的對(duì)象，機(jī)器學(xué)習(xí)也有用。企業(yè)通過(guò)向用戶展示有價(jià)值的廣告而獲益，機(jī)器學(xué)習(xí)同樣可以提供幫助。

作為數(shù)據(jù)科學(xué)家，你所制定的項(xiàng)目需要以客戶的目標(biāo)為主要優(yōu)先事項(xiàng)。只有這樣，你才能評(píng)估機(jī)器學(xué)習(xí)是否會(huì)幫到客戶。

4. 混淆因果關(guān)系

大約 90％的數(shù)據(jù)是在過(guò)去幾年中涌現(xiàn)的。隨著大數(shù)據(jù)的出現(xiàn)，機(jī)器學(xué)習(xí)從業(yè)者能夠接觸到大量廣泛的數(shù)據(jù)。有了這么多要評(píng)估的數(shù)據(jù)，學(xué)習(xí)模型發(fā)現(xiàn)隨機(jī)相關(guān)性的概率隨之增加。

資料來(lái)源：http://www.tylervigen.com/spurious-correlations

上面的圖片顯示了美國(guó)小姐的年齡以及由蒸汽、熱蒸氣和發(fā)熱物體導(dǎo)致的謀殺的總數(shù)?；谶@些數(shù)據(jù)，算法將學(xué)習(xí)到美國(guó)小姐的年齡與特定物體導(dǎo)致的謀殺數(shù)量之間會(huì)互相影響的關(guān)系模型。然而，兩個(gè)數(shù)據(jù)點(diǎn)實(shí)際上毫無(wú)關(guān)系，并且這兩個(gè)變量對(duì)彼此都絕對(duì)沒(méi)有任何可預(yù)測(cè)的影響。

在發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)系時(shí)，將你的領(lǐng)域知識(shí)應(yīng)用進(jìn)去。這可能是相關(guān)性還是因果關(guān)系？回答這些問(wèn)題是根據(jù)數(shù)據(jù)采取行動(dòng)的關(guān)鍵。

5. 優(yōu)化錯(cuò)誤的參數(shù)

開(kāi)發(fā)機(jī)器學(xué)習(xí)模型有一個(gè)敏捷的生命周期。首先，你要定義你的想法和關(guān)鍵參數(shù)。其次，你需要?jiǎng)?chuàng)建一個(gè)結(jié)果的原型。第三，你不斷優(yōu)化參數(shù)，直到你對(duì)它感到滿意。

在構(gòu)建機(jī)器學(xué)習(xí)模型時(shí)，請(qǐng)記住要手動(dòng)進(jìn)行錯(cuò)誤分析。雖然這個(gè)過(guò)程乏味并耗力，但它會(huì)幫助你在接下來(lái)的迭代中有效地改進(jìn)模型。請(qǐng)參閱吳恩達(dá)的深度學(xué)習(xí)專(zhuān)項(xiàng)課程，以獲得更多優(yōu)化模型的技巧。

https://www.coursera.org/learn/machine-learning-projectshttps://towardsdatascience.com/structuring-your-machine-learning-project-course-summary-in-1-picture-and-22-nuggets-of-wisdom-95b051a6c9dd

要點(diǎn)總結(jié)

• 練習(xí)數(shù)據(jù)管理技能
• 研究不同模型的優(yōu)缺點(diǎn)
• 盡可能簡(jiǎn)化模型
• 檢查你結(jié)論中的因果關(guān)系和相關(guān)性
• 優(yōu)化最有用的參數(shù)

年輕數(shù)據(jù)科學(xué)家為公司創(chuàng)造了巨大的價(jià)值。他們剛剛學(xué)完在線課程，可以立刻為公司提供幫助。他們很多人通常是自學(xué)成才，因?yàn)楹苌儆写髮W(xué)提供數(shù)據(jù)科學(xué)課程和學(xué)位，因此他們對(duì)此表現(xiàn)出巨大的決心和好奇心。他們對(duì)自己選擇的領(lǐng)域充滿熱情，并渴望了解更多信息。但是，在熱情滿滿的時(shí)候也不要盲目學(xué)習(xí)，謹(jǐn)防以上數(shù)據(jù)科學(xué)家新手會(huì)掉落的陷阱，會(huì)幫你少走很多彎路。