本文總結(jié)了數(shù)據(jù)科學(xué)項目失敗的最常見原因，希望能夠幫助你避免陷阱。

[[240030]]

1.問錯了問題

如果你問了錯問題，你將會得到錯誤的答案。比如金融業(yè)中的欺詐識別問題，這個問題最初可能是“這個特定的交易是否存在欺詐”。為了確定這一問題，你將需要一個包含欺詐和非欺詐交易示例的數(shù)據(jù)集。這個數(shù)據(jù)集可以在一組專門負責(zé)偵測欺詐行為的專家（SME）的幫助下生成。但是，由于專家們依據(jù)的是過去對欺詐行為的認識進行的標(biāo)記，用該數(shù)據(jù)集訓(xùn)練的模型只會捕獲符合舊模式欺詐，而對于新興的欺詐方式，這一模型將無法識別。如果將問題改為“這個交易是否反常”，它只需尋找不符合“正常”簽名的交易，依靠人類進一步分析預(yù)測的欺詐交易以驗證模型結(jié)果即可。但這種方法的副作用是，它很可能會比以前的模型產(chǎn)生更多的誤報。

2.試圖用它來解決錯誤的問題

我們經(jīng)常會忽視一個問題：我們費盡心思解決了一個問題，但是解決后是否能實現(xiàn)我們的目的。比如，你想出了用人工智能開發(fā)出一個將人的全身照傳上網(wǎng)站就能根據(jù)提醒量身定做一套合身的衣服的項目。完成這個項目我們需要完成以下任務(wù)：

·開發(fā)AI/ML技術(shù)以確定照片中的身體測量值；

·設(shè)計并創(chuàng)建一個網(wǎng)站和手機應(yīng)用，以便與客戶進行互動；

·進行可行性研究以確定此產(chǎn)品是否有市場。

作為技術(shù)專家，我們最熟悉的就是產(chǎn)品設(shè)計與編碼，因此我們可能想開始研究前兩個任務(wù)。如果我們在執(zhí)行前兩項任務(wù)后進行可行性研究并且研究結(jié)果表明我們的產(chǎn)品沒有市場，那將很可怕。

3.沒有足夠的數(shù)據(jù)

有一些數(shù)據(jù)十分敏感并且受到嚴密的保護，對它的訪問可能會受到很大的限制，我們可能獲取不到相關(guān)數(shù)據(jù)。

比如，在一些與生命科學(xué)領(lǐng)域相關(guān)的項目中，由于生命科學(xué)行業(yè)對存儲和傳輸受保護的健康信息（PHI）非常敏感，大多數(shù)可用數(shù)據(jù)集都會將這些信息刪除。例如，密西西比人比康涅狄格州的人患糖尿病的可能性更高。但是由于這些信息可能無法獲得，我們將無法使用。

4.沒有正確的數(shù)據(jù)

就算你擁有超棒的模型，使用錯誤數(shù)據(jù)或者有缺陷的數(shù)據(jù)也可能導(dǎo)致預(yù)測錯誤。在監(jiān)督學(xué)習(xí)中，我們使用以前標(biāo)注過的數(shù)據(jù)，由于這種標(biāo)簽通常是人做得，可能會存在一些錯誤。舉一個極端的例子，假設(shè)有一個具有完美準(zhǔn)確性的模型但使用了不準(zhǔn)確的數(shù)據(jù)，如MINIST數(shù)據(jù)集，圖像的人工標(biāo)記是100%準(zhǔn)確的?，F(xiàn)在，假設(shè)三分之一的數(shù)字被貼錯了標(biāo)簽，就如古老格言所說的，如果是垃圾輸入，你將得到垃圾輸出。

5.擁有太多數(shù)據(jù)

從理論上講，你永遠不需要很多的數(shù)據(jù)（只要它是正確的數(shù)據(jù)）。在實踐中，即使存儲和計算成本和性能取得了巨大的進步，我們?nèi)匀皇艿綍r間和空間的物理限制。所以數(shù)據(jù)科學(xué)家最重要的工作之一就是明智地挑選他們認為會對實現(xiàn)精準(zhǔn)的模型預(yù)測產(chǎn)生影響的數(shù)據(jù)源。例如，預(yù)測嬰兒出生體重。與母親的年齡及住處似乎相關(guān)，但與母親的名字可能不相關(guān)。在本例中，需要人工干預(yù)來確定刪除不相關(guān)的數(shù)據(jù)。在運行模型之前，確定哪些因素相關(guān)仍是一個潛在的陷阱，可能會破壞你的數(shù)據(jù)科學(xué)項目。

6.雇傭錯誤的人

如果你有的是一個小型數(shù)據(jù)科學(xué)實踐，你可能別無選擇，只能依賴一個或幾個來執(zhí)行所有任務(wù)。但是，隨著團隊的發(fā)展你應(yīng)該考慮為每項任務(wù)聘請專家。特別是對于生物技術(shù)、金融等行業(yè)擁有專業(yè)的領(lǐng)域知識是非常有價值的，甚至是至關(guān)重要的。同時，擁有一個主題專家（SME）和具有良好溝通技巧的數(shù)據(jù)科學(xué)家也很重要。隨著你團隊的不斷發(fā)展，擁有正確的資源和人才庫是你實踐成功的最重要因素之一。

7.使用錯誤的工具

舉個例子：你最近派遣團隊在MySQL上進行訓(xùn)練，他們回來后，你需要設(shè)置一個分析管道。由于他們的想法已經(jīng)被重新訓(xùn)練，于是他們建議使用他們的新工具。但是，根據(jù)管道將要處理的數(shù)據(jù)量以及你需要對結(jié)果執(zhí)行的分析量，這個選擇可能是對作業(yè)的錯誤選擇。許多SQL產(chǎn)品對可以存儲在單個表中的數(shù)據(jù)量有嚴格的限制。在這種情況下，更好的選擇可能是使用像MongoDB這樣的NoSQL產(chǎn)品或者像AWS Redshift這樣的高度可擴展的列式數(shù)據(jù)庫。

8.沒有合適的模型

“無免費的午餐”（NFL）是數(shù)學(xué)中的著名定理。它指出沒有一種模型是可以解決所有問題的。例如，在營銷應(yīng)用程序中，保留客戶電子郵件和地址等屬性可能很重要。而在醫(yī)療環(huán)境中，患者的身高、體重和血型可能更為重要。這表明在某種情況下運作良好的模型可能在另一種情況下不起作用。所以在數(shù)據(jù)科學(xué)中使用多個模型進行迭代，以找到最合適給定情況的模型是很常見的。在監(jiān)督學(xué)習(xí)中更是如此。驗證或交叉驗證通常用于評估不具有復(fù)雜性的多個模型的準(zhǔn)確性，以找到最合適的模型。此外，一個有效地模型也可以通過多種算法進行訓(xùn)練—例如，可以使用正規(guī)方程（Linear least squares）或使用梯度下降（Gradient descent）來訓(xùn)練線性回歸。

9.沒有正確的尺度

在機器學(xué)習(xí)中，根據(jù)對數(shù)據(jù)的訓(xùn)練和測試來衡量模型的性能是非常重要的。該信息將用于選擇要使用的模型、超參數(shù)和確定模型是否已準(zhǔn)備好用于生產(chǎn)使用。為了衡量模型的性能，最重要的是選擇最佳的評估標(biāo)準(zhǔn)來完成手頭的任務(wù)。

關(guān)于度量選擇的文獻有很多，對此不在深入探討，但在選擇指標(biāo)時要牢記以下一些參數(shù)：

機器學(xué)習(xí)問題的類型：監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)。

監(jiān)督學(xué)習(xí)的類型：二元、分類或回歸。

數(shù)據(jù)集類型：如果數(shù)據(jù)集不平衡，則不同的度量標(biāo)準(zhǔn)可能更合適。

本文由北郵阿里云云棲社區(qū)組織翻譯。