【51CTO.com快譯】數(shù)據(jù)科學項目專注于通過使用數(shù)據(jù)解決社會或商業(yè)問題。對于該領域的初學者來說，解決數(shù)據(jù)科學項目可能是一項非常有挑戰(zhàn)性的任務。根據(jù)要解決的數(shù)據(jù)問題的類型，你需要具備不同的技能。

在本文中，你將學習一些技術技巧，這些技巧可以幫助你在處理不同的數(shù)據(jù)科學項目時提高工作效率并實現(xiàn)你的目標。

1. 花時間在數(shù)據(jù)準備上

數(shù)據(jù)準備是清理原始數(shù)據(jù)并將其轉(zhuǎn)換為可用于分析和創(chuàng)建預測模型的有用特征的過程。這一步至關重要，可能很難完成。這將花費你很多時間（數(shù)據(jù)科學項目的 60%）。

數(shù)據(jù)是從不同來源以不同格式收集的，這使你的數(shù)據(jù)科學項目與其他項目非常獨特，你可能需要應用不同的技術來準備數(shù)據(jù)。

記住，如果你的數(shù)據(jù)沒有準備好，不要期望在你的模型中得到最好的結果。

以下是在數(shù)據(jù)準備中可以執(zhí)行的活動列表：

• 探索性數(shù)據(jù)分析：分析和可視化你的數(shù)據(jù)。
• 數(shù)據(jù)清理：識別和糾正數(shù)據(jù)中的錯誤。例如缺失值
• 特征選擇：識別與任務最相關的特征。
• 數(shù)據(jù)轉(zhuǎn)換：改變特征/變量的規(guī)?；蚍植肌?/li>
• 特征工程：從可用數(shù)據(jù)中推導出新變量。
• 拆分數(shù)據(jù)：準備你的訓練和測試集，例如 75% 用于訓練和 25% 用于測試

2.交叉驗證訓練

交叉驗證是評估預測模型有效性的統(tǒng)計方法。這是一項非常有用的技術，因為它可以幫助您避免模型中的過擬合問題。建議在數(shù)據(jù)科學項目的早期階段建立交叉驗證技術。

???

你可以嘗試不同的交叉驗證技術，如下所述。非常推薦使用 K-fold交叉驗證技術。

• 留一 交叉驗證
• 留p 交叉驗證
• 堅持交叉驗證
• 重復隨機抽樣驗證
• k-fold交叉驗證
• 分層 k-fold交叉驗證
• 時間序列交叉驗證
• 嵌套交叉驗證

3.訓練許多算法并運行許多實驗

除了使用不同的算法訓練數(shù)據(jù)之外，沒有其他方法可以找到具有更高性能的最佳預測模型。你還需要運行不同的實驗（很多實驗）來找到能夠產(chǎn)生最佳性能的最佳超參數(shù)值。

建議嘗試多種算法以了解模型性能如何變化，然后選擇產(chǎn)生最佳結果的算法。

???

4. 調(diào)整你的超參數(shù)

超參數(shù)是一個參數(shù)，其值用于控制算法的學習過程。超參數(shù)優(yōu)化或調(diào)整是為學習算法選擇一組最佳超參數(shù)的過程，以提供最佳結果/性能。

以下是推薦使用的技術列表：

• 隨機搜索
• 網(wǎng)格搜索
• Scikit 優(yōu)化
• 奧普圖納
• 超視距
• Keras 調(diào)諧器

這是一個簡單的示例，展示了如何使用隨機搜索來調(diào)整超參數(shù)。 

from sklearn.linear_model import LogisticRegression from sklearn.model_selection import RandomizedSearchCV  # instatiate logistic regression logistic = LogisticRegression()  # define search space distribution = dict(C=uniform(loc=0, scale=4), penalty = ['l1','l2'])  # define search clf = RandomizedSearchCV(logistic, distributions, random_state=0)  # execute search search = clf.fit(X,y)  # print best parameters print(search.best_params_) 

{'C':2, '懲罰':'l1}

 5、利用云平臺

我們的本地機器無法處理大型數(shù)據(jù)集的訓練來創(chuàng)建預測模型。該過程可能非常緩慢，你將無法運行所需數(shù)量的實驗。云平臺可以幫你解決這個問題。

簡單來說，云平臺是指通過互聯(lián)網(wǎng)提供不同服務和資源的操作系統(tǒng)。與本地機器相比，它們還具有強大的計算能力，可以幫助你使用大型數(shù)據(jù)集訓練模型并在短時間內(nèi)運行大量實驗。

例如、谷歌云、Azure、AWS等，這些平臺中的大多數(shù)都帶有免費試用版，你可以嘗試使用并選擇適合你的數(shù)據(jù)科學項目并可以提供專門服務的試用版。

6. 應用集成方法

有時多個模型比一個更好，以獲得良好的性能。你可以通過應用將多個基本模式組合到一個組模型中的集成方法來實現(xiàn)這一點，從而比單獨使用每個模型表現(xiàn)得更好。

???

這是一個投票分類器算法的簡單示例，該算法結合了多個算法來進行預測。 

# instantiate individual models  clf_1 = KNeighborsClassifier() clf_2 = LogisticRegression() clf_3 = DecisionTreeClassifier()   # Create voting classifier voting_ens = VotingClassifier(estimators=[('knn',clf_1), ('lr',clf_2),('dt',clf_3)], voting='hard')  # Fit and predict with the individual model and ensemble model. for clf in (clf_1,clf_2,clf_3, voting_ens): clf.fit(x_train,y_train) y_pred = clf.predict(X_test) print(clf.__class__.__name__, accuracy_score(y_test,y_pred)) 

???

結果表明 VotingClassfier 的性能優(yōu)于單個模型。

希望以上這些技術技巧對你的數(shù)據(jù)科學項目非常有用。掌握這些技術需要大量的實踐和實驗，然后才能實現(xiàn)數(shù)據(jù)科學項目的目標并獲得最佳結果。

【51CTO譯稿，合作站點轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】