“ 訓(xùn)練數(shù)據(jù)集的質(zhì)量是大模型的主要生命線(xiàn)之一，數(shù)據(jù)集質(zhì)量直接影響到模型的性能和效果 ”

訓(xùn)練一個(gè)高性能且表現(xiàn)較好的模型是由多種因素決定的，比如模型的設(shè)計(jì)，損失函數(shù)與優(yōu)化函數(shù)的實(shí)現(xiàn)，訓(xùn)練方式的選擇；當(dāng)然也包括高質(zhì)量的訓(xùn)練數(shù)據(jù)。

那么，怎么才能得到一個(gè)高質(zhì)量的訓(xùn)練數(shù)據(jù)集呢？ 這個(gè)就是我們今天需要討論的問(wèn)題。

訓(xùn)練數(shù)據(jù)集的準(zhǔn)備

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型的性能高度依賴(lài)于訓(xùn)練數(shù)據(jù)的質(zhì)量和數(shù)量；訓(xùn)練數(shù)據(jù)的準(zhǔn)備工作對(duì)于構(gòu)建一個(gè)高效可靠的模型至關(guān)重要。

然而在實(shí)際應(yīng)用中，很多人都會(huì)選擇別人準(zhǔn)備好的訓(xùn)練數(shù)據(jù)，或者是忽視訓(xùn)練數(shù)據(jù)的準(zhǔn)備；畢竟作為AI領(lǐng)域的領(lǐng)頭羊——openAI公司依然在為訓(xùn)練數(shù)據(jù)而頭疼。

那么，怎么才能準(zhǔn)備一個(gè)高質(zhì)量的數(shù)據(jù)集呢，一般需要經(jīng)過(guò)以下幾個(gè)步驟：

• 明確任務(wù)
• 數(shù)據(jù)采集
• 數(shù)據(jù)清洗
• 數(shù)據(jù)預(yù)處理
• 數(shù)據(jù)標(biāo)注
• 數(shù)據(jù)拆分

明確任務(wù)

準(zhǔn)備數(shù)據(jù)集的第一步就是要明確需求，你需要訓(xùn)練一個(gè)什么樣的任務(wù)，然后你才能確定數(shù)據(jù)集需要哪些種類(lèi)的數(shù)據(jù)。

比如說(shuō)，你是做NLP自然語(yǔ)言處理任務(wù)，還是做CV計(jì)算機(jī)視覺(jué)類(lèi)型的圖像處理任務(wù)等；以及不同種類(lèi)的不同任務(wù)風(fēng)格。

數(shù)據(jù)采集

數(shù)據(jù)采集也包括多個(gè)方面：

數(shù)據(jù)來(lái)源

數(shù)據(jù)來(lái)源包括公開(kāi)數(shù)據(jù)集，如一些網(wǎng)站提供的數(shù)據(jù)集；其次是自建數(shù)據(jù)集，可以通過(guò)爬蟲(chóng)，搜索引擎等獲??；最后，就是一些領(lǐng)域數(shù)據(jù)，如醫(yī)療，金融，保險(xiǎn)等一些非公開(kāi)數(shù)據(jù)；可以通過(guò)與這些領(lǐng)域的專(zhuān)家或機(jī)構(gòu)合作。當(dāng)然獲取數(shù)據(jù)的前提都需要合規(guī)合法。

數(shù)據(jù)多樣性

數(shù)據(jù)多樣性的主要目的是保證模型的公平性，防止過(guò)擬合或欠擬合現(xiàn)象出現(xiàn)；比如，你想訓(xùn)練一個(gè)識(shí)別不同種類(lèi)的狗的模型，如果只使用哈士奇或者金毛，那類(lèi)似邊牧，泰迪等品種就無(wú)法識(shí)別，導(dǎo)致過(guò)擬合現(xiàn)象。

數(shù)據(jù)質(zhì)量

數(shù)據(jù)質(zhì)量問(wèn)題是能直接影響到模型訓(xùn)練結(jié)果的原因之一，數(shù)據(jù)集質(zhì)量越高，訓(xùn)練效果越好；而決定數(shù)據(jù)集質(zhì)量的原因也有很多，如數(shù)據(jù)混亂不一致，數(shù)據(jù)噪音問(wèn)題。雖然可以通過(guò)數(shù)據(jù)清洗等手段提升數(shù)據(jù)質(zhì)量，但前期準(zhǔn)備的數(shù)據(jù)質(zhì)量越高，處理起來(lái)越方便，效率越高。

數(shù)據(jù)清洗

數(shù)據(jù)清洗可以說(shuō)是數(shù)據(jù)準(zhǔn)備中比較復(fù)雜的一個(gè)步驟，因?yàn)橐话闱闆r下數(shù)據(jù)來(lái)源復(fù)雜，數(shù)據(jù)結(jié)構(gòu)也復(fù)雜，而數(shù)據(jù)清洗需要去除數(shù)據(jù)中的各種影響因素；包括但不僅限于缺失值處理，異常值檢測(cè)，噪聲過(guò)濾等多種情況。

數(shù)據(jù)清洗的最終目的是去除干擾數(shù)據(jù)，并把數(shù)據(jù)整理成統(tǒng)一格式，便于下一步處理。

數(shù)據(jù)預(yù)處理

說(shuō)到數(shù)據(jù)預(yù)處理可能有些人會(huì)有點(diǎn)懵，前面明明已經(jīng)有數(shù)據(jù)清洗了為什么還需要預(yù)處理？

之所以需要預(yù)處理的原因就在于，數(shù)據(jù)清洗是去除干擾數(shù)據(jù)，整理成統(tǒng)一格式；而預(yù)處理的作用就是把數(shù)據(jù)處理成模型能夠處理的格式，包括特征工程，樣本平衡，維度縮減等等多種形式。

舉個(gè)生活中的例子，數(shù)據(jù)集準(zhǔn)備就類(lèi)似于做飯前的準(zhǔn)備；數(shù)據(jù)清洗就是要摘菜，洗菜等等；數(shù)據(jù)預(yù)處理就是要把菜切成需要的形狀，焯水，加上各種需要的配料等等；最后就等著下鍋。

數(shù)據(jù)標(biāo)注

數(shù)據(jù)標(biāo)注應(yīng)該說(shuō)是一個(gè)可選的步驟，在監(jiān)督訓(xùn)練中數(shù)據(jù)標(biāo)注必不可少；但在無(wú)監(jiān)督學(xué)習(xí)中，數(shù)據(jù)標(biāo)注就是一個(gè)可有可無(wú)的步驟；在無(wú)監(jiān)督學(xué)習(xí)中，你標(biāo)注了也好，不標(biāo)注也無(wú)所謂。

但數(shù)據(jù)標(biāo)注并不是大家所想象的全靠人工標(biāo)注，目前數(shù)據(jù)標(biāo)注的主要方式有自動(dòng)標(biāo)注和人工標(biāo)注；所謂的自動(dòng)標(biāo)注就是訓(xùn)練一個(gè)標(biāo)注模型，讓它幫我們完成數(shù)據(jù)標(biāo)注。

數(shù)據(jù)拆分

數(shù)據(jù)拆分就是我們常見(jiàn)的訓(xùn)練數(shù)據(jù)集，驗(yàn)證數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；收集到的數(shù)據(jù)并不是完全都用來(lái)進(jìn)行模型訓(xùn)練，還需要對(duì)訓(xùn)練的模型進(jìn)行驗(yàn)證和測(cè)試，這個(gè)就是驗(yàn)證集和測(cè)試集的作用。

當(dāng)然，以上只是簡(jiǎn)單介紹了數(shù)據(jù)準(zhǔn)備的一些主要步驟；其實(shí)在具體的數(shù)據(jù)準(zhǔn)備過(guò)程中還面臨著更多的問(wèn)題，比如數(shù)據(jù)增強(qiáng)，版本控制，可視化，隱私保護(hù)等等。

總之，目前的預(yù)訓(xùn)練模型嚴(yán)重依賴(lài)于訓(xùn)練數(shù)據(jù)的質(zhì)量問(wèn)題；因此，模型訓(xùn)練之前的數(shù)據(jù)準(zhǔn)備是一個(gè)需要花費(fèi)大量時(shí)間和精力去做的事情，而不是敷衍了事。

本文轉(zhuǎn)載自公眾號(hào)AI探索時(shí)代 作者：DFires

原文鏈接：??https://mp.weixin.qq.com/s/nnnVwYMbbXAiA-RtmyJxng??