數(shù)據(jù)是機(jī)器的命脈。沒有它，你就無法構(gòu)建任何與 AI 相關(guān)的東西。根據(jù) Appen 本周發(fā)布的 AI 和機(jī)器學(xué)習(xí)狀況報(bào)告，許多組織仍在努力獲取良好、干凈的數(shù)據(jù)以維持其 AI 和機(jī)器學(xué)習(xí)計(jì)劃。

根據(jù)Appen對人工智能的調(diào)查，在人工智能的四個(gè)階段——數(shù)據(jù)采購、數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練和部署以及人工指導(dǎo)的模型評估中，數(shù)據(jù)采購消耗的資源最多、花費(fèi)的時(shí)間最多、最具挑戰(zhàn)性。 504 位商業(yè)領(lǐng)袖和技術(shù)專家。

根據(jù) Appen 的調(diào)查，平均而言，數(shù)據(jù)采購消耗組織人工智能預(yù)算的 34%，而數(shù)據(jù)準(zhǔn)備和模型測試和部署各占 24%，模型評估各占 15%，該調(diào)查由 Harris Poll 進(jìn)行，包括 IT 決策者、來自美國、英國、愛爾蘭和德國的商業(yè)領(lǐng)袖和經(jīng)理以及技術(shù)從業(yè)者。

就時(shí)間而言，數(shù)據(jù)采購消耗組織大約 26% 的時(shí)間，而數(shù)據(jù)準(zhǔn)備和模型測試、部署和模型評估分別占 24% 和 23%。最后，與模型評估 (41%)、模型測試和部署 (38%) 以及數(shù)據(jù)準(zhǔn)備 (34%) 相比，42% 的技術(shù)人員認(rèn)為數(shù)據(jù)采購是 AI 生命周期中最具挑戰(zhàn)性的階段。

據(jù)技術(shù)專家稱，數(shù)據(jù)采購是人工智能面臨的最大挑戰(zhàn)。但商界領(lǐng)袖對事物的看法不同……

盡管存在挑戰(zhàn)，但組織正在使其發(fā)揮作用。據(jù) Appen 稱，五分之四 (81%) 的受訪者表示，他們有信心擁有足夠的數(shù)據(jù)來支持他們的人工智能計(jì)劃。這一成功的關(guān)鍵可能在于：絕大多數(shù) (88%) 正在通過使用外部 AI 訓(xùn)練數(shù)據(jù)提供商（例如 Appen）來擴(kuò)充他們的數(shù)據(jù)。

然而，數(shù)據(jù)的準(zhǔn)確性是有問題的。Appen 發(fā)現(xiàn)，只有 20% 的調(diào)查對象報(bào)告數(shù)據(jù)準(zhǔn)確率超過 80%。只有 6%（約十分之一的人）表示他們的數(shù)據(jù)準(zhǔn)確度為 90% 或更高。換句話說，五分之一的數(shù)據(jù)包含超過 80% 的組織的錯(cuò)誤。

考慮到這一點(diǎn)，根據(jù) Appen 的調(diào)查，近一半 (46%) 的受訪者同意數(shù)據(jù)準(zhǔn)確性很重要，“但我們可以解決它”，這也許并不奇怪。只有 2% 的人表示數(shù)據(jù)準(zhǔn)確性不是一個(gè)大需求，而 51% 的人同意這是一個(gè)關(guān)鍵需求。

看來，Appen 首席技術(shù)官 Wilson Pang 對數(shù)據(jù)質(zhì)量重要性的看法與 48% 的客戶認(rèn)為數(shù)據(jù)質(zhì)量不重要。

“數(shù)據(jù)準(zhǔn)確性對于 AI 和 ML 模型的成功至關(guān)重要，因?yàn)橘|(zhì)量豐富的數(shù)據(jù)會產(chǎn)生更好的模型輸出以及一致的處理和決策制定，”Pang 在報(bào)告中說?！盀榱双@得良好的結(jié)果，數(shù)據(jù)集必須準(zhǔn)確、全面且可擴(kuò)展?！?/p>

超過 90% 的 Appen 受訪者表示他們使用預(yù)先標(biāo)記的數(shù)據(jù)

Pang在最近的一次采訪中告訴表示，深度學(xué)習(xí)和以數(shù)據(jù)為中心的 AI 的興起已將 AI 成功的動力從良好的數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)建模轉(zhuǎn)變?yōu)榱己玫臄?shù)據(jù)收集、管理和標(biāo)記。對于當(dāng)今的遷移學(xué)習(xí)技術(shù)來說尤其如此，人工智能從業(yè)者從一個(gè)大型預(yù)訓(xùn)練語言或計(jì)算機(jī)視覺模型的頂部跳出來，用他們自己的數(shù)據(jù)重新訓(xùn)練一小部分層。

更好的數(shù)據(jù)還可以幫助防止不必要的偏見滲入 AI 模型，并通常防止 AI 出現(xiàn)不良結(jié)果。澳鵬人工智能專家高級主管 Ilia Shifrin 表示，對于大型語言模型尤其如此。

“隨著基于多語言網(wǎng)絡(luò)爬蟲數(shù)據(jù)訓(xùn)練的大型語言模型 (LLM) 的興起，公司面臨著另一個(gè)挑戰(zhàn)，”Shifrin 在報(bào)告中說。“由于大量有毒的語言，以及訓(xùn)練語料庫中的種族、性別和宗教偏見，這些模型經(jīng)常表現(xiàn)出不良行為。”

Web 數(shù)據(jù)中的偏見引發(fā)了一些棘手的問題，雖然有一些變通方法（改變訓(xùn)練方案、過濾訓(xùn)練數(shù)據(jù)和模型輸出，以及從人類反饋和測試中學(xué)習(xí)），但需要更多的研究來為“以人為中心”建立一個(gè)良好的標(biāo)準(zhǔn)Shifrin 說，LLM 基準(zhǔn)和模型評估方法。

據(jù) Appen 稱，數(shù)據(jù)管理仍然是 AI 面臨的最大障礙。調(diào)查發(fā)現(xiàn)，人工智能循環(huán)中 41% 的人認(rèn)為數(shù)據(jù)管理是最大的瓶頸。缺乏數(shù)據(jù)排在第四位，30% 的人認(rèn)為這是 AI 成功的最大障礙。

但也有一些好消息：組織花在管理和準(zhǔn)備數(shù)據(jù)上的時(shí)間呈下降趨勢。Appen 說，今年這一比例剛剛超過 47%，而去年的報(bào)告中為 53%。

數(shù)據(jù)準(zhǔn)確性水平可能沒有某些組織希望的那么高

“大多數(shù)受訪者使用外部數(shù)據(jù)提供商，可以推斷，通過外包數(shù)據(jù)采購和準(zhǔn)備，數(shù)據(jù)科學(xué)家正在節(jié)省正確管理、清理和標(biāo)記數(shù)據(jù)所需的時(shí)間，”數(shù)據(jù)標(biāo)簽公司表示。

然而，從數(shù)據(jù)中相對較高的錯(cuò)誤率來看，也許組織不應(yīng)該縮減他們的數(shù)據(jù)采購和準(zhǔn)備流程（無論是內(nèi)部的還是外部的）。在建立和維護(hù) AI 流程方面存在許多相互競爭的需求——聘用合格的數(shù)據(jù)專業(yè)人員是澳鵬確定的另一個(gè)首要需求。但是，在數(shù)據(jù)管理方面取得重大進(jìn)展之前，組織應(yīng)繼續(xù)對其團(tuán)隊(duì)施加壓力，以繼續(xù)推動數(shù)據(jù)質(zhì)量的重要性。

調(diào)查還發(fā)現(xiàn)，93% 的組織強(qiáng)烈或在某種程度上同意道德 AI 應(yīng)該是 AI 項(xiàng)目的“基礎(chǔ)”。Appen 首席執(zhí)行官 Mark Brayan 表示，這是一個(gè)良好的開端，但還有很多工作要做?！皢栴}是，許多人都面臨著試圖用糟糕的數(shù)據(jù)集構(gòu)建偉大的人工智能的挑戰(zhàn)，這為實(shí)現(xiàn)他們的目標(biāo)創(chuàng)造了一個(gè)重要的障礙，” Brayan 在一份新聞稿中說。

根據(jù) Appen 的報(bào)告，內(nèi)部、自定義收集的數(shù)據(jù)仍然是用于 AI 的組織的大部分?jǐn)?shù)據(jù)集，占數(shù)據(jù)的 38% 到 42%。合成數(shù)據(jù)的表現(xiàn)出乎意料地強(qiáng)勁，占組織數(shù)據(jù)的 24% 到 38%，而預(yù)先標(biāo)記的數(shù)據(jù)（通常來自數(shù)據(jù)服務(wù)提供商）占數(shù)據(jù)的 23% 到 31%。

特別是合成數(shù)據(jù)有可能減少敏感人工智能項(xiàng)目中的偏見發(fā)生率，97% 的澳鵬受訪者表示他們“在開發(fā)包容性訓(xùn)練數(shù)據(jù)集時(shí)”使用合成數(shù)據(jù)。

該報(bào)告的其他有趣發(fā)現(xiàn)包括：

• 77% 的組織每月或每季度重新訓(xùn)練他們的模型；
• 55% 的美國組織聲稱他們領(lǐng)先于競爭對手，而歐洲為 44%；
• 42% 的組織報(bào)告“廣泛”推出人工智能，而 2021 年人工智能現(xiàn)狀報(bào)告中這一比例為 51%；
• 7% 的組織報(bào)告其 AI 預(yù)算超過 500 萬美元，而去年這一比例為 9%。