數(shù)據(jù)治理

長期以來，它一直是數(shù)據(jù)行業(yè)的核心焦點。

Google說得很好——“數(shù)據(jù)治理是你為確保數(shù)據(jù)安全、私有、準確、可用和可用所做的一切，它涉及制定適用于如何收集、存儲、處理和處置數(shù)據(jù)的內(nèi)部標準——數(shù)據(jù)政策?！?/p>

正如這一定義所強調(diào)的那樣，數(shù)據(jù)治理是關(guān)于管理數(shù)據(jù)——準確地說，是驅(qū)動AI模型的引擎。

既然數(shù)據(jù)治理和AI之間的聯(lián)系的初步跡象已經(jīng)開始顯現(xiàn)，讓我們將其與AI疲勞聯(lián)系起來。盡管這個名字暴露了它，但強調(diào)導致這種疲憊的原因確保了這個術(shù)語在整個帖子中的一致使用。

AI疲勞

由于公司、開發(fā)人員或團隊面臨的挫折和挑戰(zhàn)，AI疲勞開始出現(xiàn)，經(jīng)常導致AI系統(tǒng)的價值實現(xiàn)或?qū)嵤┦　?/p>

它主要始于對AI能力的不切實際的期望。對于AI等復雜技術(shù)，關(guān)鍵利益攸關(guān)方不僅需要與AI的能力和可能性保持一致，還需要與其局限性和風險保持一致。

談到風險，道德通常被認為是事后的想法，導致放棄不符合規(guī)定的AI倡議。

你一定想知道數(shù)據(jù)治理在導致AI疲勞方面的作用——這是本文的前提。

這就是我們接下來要去的地方。

AI疲勞大致可分為部署前和部署后。讓我們首先關(guān)注部署前的工作。

部署前

將概念驗證(PoC)升級到部署的因素有很多，例如：

• 我們在努力解決什么問題?
• 為什么現(xiàn)在就確定優(yōu)先順序會成為一個緊迫的問題?
• 有哪些數(shù)據(jù)可用?
• 它首先是ML——可解的嗎?
• 數(shù)據(jù)有規(guī)律嗎?
• 這種現(xiàn)象可以重演嗎?
• 哪些額外數(shù)據(jù)會提升模型的性能?

一旦我們評估了使用ML算法可以最好地解決問題，數(shù)據(jù)科學團隊就會執(zhí)行探索性的數(shù)據(jù)分析。在這個階段揭示了許多底層數(shù)據(jù)模式，突出了給定數(shù)據(jù)是否包含豐富的信號，它還有助于創(chuàng)建工程特征，以加快算法的學習過程。

接下來，團隊構(gòu)建第一個基線模型，通常會發(fā)現(xiàn)它的性能沒有達到可接受的水平。一款輸出像擲硬幣一樣好的車型不會增加任何價值，這是構(gòu)建ML模型時的首批挫折之一，也就是經(jīng)驗教訓。

公司可能會從一個業(yè)務問題轉(zhuǎn)移到另一個業(yè)務問題，從而導致疲勞。盡管如此，如果底層數(shù)據(jù)沒有攜帶豐富的信號，任何AI算法都無法建立在它的基礎(chǔ)上，該模型必須從訓練數(shù)據(jù)中學習統(tǒng)計關(guān)聯(lián)，以對看不見的數(shù)據(jù)進行概括。

部署后

盡管經(jīng)過訓練的模型在驗證集上顯示了有希望的結(jié)果，但根據(jù)合格的業(yè)務標準，例如70%的精度，如果模型在生產(chǎn)環(huán)境中不能充分發(fā)揮作用，仍然可能會出現(xiàn)疲勞。

這種類型的AI疲勞被稱為部署后階段。

無數(shù)原因可能會導致性能下降，而糟糕的數(shù)據(jù)質(zhì)量是困擾該模型的最常見問題，它限制了模型在缺少關(guān)鍵屬性的情況下準確預測目標反應的能力。

考慮在訓練數(shù)據(jù)中只有10%缺失的基本特征之一，現(xiàn)在生產(chǎn)數(shù)據(jù)中50%的時間變?yōu)榭?，從而導致錯誤預測，這樣的迭代和確保模型一致執(zhí)行的努力會讓數(shù)據(jù)科學家和業(yè)務團隊感到疲憊，從而削弱人們對數(shù)據(jù)管道的信心，并使項目投資面臨風險。

數(shù)據(jù)治理是關(guān)鍵

穩(wěn)健的數(shù)據(jù)治理措施對于解決這兩種類型的AI疲勞至關(guān)重要。鑒于數(shù)據(jù)是ML模型的核心，信號豐富、無錯誤和高質(zhì)量的數(shù)據(jù)是ML項目成功的必要條件。解決AI疲勞問題需要高度關(guān)注數(shù)據(jù)治理。因此，我們必須嚴格工作，確保正確的數(shù)據(jù)質(zhì)量，為構(gòu)建最先進的模型和提供值得信賴的業(yè)務見解奠定基礎(chǔ)。

數(shù)據(jù)質(zhì)量

數(shù)據(jù)質(zhì)量是蓬勃發(fā)展的數(shù)據(jù)治理的關(guān)鍵，也是機器學習算法成功的關(guān)鍵因素。公司必須在數(shù)據(jù)質(zhì)量方面進行投資，例如向數(shù)據(jù)消費者發(fā)布報告。在數(shù)據(jù)科學項目中，想想當質(zhì)量不佳的數(shù)據(jù)進入模型時會發(fā)生什么，這可能會導致性能不佳。

只有在錯誤分析期間，團隊才能識別數(shù)據(jù)質(zhì)量問題，當這些問題被發(fā)送到上游修復時，最終會導致團隊之間的疲勞。

顯然，這不僅僅是花費的努力，而且在正確的數(shù)據(jù)開始輸入之前，還會損失大量的時間。

因此，始終建議從源頭修復數(shù)據(jù)問題，以防止此類耗時的迭代。最終，發(fā)布的數(shù)據(jù)質(zhì)量報告暗示數(shù)據(jù)科學團隊(或任何其他下游用戶和數(shù)據(jù)消費者)了解傳入數(shù)據(jù)的可接受質(zhì)量。

如果沒有數(shù)據(jù)質(zhì)量和治理措施，數(shù)據(jù)科學家將因數(shù)據(jù)問題而不堪重負，從而導致導致AI疲勞的不成功模型。

結(jié)束語

這篇文章強調(diào)了AI疲勞開始的兩個階段，并介紹了數(shù)據(jù)質(zhì)量報告等數(shù)據(jù)治理措施如何能夠推動構(gòu)建值得信賴和健壯的模型。

通過數(shù)據(jù)治理建立堅實的基礎(chǔ)，公司可以構(gòu)建成功和無縫的AI開發(fā)和采用的路線圖，灌輸熱情。

為了確保這篇文章全面概述了應對AI疲勞的各種方法，我還強調(diào)了組織文化的作用，組織文化與數(shù)據(jù)治理等其他最佳實踐相結(jié)合，將使數(shù)據(jù)科學團隊能夠更快、更快地建立有意義的AI貢獻。