最近我想到了數(shù)據(jù)治理，所以我決定通過輸入提示來查詢ChatGPT：“什么是數(shù)據(jù)治理?”，人工智能回應道：“數(shù)據(jù)治理是一套流程、政策、標準和指導方針，可確保在企業(yè)內適當?shù)毓芾?、保護和利用數(shù)據(jù)”，這是一個很好的開始，此時此刻，關于數(shù)據(jù)治理及其意義還有很多要說的。

GenAI時代的數(shù)據(jù)治理

數(shù)據(jù)治理涵蓋了一系列學科，包括數(shù)據(jù)安全、管理、質量和編目，這種做法需要定義使用策略、創(chuàng)建主數(shù)據(jù)源、分析數(shù)據(jù)集、記錄字典和監(jiān)督數(shù)據(jù)生命周期。組織模型通常定義促進策略的首席數(shù)據(jù)官、制定數(shù)據(jù)集策略的數(shù)據(jù)所有者和負責改進數(shù)據(jù)質量的數(shù)據(jù)管理員的角色。

“數(shù)據(jù)治理是數(shù)據(jù)完整性的關鍵要素，使企業(yè)能夠輕松地查找、理解和利用關鍵數(shù)據(jù)——從而實現(xiàn)準確的報告和明智的決策”，Precision的首席技術官TendüYogurt?u博士說，“它提供了對數(shù)據(jù)的含義、譜系和影響的理解，因此企業(yè)可以保持合規(guī)，并確保人工智能模型以可靠的數(shù)據(jù)為燃料，以獲得可靠的結果。”

Yogurt?u說，數(shù)據(jù)治理曾經是一項專注于合規(guī)性的技術任務。她說：“隨著人們越來越多地采用人工智能，數(shù)據(jù)已成為最重要的企業(yè)資產，數(shù)據(jù)治理應該成為整個企業(yè)的優(yōu)先事項。”

對于許多嘗試使用GenAI或使用大型語言模型(LLM)構建應用程序的企業(yè)來說，數(shù)據(jù)治理責任更大，員工使用AI工具的方式帶來更多風險，非結構化數(shù)據(jù)帶來新的范圍。我咨詢了幾位專家，了解數(shù)據(jù)治理必須如何發(fā)展，以應對GenAI工具和能力所固有的機會和風險。

發(fā)展GenAI數(shù)據(jù)治理的4種方法

審查在GenAI工具和LLM中使用的數(shù)據(jù)策略

數(shù)據(jù)治理部門監(jiān)督數(shù)據(jù)目錄并傳達數(shù)據(jù)使用策略，以幫助員工利用集中的數(shù)據(jù)集，并將其用于構建機器學習模型、儀表板和其他分析工具，這些部門現(xiàn)在正在更新政策，包括是否以及如何在土地管理系統(tǒng)和開放的GenAI工具中使用企業(yè)數(shù)據(jù)源。開發(fā)人員和數(shù)據(jù)科學家必須審查這些政策，并就使用數(shù)據(jù)集支持GenAI實驗的任何問題咨詢數(shù)據(jù)所有者。

Egnyte的聯(lián)合創(chuàng)始人兼首席安全官克里斯·拉希里表示：“隨著GenAI帶來更多的數(shù)據(jù)復雜性，企業(yè)必須有良好的數(shù)據(jù)治理和隱私政策，以管理和保護用于訓練這些模型的內容。企業(yè)必須格外關注這些人工智能工具使用了哪些數(shù)據(jù)，無論是OpenAI、Palm之類的第三方，還是公司內部可能使用的LLM?！?/p>

審查有關隱私、數(shù)據(jù)保護和可接受使用的GenAI政策，許多企業(yè)要求在將數(shù)據(jù)集用于GenAI用例之前提交請求和來自數(shù)據(jù)所有者的批準。在使用必須符合GDPR、CCPA、PCI、HIPAA或其他數(shù)據(jù)合規(guī)標準的數(shù)據(jù)集之前，請咨詢風險、合規(guī)和法律部門。

在使用第三方數(shù)據(jù)源時，數(shù)據(jù)策略還必須考慮數(shù)據(jù)供應鏈和責任。EDB的首席產品工程官Jozef de Vries表示：“如果發(fā)生涉及在特定地區(qū)受保護的數(shù)據(jù)的安全事件，供應商需要明確他們和客戶的責任，以適當?shù)鼐徑膺@種情況，特別是如果這些數(shù)據(jù)打算用于AI/ML平臺的話?！?/p>

對于那些對GenAI機會感到興奮的人來說，通過了解他們企業(yè)的數(shù)據(jù)隱私、安全和合規(guī)政策，擁有優(yōu)先事項的心態(tài)是很重要的。

加快數(shù)據(jù)質量計劃

許多公司都提供數(shù)據(jù)質量解決方案，包括ATTACAMA、ColLibra、Experian、IBM、Informatica、Precision、SAP、SAS和Talend。2022年，全球數(shù)據(jù)質量工具市場規(guī)模超過40億美元，預計每年增長17.7%。我預計現(xiàn)在有更高的增長，因為許多公司都在試驗人工智能工具和LLM。

Piwik Pro的首席運營官馬特茲·克雷姆帕表示：“由于人工智能的好壞取決于支持它的數(shù)據(jù)，因此與人工智能合作的諸多挑戰(zhàn)都與數(shù)據(jù)質量有關，糟糕的數(shù)據(jù)質量可能會導致誤導性或錯誤的見解，嚴重影響結果。”

克雷姆帕表示，數(shù)據(jù)質量挑戰(zhàn)源于大數(shù)據(jù)的數(shù)量、速度和多樣性，特別是因為LLM現(xiàn)在利用的是該企業(yè)的非結構化數(shù)據(jù)源。希望開發(fā)內部LLM的公司將需要擴展數(shù)據(jù)質量計劃，以包括從文檔、協(xié)作工具、代碼庫和其他存儲企業(yè)知識和知識產權的工具中提取的信息。

Hakkoda的數(shù)據(jù)治理主管凱倫·梅本表示：“數(shù)據(jù)治理正在轉變，不僅要向LLM系統(tǒng)提供海量數(shù)據(jù)，而且要明智、安全地這樣做，重點是確保數(shù)據(jù)不僅是大的，而且是智能的 - 準確、可理解、隱私意識、安全，并尊重知識產權和公平的風險和影響。”

根據(jù)業(yè)務目標和數(shù)據(jù)類型的不同，可以使用不同的工具來提高數(shù)據(jù)質量。

• 傳統(tǒng)數(shù)據(jù)質量工具可以對數(shù)據(jù)進行重復數(shù)據(jù)刪除、標準化數(shù)據(jù)字段、根據(jù)業(yè)務規(guī)則驗證數(shù)據(jù)、檢測異常并計算質量指標。
• 主數(shù)據(jù)管理工具(MDM)可幫助企業(yè)連接多個數(shù)據(jù)源，并圍繞客戶和產品等業(yè)務實體創(chuàng)建真實來源。
• 客戶數(shù)據(jù)平臺(CDP)是用于集中客戶信息并實現(xiàn)營銷、銷售、客戶服務和其他客戶交互的專用工具。

期待升級和新的數(shù)據(jù)質量工具，以改善對非結構化數(shù)據(jù)源的支持，并提高GenAI用例的數(shù)據(jù)質量能力。

Matillion的CISO Graeme Canu-Park的另一項建議側重于數(shù)據(jù)譜系的重要性?！叭斯ぶ悄軐⑿枰环N完全不同的方式來看待治理優(yōu)先事項和實踐，以更好地了解為人工智能應用程序和模型提供支持的數(shù)據(jù)管道和數(shù)據(jù)譜系。”

數(shù)據(jù)沿襲有助于揭示數(shù)據(jù)的生命周期，并回答有關誰、何時、在哪里、為什么以及數(shù)據(jù)如何更改的問題。由于人工智能擴大了數(shù)據(jù)及其用例的范圍，因此對企業(yè)中更多的人，包括從事安全和其他風險管理職能的人來說，了解數(shù)據(jù)譜系變得更加重要。

審查數(shù)據(jù)管理和管道體系結構

著眼于政策和數(shù)據(jù)質量之外，數(shù)據(jù)治理領導者必須將他們的影響力擴展到數(shù)據(jù)管理和架構功能。主動式數(shù)據(jù)治理支持一系列功能，使更多員工能夠利用數(shù)據(jù)、分析以及現(xiàn)在的人工智能來完成工作并做出更明智的決策。如何存儲、訪問、生產、編目和記錄數(shù)據(jù)都是組織能夠以多快、多輕松、多安全的方式將其數(shù)據(jù)擴展到genAI用例中的所有因素。

Teradata的首席產品官希拉里·阿什頓建議了以下方法，讓最令人興奮的人工智能用例成為現(xiàn)實：

• 創(chuàng)建可重復使用的數(shù)據(jù)產品，或經過精心管理的已知良好數(shù)據(jù)集，以幫助企業(yè)更好地控制其數(shù)據(jù)并向其灌輸信任。
• 尊重數(shù)據(jù)引力，讓員工隊伍中更多的人能夠訪問信息，而無需跨不同環(huán)境移動數(shù)據(jù)。
• 在考慮可伸縮性的情況下試點人工智能倡議，包括具有強大治理的AI/ML數(shù)據(jù)管道，該管道還支持開放和互聯(lián)的生態(tài)系統(tǒng)。

數(shù)據(jù)團隊的一個關鍵是確定易于使用并支持多種用例的框架和平臺。Ensono的總經理兼副總裁肖恩·馬奧尼說：“治理框架開始看起來更加靈活，使團隊能夠更快地響應技術進步的步伐”，他建議數(shù)據(jù)治理領導者也審查并參與到這些工具中來：

• 數(shù)據(jù)網(wǎng)狀結構，用于將數(shù)據(jù)的管理委托給數(shù)據(jù)創(chuàng)建者。
• 矢量數(shù)據(jù)庫，用于處理GenAI和LLMS固有的可伸縮性和復雜性。
• 實時監(jiān)控工具，可在更多系統(tǒng)中擴展數(shù)據(jù)治理。

另一個需要考慮的問題是，數(shù)據(jù)治理、管理和體系結構如何要求了解有關數(shù)據(jù)存儲的全球法規(guī)。EDB的De Vries建議：“企業(yè)應實施全球分布式數(shù)據(jù)庫，以提升其數(shù)據(jù)治理實踐，方法是將高度監(jiān)管的數(shù)據(jù)保留在其區(qū)域內，同時在全球分發(fā)限制性較低的數(shù)據(jù)，以便在輸入人工智能平臺時實現(xiàn)靈活性。”

將數(shù)據(jù)治理擴展到GenAI工作流

數(shù)據(jù)治理功能還必須考慮如何使用GenAI工具和LLM需要策略和最佳實踐，例如，在本文的開頭，我明確引用了ChatGPT，以便讀者知道響應來自GenAI來源。良好的數(shù)據(jù)治理要求對員工進行教育，使其了解提高透明度的程序、允許他們使用的工具以及將數(shù)據(jù)隱私問題降至最低的做法。

“我看到的最大的事情是，在保持隱私和真實性的同時，準確地利用、共享和學習數(shù)據(jù)的方法正在興起”，PreThink的首席執(zhí)行官迪恩·尼古拉斯說，“例如，像Perplexity這樣基于LLM的搜索引擎總是引用它們的來源，或者像Private AI這樣的數(shù)據(jù)編校技術，它允許你在攝取數(shù)據(jù)或將數(shù)據(jù)發(fā)送到LLMS之前對PIL進行清理和編校。”

數(shù)據(jù)治理領導者應該考慮的一個新的主動措施是創(chuàng)建提示庫，員工可以在其中記錄他們的即時用例，并在企業(yè)中共享它們，該規(guī)程擴展了許多數(shù)據(jù)治理團隊已經在維護數(shù)據(jù)目錄和數(shù)據(jù)字典方面所做的知識管理實踐。

RelationalAI的Research ML副總裁Nikolaos Vasiloglou說：“LLMS的基礎包括通常存儲在知識圖譜中的干凈和精心策劃的內容以及通常以提示庫的形式存儲的專家知識，雖然我們對知識圖譜有良好的治理實踐，但如何治理后者并不明顯?！?/p>

我喜歡《蜘蛛俠》電影中流行的一句話：“力量越大，責任越大”，我們正在看到GenAI能力的快速演變，問題是數(shù)據(jù)治理團隊是否會站在他們那一邊。