借助智能體增強(qiáng)關(guān)鍵數(shù)據(jù)管理領(lǐng)域

隨著數(shù)據(jù)的復(fù)雜性和重要性不斷提升，企業(yè)亟需更智能、更敏捷且可擴(kuò)展的方法來管理數(shù)據(jù)。由智能體驅(qū)動(dòng)的數(shù)據(jù)管理員，代表了數(shù)據(jù)管理的下一階段演進(jìn)——它融合了人類專業(yè)知識(shí)與AI的強(qiáng)大能力。

這些領(lǐng)域?qū)τ趫?zhí)行領(lǐng)域數(shù)據(jù)戰(zhàn)略至關(guān)重要，它們基于戰(zhàn)略主題和關(guān)鍵數(shù)據(jù)元素作為核心輸入。盡管工具不斷進(jìn)步，但這四個(gè)領(lǐng)域依然需要數(shù)據(jù)管理員具備深厚的領(lǐng)域知識(shí)并投入大量人工操作。

目前我們已經(jīng)看到大量專用智能體和大語言模型接管了原本由數(shù)據(jù)管理員執(zhí)行的任務(wù)。本文展示了當(dāng)下已經(jīng)實(shí)現(xiàn)的能力，以及通過自主式AI進(jìn)一步擴(kuò)展的可能性，從而逐步邁向數(shù)據(jù)管理員的愿景。

我們特別提出了四類面向關(guān)鍵數(shù)據(jù)管理職責(zé)的自主式AI系統(tǒng)：

• 數(shù)據(jù)質(zhì)量智能體
• 元數(shù)據(jù)管理智能體
• 主數(shù)據(jù)智能體
• 數(shù)據(jù)留存智能體

借助數(shù)據(jù)質(zhì)量智能體提升數(shù)據(jù)的準(zhǔn)確性、一致性與可靠性

數(shù)據(jù)質(zhì)量是所有數(shù)字化和AI項(xiàng)目的核心支柱：如果缺乏準(zhǔn)確、一致和可靠的數(shù)據(jù)，這些項(xiàng)目最終都會(huì)失敗。智能體能夠顯著自動(dòng)化和增強(qiáng)數(shù)據(jù)管理員執(zhí)行的高度手工化任務(wù)，同時(shí)提升數(shù)據(jù)資產(chǎn)在運(yùn)營和分析場(chǎng)景下的管理與治理。

目前許多數(shù)據(jù)質(zhì)量工具已利用AI實(shí)現(xiàn)以下基礎(chǔ)能力：

• 數(shù)據(jù)剖析與異常檢測(cè)：利用機(jī)器學(xué)習(xí)和統(tǒng)計(jì)規(guī)則掃描數(shù)據(jù)，識(shí)別離群點(diǎn)、缺失值或不一致。
• 自動(dòng)修復(fù)：自動(dòng)處理簡單問題(如格式修正、去重)，同時(shí)將復(fù)雜問題標(biāo)記出來交由人工處理。
• 簡單規(guī)則檢測(cè)：識(shí)別基礎(chǔ)的數(shù)據(jù)質(zhì)量規(guī)則，特別是有效性、完整性、唯一性和一致性等。例如，ChatGPT曾在某HR數(shù)據(jù)集上自動(dòng)檢測(cè)并生成相關(guān)規(guī)則。

盡管現(xiàn)有智能體已相當(dāng)強(qiáng)大，但它們大多集中在簡單、明確定義的重復(fù)性任務(wù)上。要實(shí)現(xiàn)我們對(duì)數(shù)據(jù)質(zhì)量智能體的愿景(作為數(shù)據(jù)管理員的組成部分)，則需要跨智能體的編排與反饋能力，能夠進(jìn)行預(yù)測(cè)、監(jiān)聽、告警，甚至自動(dòng)糾正。

因此，數(shù)據(jù)質(zhì)量智能體必須能夠結(jié)合并協(xié)同多個(gè)更復(fù)雜的智能體，真正增強(qiáng)人類數(shù)據(jù)管理員的能力。

應(yīng)用場(chǎng)景示例：假設(shè)一家金融機(jī)構(gòu)部署數(shù)據(jù)質(zhì)量智能體來提升客戶數(shù)據(jù)的管理水平。在該場(chǎng)景中，數(shù)據(jù)質(zhì)量智能體可執(zhí)行以下任務(wù)：

• 掃描來自不同渠道的大規(guī)?？蛻魯?shù)據(jù)(包括CRM系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，以及郵件或客戶交互中的非結(jié)構(gòu)化數(shù)據(jù))，識(shí)別模式、關(guān)系和異常。
• 聚類并分組相似的數(shù)據(jù)異常(如相同類型的地址錯(cuò)誤或重復(fù)客戶記錄)，并進(jìn)行自動(dòng)糾正。
• 借助元數(shù)據(jù)血緣、日志關(guān)聯(lián)和流程挖掘進(jìn)行更復(fù)雜的數(shù)據(jù)質(zhì)量根因分析，發(fā)現(xiàn)潛在流程問題。
• 將發(fā)現(xiàn)的根因推送給其他智能體，以更新血緣、調(diào)整數(shù)據(jù)契約或優(yōu)化流程。
• 根據(jù)自然語言輸入幫助創(chuàng)建復(fù)雜的業(yè)務(wù)規(guī)則，其他智能體可進(jìn)一步將這些規(guī)則轉(zhuǎn)化為特定系統(tǒng)或平臺(tái)上的代碼、測(cè)試或策略。
• 監(jiān)控并生成工單和報(bào)告，記錄數(shù)據(jù)質(zhì)量問題，觸發(fā)相關(guān)修復(fù)行動(dòng)。

借助元數(shù)據(jù)管理智能體提供上下文與語義

元數(shù)據(jù)為數(shù)據(jù)提供語境和含義，這是用戶能夠有效發(fā)現(xiàn)、理解和利用信息的關(guān)鍵。與數(shù)據(jù)質(zhì)量工具類似，現(xiàn)有許多元數(shù)據(jù)管理工具已利用AI在以下方面發(fā)揮作用：

• 元數(shù)據(jù)提?。鹤詣?dòng)識(shí)別新數(shù)據(jù)源的模式并抽取技術(shù)元數(shù)據(jù)。
• 持續(xù)目錄更新：為數(shù)據(jù)目錄自動(dòng)填充和更新條目，并利用自然語言處理豐富非結(jié)構(gòu)化數(shù)據(jù)的描述。
• 自動(dòng)血緣拼接：整合并校正來自多個(gè)系統(tǒng)的碎片化數(shù)據(jù)血緣信息。
• 數(shù)據(jù)敏感度分類：根據(jù)數(shù)據(jù)內(nèi)容和上下文自動(dòng)識(shí)別并分類敏感數(shù)據(jù)(如PII、PHI)，并應(yīng)用相應(yīng)的安全策略。

在數(shù)據(jù)管理員的框架下，一個(gè)更全面的元數(shù)據(jù)管理智能體應(yīng)能整合并編排這些專用智能體，幫助人類數(shù)據(jù)管理員為其領(lǐng)域建立并持續(xù)維護(hù)數(shù)據(jù)字典和元數(shù)據(jù)存儲(chǔ)庫。

為了提供有意義的元數(shù)據(jù)，元數(shù)據(jù)管理智能體需要熟悉內(nèi)部詞匯和術(shù)語表，能夠不斷學(xué)習(xí)不同領(lǐng)域的定義和豐富規(guī)則，并在其他領(lǐng)域中主動(dòng)推薦。這一點(diǎn)對(duì)于處理越來越多的非結(jié)構(gòu)化數(shù)據(jù)源尤為重要，例如文檔、郵件和報(bào)告，這些數(shù)據(jù)源也在不斷被用于訓(xùn)練LLM和GenAI應(yīng)用。

應(yīng)用場(chǎng)景示例：假設(shè)一家大型電商公司擁有海量客戶數(shù)據(jù)。在該場(chǎng)景中，元數(shù)據(jù)管理智能體可執(zhí)行以下任務(wù)：

• 自動(dòng)發(fā)現(xiàn)新的數(shù)據(jù)源，提取技術(shù)元數(shù)據(jù)，推斷數(shù)據(jù)模式，并將其與公司特定業(yè)務(wù)詞匯和術(shù)語表中的業(yè)務(wù)術(shù)語關(guān)聯(lián)。
• 具備自愈能力：自動(dòng)檢測(cè)、診斷并修復(fù)元數(shù)據(jù)漂移問題，如血緣斷裂、標(biāo)簽缺失或策略違規(guī)。
• 提升數(shù)據(jù)可發(fā)現(xiàn)性和可用性：將元數(shù)據(jù)圖轉(zhuǎn)化為業(yè)務(wù)用戶能夠理解的自然語言描述。

利用主數(shù)據(jù)智能體管理關(guān)鍵數(shù)據(jù)要素的全生命周期

作為企業(yè)最核心、最關(guān)鍵的業(yè)務(wù)數(shù)據(jù)對(duì)象，主數(shù)據(jù)幾乎是所有數(shù)據(jù)管理員工作的重點(diǎn)。如今的MDM(Master Data Management，主數(shù)據(jù)管理)工具，正越來越多地在整個(gè)數(shù)據(jù)生命周期中嵌入AI能力，用于：

• 數(shù)據(jù)創(chuàng)建與豐富：填補(bǔ)缺失值，或在輸入有限信息的情況下生成初始記錄(例如，從產(chǎn)品規(guī)格自動(dòng)生成產(chǎn)品描述)。AI能夠識(shí)別已有模式，推斷可能值，或從外部知識(shí)庫獲取標(biāo)準(zhǔn)描述。
• 智能匹配與去重：識(shí)別潛在的重復(fù)記錄或關(guān)聯(lián)關(guān)系，在部分場(chǎng)景下還能在人工監(jiān)督下實(shí)現(xiàn)自動(dòng)合并。
• 跨多個(gè)源系統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)化與集成：統(tǒng)一不同來源的數(shù)據(jù)，并標(biāo)準(zhǔn)化數(shù)據(jù)架構(gòu)(如TAMR)。

在數(shù)據(jù)管理員框架下，主數(shù)據(jù)智能體旨在讓關(guān)鍵數(shù)據(jù)要素(CDE)的全生命周期管理更加自動(dòng)化、高效和可靠。這包括通過多智能體的協(xié)同與編排，來管理所屬領(lǐng)域CDE的創(chuàng)建、讀取、更新和刪除(CRUD)過程。

然而，合規(guī)性檢查依然不可或缺，尤其是在處理敏感和關(guān)鍵業(yè)務(wù)主數(shù)據(jù)時(shí)。因此，最復(fù)雜、最關(guān)鍵的業(yè)務(wù)步驟仍需要依賴于人類專家的經(jīng)驗(yàn)和領(lǐng)域數(shù)據(jù)戰(zhàn)略所提供的上下文信息。

借助數(shù)據(jù)保留智能體確保合規(guī)性

數(shù)據(jù)保留已經(jīng)成為數(shù)據(jù)管理員的重要職責(zé)，尤其是在企業(yè)面臨日益復(fù)雜的法律、監(jiān)管和倫理要求時(shí)。為應(yīng)對(duì)這些挑戰(zhàn)，許多現(xiàn)代數(shù)據(jù)管理工具——例如企業(yè)數(shù)據(jù)目錄(Collibra、Microsoft Purview、Informatica)和主數(shù)據(jù)管理工具——已經(jīng)開始內(nèi)置AI功能，以實(shí)現(xiàn)數(shù)據(jù)保留策略的自動(dòng)化與優(yōu)化：

• 自動(dòng)識(shí)別受保留規(guī)則約束的數(shù)據(jù)：通過分析元數(shù)據(jù)、數(shù)據(jù)分類和業(yè)務(wù)上下文，識(shí)別符合特定保留要求的數(shù)據(jù)(如PII、合同、財(cái)務(wù)記錄)。
• 策略分配與執(zhí)行：在數(shù)據(jù)達(dá)到保留期時(shí)，自動(dòng)觸發(fā)刪除、匿名化或歸檔操作。

在數(shù)據(jù)管理員框架中，數(shù)據(jù)保留智能體會(huì)與元數(shù)據(jù)管理智能體和主數(shù)據(jù)智能體緊密協(xié)作，讀取元數(shù)據(jù)，并觸發(fā)專門的智能體執(zhí)行刪除、匿名化或歸檔操作。它不僅僅是執(zhí)行已有的數(shù)據(jù)保留策略，還能基于數(shù)據(jù)使用模式，主動(dòng)優(yōu)化現(xiàn)有的保留政策與流程。

應(yīng)用場(chǎng)景示例：醫(yī)療行業(yè)

在醫(yī)療領(lǐng)域，數(shù)據(jù)保留智能體可以幫助人類數(shù)據(jù)管理員遵循HIPAA等合規(guī)要求，執(zhí)行如下任務(wù)：

• 基于內(nèi)容和元數(shù)據(jù)自動(dòng)識(shí)別病人病歷，并按照敏感度進(jìn)行分類(如精神健康記錄、藥物濫用記錄)。
• 根據(jù)監(jiān)管要求強(qiáng)制執(zhí)行保留策略，例如在特定期限后自動(dòng)歸檔病歷，并在不再需要時(shí)安全刪除。
• 監(jiān)控?cái)?shù)據(jù)訪問，識(shí)別潛在的HIPAA違規(guī)行為，并及時(shí)提醒合規(guī)官進(jìn)行調(diào)查。
• 優(yōu)化數(shù)據(jù)保留策略，預(yù)測(cè)數(shù)據(jù)何時(shí)會(huì)失效，并自動(dòng)將其轉(zhuǎn)移到歸檔存儲(chǔ)，從而釋放主存儲(chǔ)空間。

通過自動(dòng)化這些任務(wù)，智能體能夠幫助醫(yī)療機(jī)構(gòu)降低合規(guī)風(fēng)險(xiǎn)、提升數(shù)據(jù)安全，并釋放寶貴的IT資源。

結(jié)論

智能體正在重塑關(guān)鍵的數(shù)據(jù)管理任務(wù)，尤其是在數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、主數(shù)據(jù)流程和數(shù)據(jù)保留方面。數(shù)據(jù)管理員的價(jià)值在于其作為一個(gè)多智能體系統(tǒng)，能夠多大程度上學(xué)習(xí)和適應(yīng)企業(yè)的數(shù)據(jù)環(huán)境、接受了多少關(guān)于數(shù)據(jù)生態(tài)的訓(xùn)練與信息輸入，以及它如何處理企業(yè)內(nèi)部遇到的各種數(shù)據(jù)管理問題——無論是來自領(lǐng)域數(shù)據(jù)戰(zhàn)略、問題與事件管理系統(tǒng)，還是內(nèi)部審計(jì)報(bào)告。

隨著時(shí)間推移，數(shù)據(jù)管理員將逐步理解企業(yè)面臨的風(fēng)險(xiǎn)，并確保相關(guān)智能體被部署以保護(hù)和防御企業(yè)資產(chǎn)。需要注意的是，完全自主、通用型的跨企業(yè)復(fù)雜數(shù)據(jù)管理智能體仍在發(fā)展中，目前大多數(shù)企業(yè)在關(guān)鍵決策上依然采取“人機(jī)協(xié)同”的方式。