解鎖數(shù)據(jù)工程的潛力:Agentic AI 的自主編排與優(yōu)化
1. 引言
關(guān)于 ChatGPT(廣義上為生成式 AI)的討論現(xiàn)已演變?yōu)?Agentic AI。ChatGPT 主要是一個生成文本響應的聊天機器人,而 AI Agents 則能夠自主執(zhí)行復雜任務,例如完成銷售、計劃旅行、預訂航班、雇傭承包商進行房屋工作、訂購披薩等。圖 1 展示了 Agentic AI 系統(tǒng)的演變。
比爾·蓋茨(Bill Gates)最近設想了一個未來,人們將擁有一個能夠處理和響應自然語言并完成多種不同任務的 AI Agent。蓋茨以計劃旅行為例。
通常,這需要你親自預訂酒店、航班、餐廳等。但 AI Agent 能夠根據(jù)你的偏好知識,代表你預訂和購買這些服務。
Agentic AI 系統(tǒng)的核心特性是其自主性和推理能力,允許它們將復雜任務分解為更小的可執(zhí)行任務,并以能夠監(jiān)控、反思和根據(jù)需要適應/自我糾正的方式編排執(zhí)行?;诖?,Agentic AI 有潛力顛覆當今企業(yè)中幾乎所有的業(yè)務流程。
在本文中,我們從軟件工程的角度,以一個業(yè)務流程為例進行探討。雖然我們都同意高質(zhì)量數(shù)據(jù)對于生成式 AI 和 Agentic AI 解決方案提供競爭優(yōu)勢至關(guān)重要,但我們將展示如何利用 Agentic AI 重新設計數(shù)據(jù)管理流程本身。
具體來說,我們展示了 Agentic AI 如何應用于兩個核心數(shù)據(jù)管理流程:數(shù)據(jù)編目和數(shù)據(jù)工程(數(shù)據(jù)倉庫),并概述了兩種場景相關(guān)的任務特定 AI Agents。我們隨后描述了一個 Agentic AI 平臺的參考架構(gòu),并展示它如何在不斷變化的業(yè)務和數(shù)據(jù)環(huán)境中以自持續(xù)的方式編排這些 Agents(用于數(shù)據(jù)管理)。
2. 數(shù)據(jù)管理簡介
在一個理想(且簡化)的世界中,數(shù)據(jù)管理平臺的參考架構(gòu)如圖所示。
結(jié)構(gòu)化和非結(jié)構(gòu)化的源數(shù)據(jù)被攝入 Bronze 層,在那里進行清洗和標準化,進入 Silver 層,進一步建模和轉(zhuǎn)換為 Gold 層。此時,數(shù)據(jù)已準備好供商業(yè)智能(BI)和機器學習(ML)管道使用。
然而,在現(xiàn)實中,我們看到這些經(jīng)過整理/處理的數(shù)據(jù)被移動到另一個位置,例如云存儲桶或其他數(shù)據(jù)湖,作為 ML 訓練和部署的一部分進行進一步轉(zhuǎn)換。
因此,在企業(yè)環(huán)境中:
MLOps 的數(shù)據(jù)(預)處理部分專注于將數(shù)據(jù)從源移動到 ML 模型,而不一定包括模型如何在數(shù)據(jù)上執(zhí)行。這通常包括支持學習算法的一系列轉(zhuǎn)換。例如,數(shù)據(jù)科學家可能選擇構(gòu)建線性回歸管道或探索性因子分析管道來支持 ML 模型。
ML 訓練和驗證需要執(zhí)行比傳統(tǒng)提取-轉(zhuǎn)換-加載(ETL)工具支持的更復雜的功能。
這在復雜的數(shù)據(jù)處理、聚合和回歸中尤為常見。此處推薦的方法是使用有向無環(huán)圖(DAG)流來補充數(shù)據(jù)處理策略。
與 BI 的線性數(shù)據(jù)流相比,DAG 流支持可擴展的有向圖,用于數(shù)據(jù)路由、統(tǒng)計轉(zhuǎn)換和系統(tǒng)邏輯。像 Apache Airflow 這樣的工具支持 DAG 流的創(chuàng)作、管理和維護,這些流可以以編程方式與 ETL 管道集成。
不用說,這導致了 DataOps 和 MLOps 管道的冗余和碎片化??梢哉f,當前的 DataOps 更關(guān)注 BI/結(jié)構(gòu)化分析,而 MLOps 則涵蓋了包含數(shù)據(jù)(預)處理的完整 ML 管道。
數(shù)據(jù)平臺供應商已經(jīng)開始著手解決這個問題,我們看到了一些初步的解決方案。Snowflake 提供了 Snowpark Python API,允許在 Snowflake 內(nèi)訓練和部署 ML 模型,Snowpark 使數(shù)據(jù)科學家能夠使用 Python(而不是用 SQL 編寫代碼)。
谷歌云平臺(GCP)提供了 BigQuery ML,這是一個允許在 GCP 數(shù)據(jù)倉庫環(huán)境中僅使用 SQL 訓練 ML 模型的工具。類似地,AWS Redshift Data API 使任何用 Python 編寫的應用程序都可以輕松與 Redshift 交互。這允許 SageMaker 筆記本連接到 Redshift 集群,并在 Python 中運行 Data API 命令。這種原地分析提供了一種從 AWS 數(shù)據(jù)倉庫直接拉取數(shù)據(jù)到筆記本的有效方式。
3. Agentic AI 用于數(shù)據(jù)管理
在本節(jié)中,我們展示如何在企業(yè)環(huán)境中使用自主 AI Agents 重新設計上述數(shù)據(jù)管理任務,通過適應不斷變化的數(shù)據(jù)環(huán)境來驅(qū)動業(yè)務價值(如圖 4 所示):
?自動化數(shù)據(jù)管道(攝入、建模、轉(zhuǎn)換);
?通過 AI 驅(qū)動的政策執(zhí)行實現(xiàn)治理和合規(guī)的運營化;
?為實時業(yè)務決策提供洞察和預測。
接下來,我們展示 Agentic AI 對兩個核心流程的編排:數(shù)據(jù)編目和數(shù)據(jù)工程(數(shù)據(jù)倉庫)。
3.1 數(shù)據(jù)編目的 AI Agents
自主 Agents 可以通過自動化數(shù)據(jù)發(fā)現(xiàn)、分類和元數(shù)據(jù)豐富來顛覆數(shù)據(jù)編目。這需要編排多個 AI Agents,提供跨異構(gòu)系統(tǒng)的端到端數(shù)據(jù)編目。這些 Agents 持續(xù)從用戶交互中學習,確保實時元數(shù)據(jù)更新、智能實體識別和上下文標記。
核心數(shù)據(jù)編目 Agents 包括(如圖所示):
?Supervisor Agent:掃描企業(yè)源系統(tǒng)以發(fā)現(xiàn)新的相關(guān)數(shù)據(jù),分配和調(diào)度任務給其他 Agents。
?Data Discovery Agent:執(zhí)行自主實體提取,檢測關(guān)系并應用元數(shù)據(jù)豐富。
?Data Integration Agent:與 ERP、CRM 等企業(yè)系統(tǒng)無縫集成,支持實時編目更新。
?Metadata Validation Agent:執(zhí)行元數(shù)據(jù)一致性檢查,檢測重復項,確保關(guān)系映射的準確性。
?Data Observability Agent:持續(xù)跟蹤數(shù)據(jù)血緣,應用安全和訪問控制策略,確保合規(guī)性。
3.2 數(shù)據(jù)工程的 AI Agents
Agentic AI 可以通過自動化數(shù)據(jù)管道、查詢優(yōu)化和模式演變來革新數(shù)據(jù)倉庫。這需要編排多個專門從事數(shù)據(jù)倉庫關(guān)鍵領(lǐng)域的 Agents:數(shù)據(jù)攝入、建模、轉(zhuǎn)換和洞察生成。
核心數(shù)據(jù)工程 Agents 如圖 6 所示:
?Supervisor Agent:調(diào)度批處理和實時作業(yè),自動化從批處理和流式源攝入數(shù)據(jù)。
?ETL Agents:提供數(shù)據(jù)管道的端到端自動化,包括數(shù)據(jù)攝入、建模和轉(zhuǎn)換。
?Data Quality Agent:執(zhí)行數(shù)據(jù)質(zhì)量、完整性和一致性檢查,消除重復記錄等。
?Data Modeling and Tuning Agent:根據(jù)模式漂移檢測和用戶查詢趨勢動態(tài)調(diào)整模式和索引,自動適應表結(jié)構(gòu)。
?Data Observability Agent:持續(xù)監(jiān)控數(shù)據(jù)倉庫性能,自動調(diào)整數(shù)據(jù)管道以提高速度和成本效率。
3.3 數(shù)據(jù)管理的 Agentic AI 參考架構(gòu)
在本節(jié)中,我們概述了數(shù)據(jù)管理 Agentic AI 平臺的關(guān)鍵模塊(如圖 7 所示):
?推理模塊:分解復雜任務并調(diào)整其執(zhí)行以實現(xiàn)給定目標;
?Agentic 市場:現(xiàn)有和可用 Agents 的市場;
?編排模塊:編排和監(jiān)控多 Agents 系統(tǒng)的執(zhí)行;
?集成模塊:與企業(yè)源系統(tǒng)集成;
?共享內(nèi)存管理:用于 Agents 之間的數(shù)據(jù)和上下文共享;
?治理層:包括可解釋性、隱私、安全等。
給定一個用戶(數(shù)據(jù)管理)任務,Agentic AI 平臺的目標是識別(組合)能夠執(zhí)行該任務的 Agent(或 Agents 組)。因此,我們需要的第一個組件是一個推理模塊,能夠?qū)⑷蝿辗纸鉃樽尤蝿?,并通過編排引擎協(xié)調(diào)相應 Agents 的執(zhí)行。
解決此類復雜任務的高級方法包括:(a) 將給定復雜任務分解為(層級或工作流中的)簡單任務;(b) 組合能夠執(zhí)行這些較簡單任務的 Agents。這可以通過動態(tài)或靜態(tài)方式實現(xiàn)。在動態(tài)方法中,給定復雜用戶任務,系統(tǒng)根據(jù)運行時可用 Agents 的能力制定計劃以滿足請求。在靜態(tài)方法中,給定一組 Agents,在設計時手動定義組合 Agents,結(jié)合它們的能力。
鏈式思考(Chain of Thought, CoT)是目前最廣泛使用的分解框架,用于將復雜任務轉(zhuǎn)化為多個可管理任務,并揭示模型思考過程的解釋。
Agent 組合意味著存在一個 Agent 市場/注冊表,包含 Agent 能力和約束的明確描述。在這種情況下,相關(guān)的數(shù)據(jù)管理 Agents 包括:
?Data Discovery Agent
?Data Processing Agent
?Data Modeling Agent
?Insights Generation Agent
?Data (and Metadata) Quality Agent
?Data Observability Agent
鑒于需要編排多個 Agents,需要一個支持不同 Agent 交互模式的數(shù)據(jù)集成模塊,例如 Agent 到 Agent API、Agent API 提供供人類消費的輸出、人類觸發(fā) AI Agent、AI Agent 到 Agent 且有人類參與的循環(huán)。這些集成模式需要底層 Agent OS 平臺支持。
吳恩達(Andrew Ng)最近從性能角度討論了這一點:
今天,許多 LLM 輸出是供人類消費的。但在 Agentic 工作流中,LLM 可能被反復提示以反思和改進其輸出、使用工具、計劃和執(zhí)行多個步驟,或?qū)崿F(xiàn)協(xié)作的多個 Agents。因此,我們可能在向用戶顯示任何輸出之前生成數(shù)十萬甚至更多的 token。這使得快速生成 token 非常重要,而較慢的生成速度則成為充分利用現(xiàn)有模型的瓶頸。
這包括與多個企業(yè)源系統(tǒng)(例如 ERP、CRM)集成,這在大多數(shù)用例中都是必要的。例如,Anthropic 最近提出的模型上下文協(xié)議(Model Context Protocol, MCP)可將 AI Agents 連接到存儲企業(yè)數(shù)據(jù)的外部系統(tǒng)。
鑒于此類復雜任務的長時間運行特性,內(nèi)存管理對 Agentic AI 系統(tǒng)至關(guān)重要。
這包括任務之間的上下文共享以及長時間保持執(zhí)行上下文。
標準方法是將 Agent 信息的嵌入表示保存到支持最大內(nèi)積搜索(MIPS)的向量存儲數(shù)據(jù)庫中。為了快速檢索,使用近似最近鄰(ANN)算法,返回大約 top k 最近鄰,犧牲一定準確性以換取巨大的速度提升。
最后是數(shù)據(jù)治理模塊。我們需要確保用戶針對特定任務共享的數(shù)據(jù)或跨任務的用戶配置文件數(shù)據(jù),僅與相關(guān) Agents 共享(表/報告認證和訪問控制)。請參閱我之前的文章《負責任的 AI Agents》,討論了在幻覺防護、數(shù)據(jù)質(zhì)量、隱私、可重復性、可解釋性等方面啟用良好治理的 AI Agent 平臺所需的關(guān)鍵維度。
4. 結(jié)論
Agentic AI 是一個強大的范式,有潛力顛覆當今企業(yè)中許多業(yè)務流程。本文聚焦于數(shù)據(jù)管理流程。雖然我們通常關(guān)注“數(shù)據(jù)”方面,以提供高質(zhì)量數(shù)據(jù)來啟用 Agentic AI 系統(tǒng),但我們展示了如何利用 Agentic AI 重新設計數(shù)據(jù)管理流程本身。
具體來說,我們將 Agentic AI 應用于兩個核心數(shù)據(jù)管理流程:數(shù)據(jù)編目和數(shù)據(jù)工程(數(shù)據(jù)倉庫),概述了兩種場景相關(guān)的任務特定 AI Agents。我們最后描述了一個 Agentic AI 平臺的參考架構(gòu),可以以自持續(xù)的方式組合和編排這些 Agents(用于數(shù)據(jù)管理)。
鑒于數(shù)據(jù)對所有 AI(包括生成式 AI 和 Agentic AI)的重要性,我們相信高效(Agentic AI 賦能的)數(shù)據(jù)管理有潛力通過自主適應不斷變化的企業(yè)流程顯著驅(qū)動業(yè)務價值。
本文轉(zhuǎn)載自??AI大模型觀察站??,作者:AI大模型觀察站
