1. 引言

關(guān)于ChatGPT（或者更廣義的Aenerative AI）的討論，如今已經(jīng)演變成了Agentic AI。ChatGPT主要是個能生成文本回復(fù)的chatbot，而AI代理則能自主執(zhí)行復(fù)雜任務(wù)，比如完成一筆銷售、規(guī)劃一次旅行、預(yù)訂機票、雇傭承包商干家務(wù)活，甚至點個披薩。下面的圖表展示了Agentic AI系統(tǒng)的演變。

比爾·蓋茨最近設(shè)想了一個未來：我們將擁有一個能處理自然語言、完成多種任務(wù)的AI代理。以旅行規(guī)劃為例，傳統(tǒng)上你得自己訂酒店、機票、餐廳等。但AI代理能根據(jù)你的喜好，替你搞定這些預(yù)訂和購買。

簡單來說，AI代理之所以火爆，是因為它們理論上可以應(yīng)用于任何目前靠人工執(zhí)行的企業(yè)流程。

所以，我們基本上可以把從客戶服務(wù)臺到工業(yè)流程（比如HVAC優(yōu)化），甚至用代理來構(gòu)建底層的software、data和ML engineering pipelines，統(tǒng)統(tǒng)“代理化”。為了實現(xiàn)這種agentification（代理化），我們需要一門全新的綜合學(xué)科，覆蓋agentic AI的整個生命周期，從：

? 捕獲agentic用例需求

? 到設(shè)計代理（一個好的代理層級結(jié)構(gòu)長啥樣？適用的agentic技能和工具又有哪些？）

? 到在agentic平臺上實現(xiàn)安全、可擴展的部署

? 再到這些代理的治理和維護

在agentification過程中，有幾點原則要牢記：

? 人們往往傾向于將手動流程一對一映射到agentic流程上，這其實效率不高。設(shè)計者得記住，代理不受限于HR流程之類的東西 :) 所以軟件代理能干不同的事，而且干的方式也跟人類不一樣。

? 但與此同時，就像人類在安全鏈條中是薄弱環(huán)節(jié)一樣，一個代理也可能搞砸整個執(zhí)行流程。所以不能有例外，也不知道要是代理“叛變”了該怪誰、罰誰、開除誰。因此，建議對所有代理都以最高標(biāo)準(zhǔn)設(shè)計，配備logging、observability和responsible AI guardrails。

接下來，我們將深入探討agentification流程。第2節(jié)會介紹agentic生命周期及其不同階段。第3節(jié)會概述支持這些生命周期階段的agentic AI平臺的參考架構(gòu)。第4節(jié)會展示兩個案例研究，分別應(yīng)用agentification來運行客戶服務(wù)臺（4.1節(jié)）和進行data platform management（4.2節(jié)，包括data cataloging和data engineering pipelines）。

2. Agentic AI生命周期管理

構(gòu)建和運行AI代理的典型階段如圖2所示。

首先，得定義用例：包括明確問題陳述、理解業(yè)務(wù)背景、data requirements和availability，以及為agentic AI解決方案設(shè)定清晰的目標(biāo)，量化return-on-investment (RoI)。

其次，我們需要一個reasoning models / large language models (LLMs)、代理和工具的市場?，F(xiàn)成的企業(yè)工具整合和動態(tài)定義代理在實踐中效果不太好 :)

比如，Agent2Agent (A2A)協(xié)議提出了Agent Card的概念（一個JSON文檔），就像代理的數(shù)字“名片”。它包含以下關(guān)鍵信息：

?Identity：名稱、描述、提供者信息。

?Service Endpoint：A2A服務(wù)的訪問URL。

?A2A Capabilities：支持的協(xié)議功能，比如streaming或pushNotifications。

?Authentication：與代理交互所需的認(rèn)證方式（比如“Bearer”、“OAuth2”）。

?Skills：代理能執(zhí)行的具體任務(wù)或功能列表（AgentSkill對象），包括id、名稱、描述、inputModes、outputModes和示例。

客戶端代理可以通過解析Agent Card來發(fā)現(xiàn)遠(yuǎn)程代理，判斷是否適合某個任務(wù)，如何組織技能請求，以及如何安全通信。

類似地，Model Context Protocol (MCP)通過mcp:// URIs提供動態(tài)工具發(fā)現(xiàn)機制，代理可以解析并獲取工具能力、需求和交互方法的元數(shù)據(jù)信息。

A2A和MCP都基于文本/自然語言描述的代理和工具。在我之前的一篇論文中，我提到這種方式可能不夠，需要更正式的capabilities/constraints-based discovery model來實現(xiàn)精準(zhǔn)、自動化的工具和代理發(fā)現(xiàn)。

第三步，設(shè)計agentic logic（實現(xiàn)目標(biāo)的計劃）。這里得區(qū)分deterministic和autonomous代理，它們的設(shè)計和執(zhí)行方式差別很大。

對于deterministic代理，主要是靜態(tài)定義一個orchestration schema，預(yù)先確定代理和工具。而autonomous代理只需將用例目標(biāo)作為prompt給到LLM/reasoning model，planner會動態(tài)制定執(zhí)行計劃，并根據(jù)memory中的觀察動態(tài)調(diào)整計劃。

第四步，優(yōu)化代理的部署用于inferencing。由于generative AI和LLMs的體量巨大，之前大家很關(guān)注優(yōu)化/quantizing LLMs到small language models (SLMs)。但鑒于目前代理多聚焦于企業(yè)工作流，這塊似乎被暫時擱置了。

我相信，一旦更多代理投入生產(chǎn)，cost optimization和power efficiency會重新成為焦點。

所以這一階段得主動思考優(yōu)化agentic部署，甚至讓它們能跑在edge devices上。更多細(xì)節(jié)可以參考我之前的文章《Agentic AI Inference Sizing》。

最后，討論governance layer。說實話，沒有這一層，任何代理都不可能在企業(yè)中投入生產(chǎn)，也不應(yīng)該被允許這樣做。比如，JP Morgan的CISO在一封廣為流傳的信中就強調(diào)需要安全、彈性的agentic架構(gòu)。

Guardrails也在agentic AI生態(tài)中成為一級公民，比如OpenAI的Agent SDK發(fā)布?？傊?，end-to-end observability不僅對代理卡殼的場景恢復(fù)至關(guān)重要，還得有rollback策略應(yīng)對代理偏離劇本的情況。

簡單來說，關(guān)鍵點是：在生產(chǎn)環(huán)境中構(gòu)建可靠、可信的代理，遠(yuǎn)不止寫幾行代碼那么簡單 -:)

3. Agentic AI參考架構(gòu)

圖3展示了支持前述生命周期階段的agentic AI平臺的關(guān)鍵組件：

? 代理（和工具）marketplace

? Planner（推理層）

? Personalization layer

? Orchestration layer

? Observability layer（包含logging、checkpointing等）

? Integration layer（與企業(yè)系統(tǒng)整合）

? Shared memory layer（長期和短期記憶）

給定一個用戶任務(wù)，我們會prompt一個LLM進行task decomposition——這跟generative AI有重疊。但這也意味著，當(dāng)前agentic AI系統(tǒng)受限于LLMs的reasoning能力。比如，GPT4對以下prompt的分解如圖4所示：

生成一個定制的email campaign，實現(xiàn)1個月內(nèi)100萬美元的銷售。適用產(chǎn)品及其performance metrics在[url]中。連接到CRM系統(tǒng)[integration]獲取客戶姓名、郵箱和demographic details。

分解為：（分析產(chǎn)品）—（識別目標(biāo)受眾）—（創(chuàng)建定制email campaign）。

LLM會監(jiān)控執(zhí)行/環(huán)境，必要時自主調(diào)整。在這個例子中，代理發(fā)現(xiàn)無法實現(xiàn)銷售目標(biāo)，自主增加了任務(wù)：（尋找替代產(chǎn)品）—（利用客戶數(shù)據(jù)個性化郵件）—（進行A/B testing）。

這就引出了personalization layer的需求。類似于fine-tuning LLMs到特定領(lǐng)域的SLMs，我們認(rèn)為，針對企業(yè)特定context（適用用戶persona和用例）對通用AI代理進行customization/fine-tuning，才能推動其企業(yè)采用。

圖5展示了基于user persona fine-tuning AI代理的參考架構(gòu)。更多細(xì)節(jié)見我之前的文章《Personalizing UX for Agentic AI》。

鑒于需要orchestrate多個代理，integration layer得支持不同的代理交互模式，比如agent-to-agent API、代理API為人類提供輸出、人類觸發(fā)AI代理、AI代理與人類的交互loop。這些模式需由底層的AgentOps平臺支持。

值得一提的是，大多數(shù)用例都需要與企業(yè)系統(tǒng)（比如這里的CRM）整合。這可以通過MCP動態(tài)連接工具到企業(yè)數(shù)據(jù)所在系統(tǒng)來實現(xiàn)。

考慮到這類復(fù)雜任務(wù)的長期運行特性，memory management對agentic AI系統(tǒng)至關(guān)重要。初始email campaign啟動后，代理需監(jiān)控1個月。這涉及任務(wù)間context sharing和長期執(zhí)行context的維護。

標(biāo)準(zhǔn)做法是將代理信息的embedding表示存儲到vector store數(shù)據(jù)庫，支持maximum inner product search (MIPS)。為快速檢索，使用approximate nearest neighbors (ANN)算法，返回近似top k-nearest neighbors，犧牲一點準(zhǔn)確性換取巨大速度提升。

圖6展示了agentic AI系統(tǒng)的全面memory management，包括短期和長期記憶模塊。更多細(xì)節(jié)見我之前的文章《Long-term Memory for Agentic AI》。

4. Agentification案例研究

4.1 客戶服務(wù)臺

本節(jié)展示如何用AI代理重新設(shè)計典型的客戶服務(wù)臺（見圖7），通過更高效、個性化的服務(wù)為終端用戶帶來業(yè)務(wù)價值。

在今天的contact center，knowledge base (KB) article/standard operating procedure (SOP)定義了人類代理執(zhí)行的系統(tǒng)化工作流程，基本上是一套預(yù)定義的、解決常見客戶問題的逐步指令。

圖8展示了第3節(jié)中的agentic AI平臺參考架構(gòu)，適配于執(zhí)行客戶服務(wù)臺特定任務(wù)。用戶和數(shù)據(jù)交互步驟都可以用augmented LLMs（結(jié)合scripts、APIs和UI/UX）自動化。

LLMs可以生成用戶問題、解釋用戶輸入、提取相關(guān)信息，并生成狀態(tài)消息和確認(rèn)。APIs可用于檢索結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，reasoning LLM則利用數(shù)據(jù)決定下一步。

KB article/SOP可視為directed acyclic graph (DAG)，每個節(jié)點代表一個步驟，邊代表可能的分支（結(jié)果/下一步）。

我們假設(shè)存在AI代理的KB article repository，每一步包含以下細(xì)節(jié)：

?action_id：要執(zhí)行的步驟標(biāo)識。

?action_type：動作類型，比如api_call、get_user_input、retrieve_ext_knowledge。

?action_metadata：對于get_user_input，包含用戶預(yù)期輸入或傳達(dá)給用戶的消息；對于api_call，包含API端點及所需輸入?yún)?shù)。

基于LLMs的代理可以自主執(zhí)行KB article中的步驟。相關(guān)的客戶服務(wù)臺代理包括：

? Customer Agent

? Product Agent

? SLA Agent

? Personalization Agent

? Responsible AI Agent

? Audio (Speech) Agent

? RAG based KB Retrieval Agent

? (Gen AI based) Email Response Generation Agent

4.2 數(shù)據(jù)管理/數(shù)據(jù)工程

本節(jié)展示如何將agentic AI應(yīng)用于data platform management的兩個核心流程：data cataloging和data engineering（warehousing），并概述相關(guān)任務(wù)特定AI代理。

圖9展示了重新設(shè)計的agentic流程，捕獲關(guān)鍵任務(wù)：

? 自動化data pipelines（ingestion、modeling、transformation）；

? 用AI驅(qū)動的政策執(zhí)行實現(xiàn)governance & compliance；

? 啟用實時業(yè)務(wù)決策的insights & predictions。

圖10展示了適配于data platform management的agentic AI平臺參考架構(gòu)。關(guān)鍵data cataloging代理包括：

?Supervisor agent：掃描企業(yè)源系統(tǒng)以發(fā)現(xiàn)新數(shù)據(jù)，分配和調(diào)度代理任務(wù)。

?Data discovery agent：自主提取entities，檢測關(guān)系并應(yīng)用metadata enrichment。

?Data integration agent：與ERP、CRM等企業(yè)系統(tǒng)無縫整合，啟用實時catalog更新。

?Metadata validation agent：執(zhí)行metadata一致性檢查，檢測重復(fù)，確保關(guān)系映射準(zhǔn)確。

?Data observability agent：持續(xù)跟蹤data lineage，應(yīng)用security和access control政策，確保compliance。

類似地，關(guān)鍵data engineering代理包括：

?Supervisor agent：調(diào)度batch和real-time jobs，自動化batch和streaming源的ingestion。

?ETL agents：提供data pipelines的端到端自動化，包括data ingestion、modeling和transformation。

?Data quality agent：執(zhí)行data quality、integrity和consistency檢查，deduplicate記錄等。

?Data modeling and tuning agent：根據(jù)schema drift檢測和用戶查詢趨勢動態(tài)調(diào)整schemas和indexing，自動適配表結(jié)構(gòu)。

?Data observability agent：持續(xù)監(jiān)控data warehouse性能，auto-tuning數(shù)據(jù)管道以提升速度和成本效率。

5. 結(jié)論

Agentic AI是一個強大的范式，有潛力顛覆當(dāng)今企業(yè)中普遍存在的許多業(yè)務(wù)流程。本文聚焦于“agentification”流程。

我們從一個高度依賴人工干預(yù)的手動流程開始，重新設(shè)想底層流程，利用autonomous AI代理實現(xiàn)高度自動化。然后識別并概述了與該流程相關(guān)的任務(wù)特定AI代理。最后展示了agentic AI平臺的參考架構(gòu)，以個性化的方式為終端用戶orchestrate這些代理（層級）。

我們展示了兩項案例研究，應(yīng)用agentification交付IT流程：data platform management（包括data cataloging和data engineering pipelines）以及優(yōu)化客戶服務(wù)臺。我們相信，鑒于企業(yè)流程的不斷演變，agentification有潛力帶來顯著的業(yè)務(wù)價值。

本文轉(zhuǎn)載自??AI大模型觀察站??，作者：AI大模型觀察站