編輯 | 云昭

出品 | 51CTO技術(shù)棧（微信號：blog51cto）

關(guān)于 Agentic AI，大多數(shù)團隊都做錯了！你的Agent評估方式可能完全是垃圾！

上周，麥肯錫團隊基于 50 多個自己牽頭的代理 AI 項目，以及市場上的數(shù)十個案例，發(fā)布了一份現(xiàn)實研究報告《通過代理AI一年實踐，總結(jié)出六大經(jīng)驗教訓》，引起了圈內(nèi)人士的積極圍觀和評論。

圖片

報告中指出：大多數(shù)團隊都做錯了，并給出了幾條避坑心得。

1.別急著造 Agent，先把工作流修好

最大錯誤是什么？沉迷于你那閃亮的新 AI Agent，卻沒有解決實際的業(yè)務問題。真正聰明的公司不會問“這個 Agent 有多酷？”而是會問：“Sarah 完成整個工作流能快多少？”

• 先繪制痛點圖：在寫任何一行代碼之前，把目標工作流的每個步驟梳理清楚，找出人類浪費時間的地方。
• 為協(xié)作而設計：你的 Agent 不是替代人類，而是讓人類在特定任務上變成“超人”。
• 編排思維：把 Agent 當作膠水，連接基于規(guī)則的系統(tǒng)、分析工具和生成式 AI，創(chuàng)造無縫體驗。

2.你的 Agent 評估方式可能完全是垃圾

“上線然后放任不管”只會讓用戶抱怨“AI 很爛”。把你的 Agent 當作新員工，需要持續(xù)的反饋和績效評估。

• 像命懸一線般構(gòu)建評估體系：為任務成功率、準確率和偏差檢測創(chuàng)建詳細的評分標準。
• 讓專家參與：領(lǐng)域?qū)＜铱梢詾閺碗s Agent 寫下成千上萬條正確輸出。
• 監(jiān)控每個環(huán)節(jié)：不僅要跟蹤結(jié)果，還要跟蹤每個決策點，這樣才能快速調(diào)試失敗。

3.并不是所有場景都需要 Agent

在你“Agent 化”一切之前，先問自己：“這真的是一個高方差的多步驟決策問題嗎？”如果不是，你就是在過度工程化。

• 基于規(guī)則 + 結(jié)構(gòu)化數(shù)據(jù) = 用自動化，不用 Agent
• 非結(jié)構(gòu)化數(shù)據(jù) + 簡單提取 = 用通用 AI 或 NLP，不用 Agent
• 分類 / 預測 = 用預測分析或通用 AI，不用 Agent
• 創(chuàng)造性綜合 + 判斷 = 用通用 AI，不用 Agent
• 多步驟決策 + 高方差 = 這才需要 Agent

4.一次構(gòu)建，永久復用

別再為每個任務造獨特的 Agent。聰明的團隊會構(gòu)建模塊化 Agent 組件，處理通用操作（比如數(shù)據(jù)提取、搜索、分析），然后在不同工作流中混合復用。

領(lǐng)先公司會創(chuàng)建帶有驗證服務、可復用代碼模式和共享提示的集中平臺。這樣能減少 30-50% 的重復開發(fā)工作，讓團隊把精力放在真正推動業(yè)務的難題上。

5.人類依然在環(huán)中（只是角色改變了）

你的 Agent 會完成驚人的任務，但人類依然不可或缺：監(jiān)督、處理邊緣案例、做最終決策。關(guān)鍵在于明確人類判斷在哪些環(huán)節(jié)最有價值。

• 法務團隊依然需要批準 AI 生成的合同分析。
• 保險理賠員依然需要審核復雜的索賠。

魔力發(fā)生在你設計的工作流中：人類和 Agent 各自發(fā)揮優(yōu)勢，通過直觀的可視化界面實現(xiàn)無痛協(xié)作，而不是彼此拖累。

6.經(jīng)濟可持續(xù)性

投資回報率必須可證明。如果沒有成本控制，試點項目消耗資金的速度將超過創(chuàng)造價值的速度。

參考鏈接：https://x.com/aakashg0/status/1969597475762946483/photo/2