準(zhǔn)確率達(dá)90%,用戶卻瘋狂棄用,一遇問(wèn)題轉(zhuǎn)人工,AI客服竟比電話語(yǔ)音還糟!大牛發(fā)文痛斥:能力≠采納!四層架構(gòu)讓Agent無(wú)AI感
原創(chuàng) 精選編輯 | 云昭
出品 | 51CTO技術(shù)棧(微信號(hào):blog51cto)
上周,我和一位最近剛上線 AI Agent 的 PM 聊天。指標(biāo)看上去非常亮眼:89% 的準(zhǔn)確率、毫秒級(jí)的響應(yīng)、用戶調(diào)研反饋積極。
但實(shí)際情況卻很打臉,上線沒(méi)多久,用戶紛紛棄用了。
典型的場(chǎng)景就是,用戶一旦遇到真正的問(wèn)題,Agent 就秒變菜雞了。
比如,當(dāng)用戶同時(shí)遇到賬單爭(zhēng)議和賬號(hào)被鎖時(shí):
“我們的 Agent 能完美處理常規(guī)請(qǐng)求,但面對(duì)復(fù)雜問(wèn)題時(shí),用戶嘗試一次不順利,就立刻放棄轉(zhuǎn)而找人工?!?/p>
其實(shí),這個(gè)問(wèn)題似曾相識(shí),絕非個(gè)例。幾乎所有做智能客服的團(tuán)隊(duì)都會(huì)踩這個(gè)坑:
很多團(tuán)隊(duì)不斷把精力放在讓 Agent “更聰明”上,但真正的挑戰(zhàn)其實(shí)是架構(gòu)決策,而這些決策決定了用戶如何體驗(yàn)、如何逐步信任 Agent。
為什么有的 Agent 看起來(lái)“有魔力”,有的卻讓人抓狂,以及在架構(gòu)上究竟該如何取舍?
小編剛剛讀到了一篇ProductCurious社區(qū)上一位大牛今天發(fā)表的文章,可以說(shuō)是把這些問(wèn)題解釋得非常透徹。
圖片
AI Agent 的架構(gòu)與產(chǎn)品決策問(wèn)題,事關(guān)產(chǎn)品的成敗。
我們將用一個(gè)客服 Agent 的例子,來(lái)展示不同的架構(gòu)選擇如何影響結(jié)果。還會(huì)看到一個(gè)反直覺(jué)的信任策略(提示:不是“更準(zhǔn)確”),為什么它更有利于用戶采納。
一、用戶究竟為什么會(huì)棄用?
假如你要做一個(gè)幫助用戶處理賬號(hào)問(wèn)題的 Agent——重置密碼、賬單咨詢、套餐變更等等。
但如果用戶這時(shí)候告知:“我無(wú)法登錄賬號(hào),而且訂閱似乎不對(duì)了”,這時(shí)候 Agent 到底應(yīng)該怎么處理呢?
圖片
場(chǎng)景 A:Agent 立即查詢系統(tǒng):發(fā)現(xiàn)昨天密碼已重置但郵件未送達(dá),同時(shí)賬單異常導(dǎo)致套餐被降級(jí)。它解釋清楚發(fā)生了什么,并提供“一鍵修復(fù)”選項(xiàng)。
場(chǎng)景 B:Agent 開(kāi)始追問(wèn)澄清:“你上次成功登錄是什么時(shí)候?看到的報(bào)錯(cuò)信息是什么?能詳細(xì)說(shuō)下訂閱問(wèn)題嗎?” 收集完信息后,它說(shuō):“讓我?guī)湍戕D(zhuǎn)接人工客服來(lái)核查賬號(hào)和賬單?!?/p>
很明顯,A 明顯優(yōu)于 B。
同樣的用戶請(qǐng)求,同樣的底層系統(tǒng),卻是兩種完全不同的產(chǎn)品體驗(yàn)。
所以,用戶不往往不是因?yàn)?Agent 笨而離開(kāi),而是因?yàn)椋?/p>
體驗(yàn)不連續(xù):簡(jiǎn)單問(wèn)題能答,復(fù)雜問(wèn)題就崩。
信任感缺失:Agent 自信滿滿,但結(jié)果不對(duì)。
所以,決定 Agent 成敗的關(guān)鍵,不是準(zhǔn)確率,而是:它在復(fù)雜、不確定場(chǎng)景下的表現(xiàn)。
二、四個(gè)Agent產(chǎn)品決策層
我們可以把 Agent 架構(gòu)看成一個(gè)堆棧,每一層都是你必須做的產(chǎn)品決策。
圖片
第 1 層:上下文與記憶(Agent 記住什么?)
決策:你的 Agent 該記多少?記多久?
這里不僅是是一個(gè)技術(shù)上的存儲(chǔ)的問(wèn)題,還涉及到理解的幻覺(jué)問(wèn)題。記憶決定了 Agent 更像“機(jī)器人”還是“熟悉的同事”。
對(duì)于客服 Agent 而言,就需要判斷:
- 只存當(dāng)前對(duì)話,還是存用戶完整歷史?
 - 是否記錄用戶使用習(xí)慣?
 - 是否記下過(guò)往投訴?
 
因此,我們就需要管理這幾類記憶,比如:
- 會(huì)話記憶:只記當(dāng)前對(duì)話
 - 客戶記憶:跨會(huì)話的歷史交互
 - 行為記憶:使用模式(如常用移動(dòng)端)
 - 上下文記憶:賬號(hào)狀態(tài)、活躍訂閱、近期活動(dòng)
 
記得越多,越能預(yù)測(cè)需求,但也增加復(fù)雜性和成本。
第 2 層:數(shù)據(jù)與集成(接多深?)
決策:Agent 應(yīng)該接入哪些系統(tǒng)?有多大權(quán)限?
接得越深,越難被替代,也越容易出故障。
對(duì)于客服 Agent 的選擇如下:
- 只接 Stripe 的賬單系統(tǒng)?
 - 還是也接 Salesforce CRM、Zendesk 工單、用戶數(shù)據(jù)庫(kù)、審計(jì)日志?
 
第 3 層:技能與能力(你的差異化在哪?)
決策:Agent 應(yīng)該具備哪些技能?深度如何?
這里決定你能否建立用戶依賴。關(guān)鍵不是功能越多越好,而是選對(duì)能力。
客服 Agent 的決策思考如下:
- 只讀賬號(hào)信息?
 - 還是能修改賬單、重置密碼、變更套餐?
 
每多一個(gè)技能,價(jià)值提升,但復(fù)雜性與風(fēng)險(xiǎn)也上升。
圖片
實(shí)現(xiàn)提示:可以通過(guò) MCP 讓技能在不同 Agent 之間復(fù)用,而不是每次都重建。
第 4 層:評(píng)估與信任(用戶如何預(yù)期?)
決策:你如何衡量成功,并向用戶傳達(dá) Agent 的局限?
關(guān)鍵不是“更準(zhǔn)確”,而是更可信。
客服 Agent 的決策考量如下:
- 是否展示置信度?
 - 是否解釋推理過(guò)程?
 - 是否執(zhí)行前都二次確認(rèn)?
 
常見(jiàn)信任策略:
- 置信度提示:“我對(duì)賬號(hào)狀態(tài)很有把握,但賬單細(xì)節(jié)需要再確認(rèn)。”
 - 透明推理:“我發(fā)現(xiàn)兩次登錄失敗,付款方式也過(guò)期了?!?/li>
 - 優(yōu)雅邊界:“這個(gè)賬單問(wèn)題較復(fù)雜,我轉(zhuǎn)給擁有更多工具的專員?!?/li>
 - 確認(rèn)模式:什么時(shí)候直接執(zhí)行,什么時(shí)候征求許可
 
反直覺(jué)發(fā)現(xiàn):當(dāng) Agent 承認(rèn)不確定性 時(shí),用戶的信任度反而更高。
三、那么,Agent架構(gòu)該如何做?四種常見(jiàn)架構(gòu)模式
理解層次后,Agent 產(chǎn)品開(kāi)發(fā)面臨的核心問(wèn)題則是:
Agent 如何調(diào)用技能?技能如何訪問(wèn)數(shù)據(jù)?用戶等待時(shí)如何評(píng)估?
這就涉及到編排模式。不同模式?jīng)Q定了你的開(kāi)發(fā)體驗(yàn)、調(diào)試難度與迭代速度。
圖片
1. 單 Agent 架構(gòu)(入門)
一個(gè) Agent 包辦所有。
- 優(yōu)點(diǎn):簡(jiǎn)單易建、好調(diào)試、成本可控
 - 缺點(diǎn):復(fù)雜請(qǐng)求下容易昂貴,難以單獨(dú)優(yōu)化
 
大部分團(tuán)隊(duì)從這里起步,很多甚至無(wú)需升級(jí)。
2. 技能路由架構(gòu)(需要效率時(shí))
有一個(gè)路由器來(lái)分發(fā)任務(wù)給專門的技能。
- 優(yōu)點(diǎn):高效,可用便宜模型處理簡(jiǎn)單技能
 - 缺點(diǎn):技能間協(xié)調(diào)復(fù)雜,誰(shuí)來(lái)決定何時(shí)交接?
 
MCP 在這里大顯身手,標(biāo)準(zhǔn)化了技能暴露方式。
3. 工作流架構(gòu)(企業(yè)最愛(ài))
預(yù)定義流程,類似 LangGraph、CrewAI、AutoGen。
- 優(yōu)點(diǎn):可審計(jì),合規(guī)友好,步驟可優(yōu)化
 - 缺點(diǎn):邊緣情況卡死,用戶體驗(yàn)僵硬
 
4. 協(xié)作式架構(gòu)(未來(lái)方向)
多個(gè)專門 Agent 用 A2A 協(xié)議協(xié)作。
- 愿景:如 Booking.com 的 Agent 和 美國(guó)航空的 Agent 自動(dòng)對(duì)接解決跨系統(tǒng)問(wèn)題。
 - 現(xiàn)實(shí):安全、計(jì)費(fèi)、信任、可靠性問(wèn)題尚未解決。調(diào)試極其困難。
 
圖片
所以建議:如果大家正在學(xué)習(xí)開(kāi)發(fā) Agent,還是要從簡(jiǎn)單開(kāi)始。單 Agent 架構(gòu)能覆蓋大多數(shù)場(chǎng)景。只有遇到實(shí)際瓶頸再增加復(fù)雜度。
四、關(guān)于信任的最大誤區(qū)
但請(qǐng)記住:即使架構(gòu)完美,如果用戶不信任,Agent 依然會(huì)失敗。
用戶不會(huì)因?yàn)?Agent 永遠(yuǎn)正確而信任它,而是因?yàn)樗霸诜稿e(cuò)時(shí)還表現(xiàn)得那么理直氣壯”。
簡(jiǎn)單舉個(gè)例子更容易理解:
- bad 案例:Agent 自信滿滿地說(shuō)“我已重置密碼并更新賬單地址”,結(jié)果用戶仍然無(wú)法登錄 → 技術(shù)問(wèn)題變成了信任問(wèn)題。
 - good 案例:Agent 說(shuō)“我 80% 確信這樣能解決問(wèn)題,如果不行,我會(huì)立即轉(zhuǎn)人工?!?/li>
 
你看,雖然技術(shù)能力是一樣的,但體驗(yàn)會(huì)截然不同。要打造可信的 Agent,需關(guān)注三點(diǎn):
- 置信度校準(zhǔn):說(shuō) 60% 時(shí),就真的要做到 60%。
 - 推理透明:展示檢查過(guò)程與證據(jù)。
 - 優(yōu)雅交接:觸及邊界時(shí),順暢轉(zhuǎn)人工,并帶上完整上下文。
 
很多時(shí)候,用戶要的不是“更準(zhǔn)確”,而是“更透明”。
五、一個(gè)毫無(wú)AI感的AI客服做法
“我真的不理解,怎么有人會(huì)直接把一堆工具和數(shù)據(jù)源交給 AI,讓它們對(duì)客戶開(kāi)放使用。就用戶體驗(yàn)來(lái)說(shuō),這簡(jiǎn)直糟透了,有時(shí)候甚至比電話語(yǔ)音菜單還差。
”一位非常厲害的網(wǎng)友也分享了自己幫企業(yè)打造智能客服的經(jīng)驗(yàn)。“在我看來(lái),應(yīng)該慢慢、謹(jǐn)慎地過(guò)渡到 AI 優(yōu)先的客服方式!”
1.明確 AI 的能力范圍:只允許它解決那些高概率能搞定的問(wèn)題。提示語(yǔ)可以是:“你只能幫助處理以下問(wèn)題?!?/p>
2.立刻轉(zhuǎn)人工:如果超出范圍,就立即轉(zhuǎn)交人工,比如“如果你不能幫忙,立刻轉(zhuǎn)人工?!?/p>
3.“解鎖代理”機(jī)制:給客服人員配一個(gè) AI,他們可以用它來(lái)回答問(wèn)題,并評(píng)估效果,用這些反饋來(lái)推動(dòng)開(kāi)發(fā)路線。
4.逐步擴(kuò)展范圍:如果“解鎖代理”在某類問(wèn)題上表現(xiàn)不錯(cuò),就把它納入可處理范圍。
5.最后,還需要有一個(gè)方法,在你更新系統(tǒng)時(shí)能回放和測(cè)試歷史對(duì)話。(這在我的 TODO 清單里)
“我給一些小企業(yè)實(shí)現(xiàn)過(guò)這種流程,結(jié)果非常順暢,幾乎沒(méi)人察覺(jué)到背后有 AI。在某個(gè)客戶那里,甚至沒(méi)有顯式的“轉(zhuǎn)人工”步驟:客服人員直接在手機(jī)上收到提醒,接管對(duì)話。”
六、Agent 帶來(lái)新的崗位新變化
在 AI Agent 如火如荼的時(shí)代,許多原來(lái)的開(kāi)發(fā)思路、設(shè)計(jì)框架都產(chǎn)生了amazing 的變化。
最大的一個(gè)感受就是,我們以前單純圍繞用戶需求來(lái)做開(kāi)發(fā)、做產(chǎn)品的做法似乎已經(jīng)不太奏效,我們還需要面向 AI 或 Agent 的能力去逐步構(gòu)建和引導(dǎo)。
小編一直以為,AI 絕不會(huì)擠壓人類的工作空間。相反,它會(huì)創(chuàng)造出更多共走崗位新角色。根據(jù)小編之前的調(diào)查,以及跟多位在一線負(fù)責(zé) AI 產(chǎn)品開(kāi)發(fā)的大佬的采訪交流,總結(jié)至少會(huì)有以下幾個(gè)方向的進(jìn)化:
- 智能體體驗(yàn)設(shè)計(jì)師:設(shè)計(jì)人與 Agent 的交互模式,關(guān)注“提示語(yǔ)”“反饋機(jī)制”“上下文切換”的體驗(yàn)。(上下文工程就是其中一塊)
 - AI 能力編排師:不需要寫(xiě)底層代碼,但要理解如何調(diào)用不同智能體、工具與 API,編排成完整解決方案。(這一塊,小編了解到已經(jīng)有數(shù)家中大廠在如此做了。)
 - 價(jià)值驗(yàn)證者:用實(shí)驗(yàn)快速驗(yàn)證“AI 生成體驗(yàn)”是否真的為用戶帶來(lái)價(jià)值。(初創(chuàng)產(chǎn)品MVP打造)
 - 風(fēng)險(xiǎn)管控者:對(duì) AI 帶來(lái)的倫理、安全、合規(guī)風(fēng)險(xiǎn)提出產(chǎn)品層面的應(yīng)對(duì)措施。(各種對(duì)齊技巧等等)
 
話說(shuō)回來(lái),希望本文提供的Agent 決策框架,能幫助到大家!提前祝周末愉快~
參考鏈接:https://www.productcurious.com/p/a-pms-guide-to-ai-agent-architecture















 
 
 












 
 
 
 