如何衡量對(duì)話型人工智能聊天機(jī)器人的成功
譯文【51CTO.com快譯】組織應(yīng)該致力讓數(shù)據(jù)分析成為聊天機(jī)器人開(kāi)發(fā)過(guò)程的一部分,并根據(jù)用戶的需求改進(jìn)功能,特別是在醫(yī)療保健領(lǐng)域。
在去年,當(dāng)聊天機(jī)器人開(kāi)發(fā)商Quovantis Technologies公司在為一家醫(yī)療保健用戶構(gòu)建對(duì)話式人工智能聊天機(jī)器人時(shí),認(rèn)為難以滿足其用戶的需求。該公司通常開(kāi)發(fā)的是2級(jí)人工智能機(jī)器人(對(duì)話型人工智能最高為5級(jí))。但是這家用戶希望構(gòu)建一個(gè)場(chǎng)景/協(xié)商型人工智能驅(qū)動(dòng)的聊天機(jī)器人。
人們關(guān)心的是,聊天機(jī)器人如何理解最終用戶的問(wèn)題?可以構(gòu)建哪些功能來(lái)使其更加人性化?它能成功地取代人類的關(guān)懷和同情嗎?它會(huì)有同樣的同情和關(guān)心的情緒嗎?
即使Quovantis Technologies公司成功完成了所有工作,那么如何知道對(duì)話式人工智能聊天機(jī)器人是否按照設(shè)計(jì)的方式工作?如何定義計(jì)劃的“成功”?
當(dāng)《福布斯》雜志發(fā)布了一篇有關(guān)聊天機(jī)器人由于笨拙的對(duì)話和有限的學(xué)習(xí)能力而導(dǎo)致客戶體驗(yàn)不佳的文章時(shí),這種憂慮變成了現(xiàn)實(shí)。
Quovantis Technologies公司產(chǎn)品總監(jiān)Sumeet Mehta為此指出,“開(kāi)發(fā)的人工智能聊天機(jī)器人的功能并不能達(dá)到客戶要求,這讓人沮喪。在我使用Skyscanner聊天機(jī)器人時(shí),它經(jīng)常誤解我的請(qǐng)求。更讓人惱火的是,使用聊天機(jī)器人的客戶似乎對(duì)這個(gè)問(wèn)題不屑一顧。”
問(wèn)題出現(xiàn)在那些只看到數(shù)據(jù)分析在聊天機(jī)器人的重要性的組織或管理層身上。而如何了解用戶的行為,是什么讓客戶失望和高興,這些事項(xiàng)超出了他們的工作范圍。由于有了這種心態(tài),聊天機(jī)器人的開(kāi)發(fā)和應(yīng)用通常會(huì)面臨失敗的情況。
有沒(méi)有解決的辦法?
確實(shí)有解決辦法,因?yàn)槿祟悓⒄莆樟奶鞕C(jī)器人的未來(lái)。為了使聊天機(jī)器人對(duì)用戶更加友好,不僅需要使其軟件方面(工程設(shè)計(jì)、用戶體驗(yàn)、安全性等)更加強(qiáng)大,還應(yīng)該努力使數(shù)據(jù)分析成為開(kāi)發(fā)過(guò)程的一部分,即必須不斷監(jiān)控聊天機(jī)器人對(duì)話的有效性,并根據(jù)用戶的需求改進(jìn)功能。
如何衡量聊天機(jī)器人的效率?
構(gòu)建良好的對(duì)話型人工智能聊天機(jī)器人是一項(xiàng)艱巨的任務(wù)。即使在將其作為一項(xiàng)服務(wù)推出之后,也不能確定它是否成功。這就是衡量與最終用戶的每次交互是至關(guān)重要的原因。
有一些特定的指標(biāo)可以跟蹤,以查看聊天機(jī)器人是否獲得成功。為此需要提出以下問(wèn)題:
- 聊天機(jī)器人是否能夠處理用戶查詢,并給出滿意的答案?
- 聊天機(jī)器人是否能夠理解用戶的意圖?
- 與聊天機(jī)器人對(duì)話的平均會(huì)話時(shí)長(zhǎng)是多少?
- 用戶最常查詢的問(wèn)題是什么?
- 最常見(jiàn)的對(duì)話路徑是什么?
- 聊天機(jī)器人在每天/每周/每月中接收/發(fā)送多少條消息?
- 聊天機(jī)器人有多少次無(wú)法回答提出的問(wèn)題?
- 聊天機(jī)器人是否能夠成功將對(duì)話移交給人類?
- 聊天機(jī)器人是否檢測(cè)到用戶的高風(fēng)險(xiǎn)意圖?
- 聊天機(jī)器人在給定時(shí)間處理多少活躍用戶/經(jīng)常性用戶?
- 對(duì)聊天機(jī)器人的客戶評(píng)價(jià)是什么?
根據(jù)聊天機(jī)器人的類型,還可以定義許多其他指標(biāo)。
為了衡量這些指標(biāo),現(xiàn)在市場(chǎng)上推出幾種聊天機(jī)器人分析工具。以其中三個(gè)聊天機(jī)器人為例,它們都有一些優(yōu)點(diǎn)和缺點(diǎn)。
1.Botanalytics
如果組織正在尋找一種可以概述用戶生命周期的工具,那么Botanalytics非常適合。這是一個(gè)識(shí)別用戶從接觸產(chǎn)品到離開(kāi)產(chǎn)品整個(gè)過(guò)程的很好的工具??梢陨钊胙芯棵總€(gè)對(duì)話(每個(gè)對(duì)話都可以使用腳本),并查看聊天機(jī)器人未能響應(yīng)的地方。
組織可以設(shè)置各種目標(biāo),并將聊天分類為對(duì)話路徑。這是一項(xiàng)很好的功能,因?yàn)樗梢詭椭M織檢查哪些對(duì)話達(dá)到了目標(biāo),哪些沒(méi)有達(dá)到目標(biāo)。
例如,如果組織的目標(biāo)是讓用戶通過(guò)聊天中提供的鏈接下載其移動(dòng)應(yīng)用程序,則這個(gè)工具將向其顯示完成該目標(biāo)的會(huì)話數(shù)量。
組織還可以設(shè)置對(duì)話路徑,并檢查聊天機(jī)器人成功處理了多少對(duì)話。
2.Grafana
Grafana并不是聊天機(jī)器人分析工具。與其相反,它是一個(gè)開(kāi)放源代碼平臺(tái),可以用來(lái)監(jiān)視應(yīng)用程序、網(wǎng)站,甚至自定義數(shù)據(jù)源。用戶可以將其與聊天機(jī)器人平臺(tái)集成,將其作為聊天機(jī)器人分析工具。
使用Grafana的優(yōu)點(diǎn)之一是很容易進(jìn)行自定義,可以調(diào)整其儀表板以適應(yīng)其需求。
如果組織采用一個(gè)聊天機(jī)器人,其中有很多數(shù)據(jù)需要理解、分析和剖析,那么必須探索Grafana。并且它是高度可定制的免費(fèi)軟件。組織可以根據(jù)評(píng)估人員和利益相關(guān)者的需要?jiǎng)?chuàng)建儀表板、添加面板、更改可視化效果。
3.Chatbase
Chatbase是一個(gè)基于云計(jì)算的免費(fèi)工具,可讓組織將聊天機(jī)器人集成到分析平臺(tái)中。 Chatbase的最佳功能之一是可以幫助組織分析和優(yōu)化聊天機(jī)器人。
在分析功能方面,Chatbase具有組織可以想象到的所有的功能:會(huì)話流、創(chuàng)建漏斗、未處理消息的分組、聊天記錄等等。儀表板的用戶界面(UI)與Google Analytics非常相似。因此, Google Analytics用戶會(huì)發(fā)現(xiàn)它更容易使用。
在優(yōu)化部分,Chatbase通過(guò)跟蹤用戶的行為以及對(duì)用戶有效(或無(wú)效)的方式提供洞察力,以了解用戶。當(dāng)組織希望針對(duì)特定的受眾,并且希望根據(jù)分析工具的特定輸入改進(jìn)其消息和促銷時(shí),這尤其有用。
結(jié)論
在構(gòu)建聊天機(jī)器人時(shí),包括分析在內(nèi)的策略通常被忽略,而這被認(rèn)為是一種容易規(guī)避的額外責(zé)任。但是,衡量聊天機(jī)器人的性能指標(biāo)必須包含在開(kāi)發(fā)策略中,因?yàn)檫@是組織定義聊天機(jī)器人是否按其想象的那樣工作的唯一方法。
希望組織可以集成這些工具,并使用分析為最終用戶增強(qiáng)聊天機(jī)器人的體驗(yàn),并找到適合其需求的最佳工具。
原文標(biāo)題:How To Measure the Success of a Conversational AI Chatbot,作者:Sumeet Mehta
【51CTO譯稿,合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處為51CTO.com】






































