你如何在智能體系統(tǒng)中平衡風(fēng)險(xiǎn)管理與安全性和創(chuàng)新性?又如何應(yīng)對數(shù)據(jù)和模型選擇方面的核心考量?在VB Transform會議上，第一資本銀行AI基礎(chǔ)部門的技術(shù)高級副總裁Milind Naphade分享了從實(shí)際實(shí)驗(yàn)和應(yīng)用程序中得出的部署和擴(kuò)展智能體工作流程的最佳實(shí)踐和經(jīng)驗(yàn)教訓(xùn)。

第一資本銀行致力于站在新興技術(shù)的前沿，最近推出了一款生產(chǎn)級的、最先進(jìn)的多自主式AI系統(tǒng)，以提升購車體驗(yàn)。在這個(gè)系統(tǒng)中，多個(gè)智能體協(xié)同工作，不僅為購車者提供信息，還能根據(jù)客戶的偏好和需求采取具體行動。例如，一個(gè)智能體與客戶溝通，另一個(gè)根據(jù)業(yè)務(wù)規(guī)則和可用工具制定行動計(jì)劃，第三個(gè)智能體評估前兩個(gè)智能體的準(zhǔn)確性，第四個(gè)智能體則向用戶解釋并驗(yàn)證行動計(jì)劃。鑒于有超過1億客戶使用第一資本銀行的其他各種潛在應(yīng)用場景，該智能體系統(tǒng)旨在應(yīng)對大規(guī)模和復(fù)雜的挑戰(zhàn)。

“當(dāng)我們考慮如何改善客戶體驗(yàn)、讓客戶滿意時(shí)，我們會思考，有哪些方法可以實(shí)現(xiàn)這一點(diǎn)?”Naphade說，“無論是開戶、查詢余額還是預(yù)約試駕車輛，客戶都有很多想做的事情。歸根結(jié)底，非常簡單，就是如何理解客戶的需求?如何了解你可用的滿足機(jī)制?如何將第一資本銀行這樣的受監(jiān)管機(jī)構(gòu)的所有嚴(yán)格規(guī)定、所有政策、所有業(yè)務(wù)規(guī)則、所有約束(無論是監(jiān)管方面的還是其他方面的)都考慮在內(nèi)?”

他說，自主式AI顯然是內(nèi)部和面向客戶用例的下一步。

設(shè)計(jì)智能體工作流程

金融機(jī)構(gòu)在設(shè)計(jì)支持客戶旅程的任何工作流程時(shí)都有特別嚴(yán)格的要求，第一資本銀行的應(yīng)用程序包括許多復(fù)雜流程，因?yàn)榭蛻魰脤υ捁ぞ咛岢鰡栴}并查詢信息，這兩個(gè)因素使得設(shè)計(jì)過程尤為復(fù)雜，需要對整個(gè)旅程進(jìn)行全面審視，包括客戶和人類客服在每一步的反應(yīng)、回應(yīng)和推理。

“當(dāng)我們觀察人類如何進(jìn)行推理時(shí)，我們注意到幾個(gè)顯著的事實(shí)，”Naphade說，“我們發(fā)現(xiàn)，如果我們使用多個(gè)邏輯智能體來設(shè)計(jì)，就能很好地模仿人類推理，但接著你會問自己，不同的智能體具體做什么?為什么是四個(gè)?為什么不是三個(gè)?為什么不是20個(gè)?”

他們研究了歷史數(shù)據(jù)中的客戶體驗(yàn)：哪些對話進(jìn)行得順利，哪些出了問題，對話應(yīng)該持續(xù)多久以及其他顯著事實(shí)。他們了解到，通常需要與智能體進(jìn)行多輪對話才能理解客戶的需求，而且任何智能體工作流程都需要為此做好規(guī)劃，同時(shí)還要完全基于組織的系統(tǒng)、可用工具、API和組織政策指導(dǎo)原則。

“對我們來說，主要的突破是意識到這必須是動態(tài)和迭代的，”Naphade說，“如果你看看很多人如何使用大語言模型(LLM)，他們只是將LLM作為之前存在機(jī)制的前端，他們只是用LLM進(jìn)行意圖分類，但我們從一開始就意識到，那不可擴(kuò)展?！?/p>

借鑒現(xiàn)有工作流程

基于他們對人類客服如何回應(yīng)客戶推理的直覺，第一資本銀行的研究人員開發(fā)了一個(gè)框架，其中一組具有不同專業(yè)知識的專家AI智能體共同解決問題。

此外，第一資本銀行在開發(fā)智能體系統(tǒng)時(shí)融入了強(qiáng)大的風(fēng)險(xiǎn)框架，作為一家受監(jiān)管的機(jī)構(gòu)，Naphade指出，除了其一系列內(nèi)部風(fēng)險(xiǎn)緩解協(xié)議和框架外，“在第一資本銀行內(nèi)部，為了管理風(fēng)險(xiǎn)，還有其他獨(dú)立實(shí)體觀察我們、評估我們、質(zhì)疑我們、審計(jì)我們，”Naphade說，“我們認(rèn)為，擁有一個(gè)專門評估前兩個(gè)智能體行為的智能體是個(gè)好主意，這個(gè)智能體的職責(zé)完全基于第一資本銀行的政策和規(guī)則?！?/p>

評估者確定先前的智能體是否成功，如果沒有，則拒絕該計(jì)劃并要求規(guī)劃智能體根據(jù)其判斷的問題所在進(jìn)行糾正，這一過程以迭代方式進(jìn)行，直到達(dá)到適當(dāng)?shù)挠?jì)劃。事實(shí)證明，這對公司的自主式AI方法大有裨益。

“評估智能體是我們引入世界模型的地方，那是我們模擬如果一系列行動實(shí)際執(zhí)行會發(fā)生什么的地方，因?yàn)槲覀兪且患沂鼙O(jiān)管的企業(yè)，所以我們需要這種嚴(yán)格性——我認(rèn)為這實(shí)際上使我們走上了可持續(xù)且強(qiáng)大的發(fā)展軌跡，我預(yù)計(jì)很多企業(yè)最終都會走到這一步?！?/p>

自主式AI的技術(shù)挑戰(zhàn)

智能體系統(tǒng)需要與整個(gè)組織的履行系統(tǒng)協(xié)作，且都具有各種權(quán)限，在各種上下文中調(diào)用工具和API，同時(shí)保持高準(zhǔn)確性也是一項(xiàng)挑戰(zhàn)——從消除用戶意圖的歧義到生成并執(zhí)行可靠的計(jì)劃。

“我們進(jìn)行了多次迭代實(shí)驗(yàn)、測試、評估、人工干預(yù)，所有這些正確的指導(dǎo)原則都需要在我們實(shí)際推出這樣的產(chǎn)品之前完成，”Naphade說，“但最大的挑戰(zhàn)之一是我們沒有任何先例，我們無法說，哦，別人是這樣做的，那效果如何?這里有新穎性的元素，我們是第一次這樣做?！?/p>

模型選擇以及與英偉達(dá)的合作

在模型方面，第一資本銀行密切關(guān)注學(xué)術(shù)和行業(yè)研究，在會議上發(fā)表演講并緊跟最新動態(tài)。在目前的應(yīng)用案例中，他們使用了開放權(quán)重模型，而非封閉模型，因?yàn)檫@允許他們進(jìn)行大量定制。Naphade斷言，這對他們來說至關(guān)重要，因?yàn)锳I戰(zhàn)略中的競爭優(yōu)勢依賴于專有數(shù)據(jù)。

在技術(shù)棧本身，他們使用了包括內(nèi)部技術(shù)、開源工具鏈和英偉達(dá)推理?xiàng)Ｔ趦?nèi)的組合工具。與英偉達(dá)的緊密合作幫助第一資本銀行獲得了所需的性能，并在英偉達(dá)的庫中合作開發(fā)了行業(yè)特定機(jī)會，同時(shí)為Triton服務(wù)器和他們的TensoRT LLM優(yōu)先安排了功能。

自主式AI：展望未來

第一資本銀行繼續(xù)在其業(yè)務(wù)中部署、擴(kuò)展和優(yōu)化AI智能體，他們的第一個(gè)多智能體工作流程是Chat Concierge，通過公司的汽車業(yè)務(wù)部署，它旨在為汽車經(jīng)銷商和客戶提供購車過程支持。借助豐富的客戶數(shù)據(jù)，經(jīng)銷商正在識別出有誠意的潛在客戶，這顯著改善了他們的客戶參與度指標(biāo)——在某些情況下提高了55%。

“他們能夠通過這個(gè)自然、便捷、全天候工作的智能體生成更多有誠意的潛在客戶，”Naphade說，“我們希望將這種能力帶到更多面向客戶的互動中，但我們希望以一種管理良好的方式進(jìn)行，這是一段旅程。”