AI服務(wù)編排框架為企業(yè)提供了多種功能，它們不僅規(guī)定了應(yīng)用程序或智能體如何協(xié)同工作，還使管理員能夠管理工作流程和智能體，并審計其系統(tǒng)。

隨著企業(yè)開始擴大其AI服務(wù)的規(guī)模并將其投入生產(chǎn)，構(gòu)建一個可管理、可追蹤、可審計且健壯的流程管道能夠確保其智能體按預(yù)期運行。如果沒有這些控制措施，企業(yè)可能無法意識到其AI系統(tǒng)中正在發(fā)生什么，可能只有在出現(xiàn)問題或未能遵守法規(guī)時才發(fā)現(xiàn)問題，而那時可能為時已晚。

企業(yè)編排公司Airia的總裁Kevin Kiley在接受采訪時表示，框架必須包括可審計性和可追蹤性。

“具備這種可觀察性(observability)并能夠回溯審計日志(audit log)，顯示在何時提供了什么信息，這一點至關(guān)重要，”Kiley說，“你必須知道是惡意行為者、內(nèi)部員工在無意中分享了信息，還是系統(tǒng)出現(xiàn)了幻覺(hallucination)，你需要一份記錄?！?/p>

理想情況下，健壯性和審計追蹤(audit trails)應(yīng)在AI系統(tǒng)的早期階段就融入其中。了解新AI應(yīng)用或代理的潛在風險，并確保它們在部署前繼續(xù)符合標準，這將有助于緩解人們對將AI投入生產(chǎn)的擔憂。

然而，企業(yè)最初設(shè)計其系統(tǒng)時并未考慮可追蹤性和可審計性，許多AI試點項目最初是作為實驗開始的，沒有編排層或?qū)徲嬜粉櫋?/p>

企業(yè)現(xiàn)在面臨的最大問題是如何管理所有代理和應(yīng)用，確保其流程管道保持健壯，并在出現(xiàn)問題時能夠知道問題所在并監(jiān)控AI性能。

選擇正確的方法

不過，專家表示，在構(gòu)建任何AI應(yīng)用之前，企業(yè)需要盤點其數(shù)據(jù)。如果一家公司知道哪些數(shù)據(jù)可以讓AI系統(tǒng)訪問，以及哪些數(shù)據(jù)用于微調(diào)模型，那么他們就有了比較長期性能的基準。

“當你運行某些AI系統(tǒng)時，更重要的是，我能驗證我的系統(tǒng)實際上是否在正常運行，使用哪種數(shù)據(jù)?”DataDog產(chǎn)品副總裁Yrieix Garnier在接受采訪時表示，“要真正做到這一點，理解我擁有正確的參考系統(tǒng)來驗證AI解決方案是非常困難的?！?/p>

一旦企業(yè)識別并定位了其數(shù)據(jù)，就需要建立數(shù)據(jù)集版本控制(dataset versioning)——本質(zhì)上是為數(shù)據(jù)集分配時間戳或版本號——以使實驗可重復，并理解模型發(fā)生了什么變化，這些數(shù)據(jù)集和模型、任何使用這些特定模型或代理的應(yīng)用、授權(quán)用戶以及基準運行時間數(shù)字都可以加載到編排或可觀察性平臺中。

就像在選擇基礎(chǔ)模型(foundation models)進行構(gòu)建時一樣，編排團隊需要考慮透明度和開放性。雖然一些閉源編排系統(tǒng)具有眾多優(yōu)勢，但更多的開源平臺也可能為企業(yè)提供所重視的好處，例如增加對決策系統(tǒng)的可見性。

開源平臺如MLFlow、LangChain和Grafana為代理和模型提供了細致且靈活的指令和監(jiān)控。企業(yè)可以選擇通過一個單一的、端到端的平臺(如DataDog)來開發(fā)其AI流程管道，或利用AWS的各種互連工具。

企業(yè)考慮的另一個方面是接入一個系統(tǒng)，該系統(tǒng)能夠?qū)⒋砗蛻?yīng)用響應(yīng)映射到合規(guī)工具或負責任的AI政策上。AWS和Microsoft都提供了跟蹤AI工具以及它們?nèi)绾尉o密遵守用戶設(shè)定的護欄(guardrails)和其他政策的服務(wù)。

Kiley表示，企業(yè)在構(gòu)建這些可靠流程管道時需要考慮的一個方面是選擇一個更透明的系統(tǒng)。對于Kiley來說，無法看到AI系統(tǒng)如何工作是不可行的。

“無論使用案例是什么，甚至無論行業(yè)是什么，你都會遇到需要靈活性的情況，而一個封閉的系統(tǒng)將無法滿足需求。有些提供商擁有很棒的工具，但它們就像是一個黑箱，我不知道它是如何得出這些決定的，我也沒有能力在我可能想要干預(yù)或介入的點上進行操作?！彼f。