企業(yè)渴望部署生成式人工智能（GenAI）應(yīng)用程序，但對(duì)有毒內(nèi)容、敏感數(shù)據(jù)泄露和幻覺(jué)的擔(dān)憂讓他們猶豫不決。一個(gè)潛在的解決方案是在GenAI應(yīng)用程序旁邊部署“守衛(wèi)模型”（guard models），可以立即檢測(cè)和防止這種風(fēng)險(xiǎn)行為。這就是Datarobot所支持的方法，該公司近期在其人工智能（AI）平臺(tái)上添加了新的人工智能可觀察性功能，旨在防止大型語(yǔ)言模型(LLM)失控。

除了少數(shù)預(yù)先配置的守衛(wèi)模型外，Datarobot AI平臺(tái)設(shè)置了新的警報(bào)和通知策略，可視化解決問(wèn)題和回溯答案的新方法，以及檢查數(shù)據(jù)質(zhì)量和主題漂移的新診斷能力，以及其他功能。

Datarobot首席技術(shù)官M(fèi)ichael Schmidt表示，這一切都是為了減輕客戶對(duì)GenAI和LLM的擔(dān)憂。

“到目前為止，我們從客戶那里聽(tīng)到的最多的事情就是信心問(wèn)題?！盨chmidt說(shuō)?！八麄冎械脑S多人都在構(gòu)建生成式人工智能系統(tǒng)和聊天機(jī)器人，但實(shí)際上他們對(duì)將它們投入生產(chǎn)感到擔(dān)心，因?yàn)樗麄儾恢浪鼈儠?huì)如何表現(xiàn)?！?/span>

網(wǎng)絡(luò)上到處都是聊天機(jī)器人的事故。2023年初，微軟基于OpenAI ChatGPT的必應(yīng)聊天模式威脅要破壞一名記者的婚姻，將這名記者比作希特勒，并幻想發(fā)布核密碼。

除了擔(dān)心聊天機(jī)器人會(huì)噴出有毒物質(zhì)外，LLM還有一個(gè)持續(xù)存在的幻覺(jué)問(wèn)題。LLM總是會(huì)編造一些東西，因?yàn)樗鼈兊脑O(shè)計(jì)方式不同，所以需要第三方介入并檢測(cè)幻覺(jué)。此外，還有個(gè)人身份信息(PII)可能從LLM泄露的影響，更不用說(shuō)人們與LLM共享PII了。

Datarobot擁有多年幫助公司構(gòu)建、訓(xùn)練、部署和管理機(jī)器學(xué)習(xí)模型的經(jīng)驗(yàn)。多年來(lái)，它一直處于預(yù)測(cè)分析領(lǐng)域前沿。當(dāng)GenAI風(fēng)潮來(lái)臨時(shí)，該公司迅速將其業(yè)務(wù)重心轉(zhuǎn)向處理新的語(yǔ)言模型，這些模型已被證明是如此有前途，但也令人煩惱。

“信心問(wèn)題是我們的首要關(guān)注點(diǎn)?！盨chmidt繼續(xù)說(shuō)道?！叭フ掖蠊菊?wù)劇Ｊ鞘裁醋柚顾麄儗⒏嗟腉enAI應(yīng)用程序投入生產(chǎn)?你會(huì)得到一些與“我不喜歡它的質(zhì)量”或“我們需要提高它的質(zhì)量”或“我不相信它”或“我不知道它在不同情況下的表現(xiàn)如何”……”

Datarobot在其平臺(tái)中引入的新防護(hù)模型為客戶提供了一種解決一些最緊迫問(wèn)題的方法。憑借其生成式人工智能防護(hù)庫(kù)，該公司現(xiàn)在提供預(yù)先構(gòu)建的守衛(wèi)模型，可以及時(shí)檢測(cè)毒性，可以檢測(cè)PII，還可以減輕幻覺(jué)?？蛻粢部梢越⒆约旱氖匦l(wèi)模型。

一些預(yù)配置的守衛(wèi)模型會(huì)持續(xù)掃描用戶輸入，以防止PII被發(fā)送到LLM。其他模型可以防止LLM的不適當(dāng)輸出到達(dá)最終用戶面前，包括有毒內(nèi)容，甚至與競(jìng)爭(zhēng)對(duì)手進(jìn)行比較。Schmidt表示，當(dāng)與Datarobot AI平臺(tái)的其他新功能一起部署時(shí)，這些模型可以作為L(zhǎng)LM和整個(gè)GenAI應(yīng)用程序的端到端護(hù)欄。

他說(shuō):“我們還增加了一項(xiàng)能力，不僅可以對(duì)單一模型和管道進(jìn)行測(cè)量和評(píng)估，還可以對(duì)組合在一起的護(hù)欄進(jìn)行評(píng)估。”

Datarobot還可以生成測(cè)試腳本和測(cè)試提示，以確定LLM是否正常工作。如果客戶使用矢量數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)在推理時(shí)輸入LLM的數(shù)據(jù)，Datarobot也可以使用它。

這個(gè)版本還帶來(lái)了新的反饋機(jī)制，允許組織改進(jìn)他們的GenAI應(yīng)用程序。如果對(duì)GenAI模型的更改為客戶帶來(lái)了負(fù)面體驗(yàn)，則會(huì)報(bào)告該反饋。然后，該平臺(tái)可以預(yù)測(cè)其他類(lèi)似的變化何時(shí)會(huì)產(chǎn)生相同類(lèi)型的負(fù)面結(jié)果。

Schmidt說(shuō)，這是Datarobot在跟蹤模型性能方面的傳統(tǒng)之一。

“你的模特表現(xiàn)如何？你現(xiàn)在可以用它來(lái)評(píng)估你的人工智能系統(tǒng)?！彼f(shuō)，“因此，如果現(xiàn)在對(duì)提示進(jìn)行編輯，可以立即看到該提示的接受率，估計(jì)接受率度量或估計(jì)反饋度量?；蛘吣憧赡芨铝耸噶繑?shù)據(jù)庫(kù)，或者你換成了Llama 3，換成了GPT 3.5，或者你做了一些類(lèi)似的切換，現(xiàn)在你都可以實(shí)際測(cè)量效果是什么?！?/span>

雖然經(jīng)典的機(jī)器學(xué)習(xí)方法和預(yù)測(cè)性人工智能仍然是Datarobot的重要應(yīng)用領(lǐng)域，但大多數(shù)新前景都在尋求實(shí)現(xiàn)LLM和構(gòu)建GenAI應(yīng)用程序。Schmidt表示，Datarobot能夠在很大程度上利用其為預(yù)測(cè)性人工智能構(gòu)建的平臺(tái)，用于新的GenAI用例。