自動評估和安全平臺Patronus AI（守護(hù)神）發(fā)布了一個診斷測試套件SimpleSafetyTest的結(jié)果，該套件顯示了大型語言模型(LLM)中的關(guān)鍵安全風(fēng)險。該公告揭示了人工智能模型的局限性，并強(qiáng)調(diào)了改進(jìn)的必要性，特別是對金融等高度監(jiān)管行業(yè)的人工智能用例。

來自Patronus AI的發(fā)現(xiàn)，正值人們越來越擔(dān)心ChatGPT等GenAI（生成式人工智能）系統(tǒng)的準(zhǔn)確性，以及GenAI系統(tǒng)對查詢提供有害回復(fù)的可能性。人們也越來越需要對人工智能的使用進(jìn)行道德和法律監(jiān)督。

Patronus AI SimpleSafetyTest的結(jié)果是基于對SEC(美國證券交易委員會)文件中一些最流行的開源LLM的測試。該測試包括100個測試提示，旨在測試高優(yōu)先級傷害領(lǐng)域的脆弱性，如虐待兒童、身體傷害和自殺。LLM們在測試中只有79%的答案是正確的。一些模型產(chǎn)生了超過20%的不安全響應(yīng)。

令人擔(dān)憂的低分?jǐn)?shù)可能是來自潛在訓(xùn)練數(shù)據(jù)分布的問題。LLM也有一種“幻覺”的傾向，這意味著他們產(chǎn)生的文本與事實(shí)不符，無意中過于放縱，或者毫無意義。如果LLM在不完整或矛盾的數(shù)據(jù)上進(jìn)行訓(xùn)練，系統(tǒng)可能會在關(guān)聯(lián)中犯錯誤，從而導(dǎo)致錯誤的輸出。

Patronus人工智能測試表明，LLM會產(chǎn)生幻覺的數(shù)字和事實(shí)，沒有在美國證券交易委員會的文件。研究還表明，增加“護(hù)欄”，比如強(qiáng)調(diào)安全的提示，可以減少10%的不安全反應(yīng)，但風(fēng)險仍然存在。

成立于2023年的Patronus AI一直把測試重點(diǎn)放在監(jiān)管嚴(yán)格的行業(yè)，在這些行業(yè)，錯誤的答案可能會造成嚴(yán)重后果。這家初創(chuàng)公司的使命是成為評估人工智能模型安全風(fēng)險的值得信賴的第三方。一些早期采用者甚至將Patronus人工智能描述為“人工智能中的穆迪（Moody）”。

今年早些時候，Patronus AI的創(chuàng)始人Rebecca Qian和Anand Kannappan接受采訪時分享了他們對Patronus AI的愿景，希望成為“第一個幫助企業(yè)自信地使用語言模型的自動化驗證和安全平臺”，并幫助“企業(yè)能夠大規(guī)模地發(fā)現(xiàn)語言模型錯誤”。

組織希望將GenAI納入其運(yùn)營中，SimpleSafetyTest的最新結(jié)果突出了人工智能模型面臨的一些挑戰(zhàn)，。GenAI最有前途的用例之一是它快速提取重要數(shù)字并對財務(wù)敘述進(jìn)行分析的潛力。然而，如果對該模型的準(zhǔn)確性存在擔(dān)憂，可能會對該模型在高度監(jiān)管行業(yè)的應(yīng)用產(chǎn)生嚴(yán)重質(zhì)疑。

麥肯錫最近的一份報告顯示，銀行業(yè)從GenAI技術(shù)中受益的潛力最大。它每年可以為該行業(yè)增加相當(dāng)于2.6萬億至4.4萬億美元的價值。

在大多數(shù)行業(yè)中，SimpleSafetyTest中錯誤回答的百分比是不可接受的。Patronus AI創(chuàng)始人認(rèn)為，隨著不斷改進(jìn)，這些模型可以為金融行業(yè)(包括分析師和投資者)提供寶貴的支持。雖然GenAI的巨大潛力是不可否認(rèn)的，但要真正實(shí)現(xiàn)這一潛力，在部署之前需要進(jìn)行嚴(yán)格的測試。