保護(hù)AI堆棧中的數(shù)據(jù)意味著了解數(shù)據(jù)流向何處以及防止濫用。

譯自Who’s Responsible When AI Agents Go Rogue?，作者 Vrajesh Bhavsar。

無論您身處科技界還是與家人共進(jìn)晚餐，如今都無法逃脫AI的影響。我們許多人都經(jīng)歷了AI發(fā)展的幾個(gè)周期，每一個(gè)新的增長階段都會(huì)引發(fā)許多關(guān)于我們?nèi)绾巫叩竭@里以及我們將走向何方的疑問。幾年前，在ARM構(gòu)建機(jī)器學(xué)習(xí)產(chǎn)品時(shí)，我們也面臨著許多這樣的問題，創(chuàng)新和AI的獨(dú)立性是緊密交織的概念這一點(diǎn)非常清楚。

快進(jìn)到今天的AI時(shí)代，雖然我們還沒有被天網(wǎng)接管，但人們、企業(yè)和社會(huì)越來越擔(dān)心最新階段的廣泛生成式AI應(yīng)用帶來的新的攻擊面。無論您是擔(dān)心深度偽造驅(qū)動(dòng)的社會(huì)工程攻擊、AI驅(qū)動(dòng)的網(wǎng)絡(luò)釣魚攻擊還是提示注入攻擊，都有充分的理由擔(dān)心AI應(yīng)用堆棧中潛伏的新風(fēng)險(xiǎn)；畢竟，AI并非存在于真空中——它集成在應(yīng)用堆棧的每個(gè)層級的核心，處理海量數(shù)據(jù)，包括高度敏感的數(shù)據(jù)，并與各種第三方交換這些數(shù)據(jù)，無論是OpenAI這樣的AI API還是來自Hugging Face的內(nèi)部模型。

盡管AI有缺陷，但不可否認(rèn)的是，它在生產(chǎn)力和創(chuàng)新方面具有巨大的潛力。雖然并不完美，但AI代理即將變得更加普遍。根據(jù)Capgemini的一項(xiàng)調(diào)查，82%的科技高管“打算在未來三年內(nèi)在其組織中整合基于AI的代理——高于目前擁有功能性代理的10%”。

隨著AI代理的日益普及，在其使用它們的重點(diǎn)行業(yè)中，潛在的危險(xiǎn)也在增加。鑒于此，C級高管面臨著一個(gè)關(guān)鍵問題：當(dāng)AI失控時(shí)，誰來負(fù)責(zé)？

AI的激增正在擾亂現(xiàn)代企業(yè)的組織結(jié)構(gòu)。Pearl Meyer的一份報(bào)告顯示，30%的公司選擇將AI相關(guān)的責(zé)任納入現(xiàn)有的高管角色。與此同時(shí)，“32%的公司正在采取去中心化的AI監(jiān)督方法，并期望AI工作由多個(gè)職能部門的各種領(lǐng)導(dǎo)者負(fù)責(zé)”。

在當(dāng)今大多數(shù)組織中，CISO、CIO和CTO承擔(dān)著AI行為和安全的主要責(zé)任。這可能會(huì)在不同的領(lǐng)導(dǎo)角色之間造成緊張關(guān)系，因?yàn)镃ISO無法控制AI系統(tǒng)，但他們卻負(fù)責(zé)維護(hù)安全。

由于AI是共享責(zé)任，組織必須采用能夠明確定義問責(zé)制并彌合不同領(lǐng)導(dǎo)領(lǐng)域之間差距的策略和工具。

為AI的“黑箱”帶來透明度

透明度是實(shí)現(xiàn)問責(zé)制的重要第一步。作為一名工程師，當(dāng)我解構(gòu)系統(tǒng)的工作原理時(shí)，我天生就感到快樂。在操作系統(tǒng)和加密領(lǐng)域之間架起橋梁，我了解了如何在這些復(fù)雜的軟件系統(tǒng)之間建立透明度和信任。

但這對于那些在AI開發(fā)前沿的人來說并非易事。傳統(tǒng)的軟件工程傾向于依賴于可以編寫和審核的預(yù)定義規(guī)則的確定性系統(tǒng)。相比之下，現(xiàn)代概率生成式AI系統(tǒng)根據(jù)其對可能性的復(fù)雜和多維計(jì)算做出（通常是不可預(yù)測的）預(yù)測。概率系統(tǒng)，就其本質(zhì)而言，是不透明的。

因此，如果AI代理失控并且無法解釋其決策，那么確定出了什么問題可能具有挑戰(zhàn)性（如果不是不可能的話）。那么，負(fù)責(zé)AI系統(tǒng)的領(lǐng)導(dǎo)者如何在這樣一個(gè)不完美的世界中獲得盡可能多的透明度和控制權(quán)呢？AI 的好壞取決于驅(qū)動(dòng)它的數(shù)據(jù)——正如諺語所說，“垃圾進(jìn)，垃圾出”——因此，清晰記錄哪些訓(xùn)練數(shù)據(jù)正在為模型提供支持至關(guān)重要。盡可能頻繁地擦除和刪除可能有意或無意地被納入其建模中的私人信息，也至關(guān)重要。

當(dāng)通過 AI API 部署 AI 時(shí)，團(tuán)隊(duì)必須完整了解其數(shù)據(jù)和應(yīng)用程序行為如何與外部實(shí)體（例如 Open AI）交互。他們需要了解哪些數(shù)據(jù)預(yù)期會(huì)流經(jīng)模型（以及哪些數(shù)據(jù)不會(huì)），并實(shí)時(shí)訪問其 AI 代理的運(yùn)行方式，以便能夠立即捕獲和阻止意外行為，防止它們竊取數(shù)據(jù)或使整個(gè)系統(tǒng)癱瘓。

利用技術(shù)增強(qiáng)人工監(jiān)督

一些人認(rèn)為，人類需要與 AI 交互才能使其保持問責(zé)制，但我們?nèi)绾尾拍鼙苊馊斯けO(jiān)督成為創(chuàng)新的障礙呢？

設(shè)計(jì) AI 與人類專家互動(dòng)以增強(qiáng)其能力而不是取代他們是一個(gè)良好的開端。然后，團(tuán)隊(duì)必須利用技術(shù)主動(dòng)限制對 AI 代理的訪問，以減少或消除惡意破壞的后果。

就像我們在網(wǎng)絡(luò)安全環(huán)境中強(qiáng)制執(zhí)行零信任一樣，訪問控制和權(quán)限是根據(jù)安全的“最小權(quán)限”模型分配給特定個(gè)人的，同樣也應(yīng)該將“最小權(quán)限”邏輯應(yīng)用于 AI 代理。這樣，AI 代理的任務(wù)就可以被限制，攻擊面也將減小。同時(shí)，在關(guān)鍵時(shí)刻進(jìn)行人工監(jiān)督為最終負(fù)責(zé)其行為的團(tuán)隊(duì)和領(lǐng)導(dǎo)者提供了至關(guān)重要的透明度和控制。

AI 革命正在蓬勃發(fā)展，但我們?nèi)蕴幱谄鸩诫A段。組織必須確定誰應(yīng)對 AI 的行為負(fù)責(zé)，這可能意味著彌合 CISO、CIO 和 CTO 之間的差距，或聘用一位完全專注于 AI 的高管。通過建立問責(zé)制，提高透明度，并利用技術(shù)增強(qiáng)人工監(jiān)督，公司將能夠很好地利用 AI 的優(yōu)勢，安全可靠地推動(dòng)創(chuàng)新。