在采訪中，普華永道美國公司網(wǎng)絡(luò)、數(shù)據(jù)和技術(shù)風(fēng)險業(yè)務(wù)主管羅漢·森(Rohan Sen)探討了企業(yè)如何從設(shè)計之初就為自主式AI構(gòu)建完善的治理體系。隨著AI日益融入商業(yè)生態(tài)系統(tǒng)，忽視智能體的安全性可能引發(fā)聲譽、運營和合規(guī)風(fēng)險。

在設(shè)計自主式智能體時，從一開始就必須納入哪些最關(guān)鍵的治理和風(fēng)險控制機制?你能否舉例說明，在實踐中的良好實施與薄弱實施分別是什么樣的?

最關(guān)鍵的一步是將自主式智能體視為具有現(xiàn)實影響的數(shù)字身份，要求其接受與人類用戶同等水平的治理，這包括從一開始就實施最小權(quán)限訪問原則、分配唯一憑證，并記錄所有操作以確保完全可審計性。

完善的實施體系會構(gòu)建分層防護機制：嚴(yán)格限定權(quán)限范圍、設(shè)置沙盒環(huán)境、明確嚴(yán)格的升級路徑，并進行實時監(jiān)控，這些控制措施使企業(yè)能夠根據(jù)需要監(jiān)督、限制和回滾智能體的活動。

薄弱的實施體系則將智能體視為簡單的自動化工具，賦予其廣泛權(quán)限，卻缺乏所有權(quán)或監(jiān)督機制。由于沒有輸入驗證或使用控制，智能體容易受到提示注入和對抗性操縱的影響，從而成為安全盲點。

歸根結(jié)底，區(qū)別在于企業(yè)對智能體的身份、權(quán)限和風(fēng)險重視程度。治理良好的智能體會受到監(jiān)督和限制，而治理不善的智能體則可能引發(fā)事故。

從你的角度來看，在未來12至24個月內(nèi)，治理不善的自主式智能體最有可能引發(fā)哪些運營或聲譽風(fēng)險?

在未來12至24個月內(nèi)，自主式智能體最直接的風(fēng)險包括：

? 冒名頂替和品牌受損：惡意行為者可以利用未受保護的智能體冒充高管、員工或客服，從而導(dǎo)致網(wǎng)絡(luò)釣魚、欺詐和聲譽受損。

? 非預(yù)期業(yè)務(wù)行為：擁有財務(wù)工作流程、供應(yīng)商系統(tǒng)或敏感數(shù)據(jù)控制權(quán)的過度授權(quán)智能體，可能會在無人監(jiān)督的情況下發(fā)起不可逆轉(zhuǎn)的操作，一個不良輸出就可能引發(fā)嚴(yán)重后果。

? 監(jiān)管和合規(guī)風(fēng)險：處理個人或敏感數(shù)據(jù)的智能體可能會無意中違反隱私或披露規(guī)定。許多智能體缺乏內(nèi)置的可解釋性，導(dǎo)致難以證明合規(guī)性或調(diào)查有害結(jié)果，這一漏洞增加了審計、罰款或法律訴訟的風(fēng)險。

? 事件響應(yīng)不足：許多企業(yè)不具備實時檢測、隔離或修復(fù)行為異常智能體的能力。如果沒有專門的框架和遏制工具，響應(yīng)工作可能過于遲緩，無法防止損害發(fā)生。

為增強AI生態(tài)系統(tǒng)的韌性，企業(yè)和IT安全領(lǐng)導(dǎo)者今天應(yīng)采取哪些具體措施，特別是針對那些做出決策或采取自主行動的智能體?

企業(yè)和IT安全領(lǐng)導(dǎo)者增強AI生態(tài)系統(tǒng)韌性的措施包括：

? 將智能體視為行為主體，而非工具：將自主式智能體視為具有實際影響力且可能影響系統(tǒng)、決策和數(shù)據(jù)的實體，要求其接受與高權(quán)限人類用戶同等的治理和監(jiān)督。

? 在部署前實施強大的基礎(chǔ)控制：在賦予自主權(quán)之前，實施最小權(quán)限訪問原則、分配唯一憑證、使用強大的身份驗證機制，并確保所有智能體操作都被不可篡改地記錄下來。

? 定期進行紅隊演練和壓力測試：模擬提示注入、對抗性輸入和邏輯陷阱等場景，以發(fā)現(xiàn)漏洞并驗證現(xiàn)有控制在現(xiàn)實條件下的有效性。

? 根據(jù)風(fēng)險和自主性對智能體進行分類：開發(fā)分層系統(tǒng)，區(qū)分低風(fēng)險和高風(fēng)險智能體，對高風(fēng)險功能應(yīng)用更強的防護措施，如人工審核、實時監(jiān)控或自動關(guān)閉。

? 提高全組織意識并做好準(zhǔn)備：確保安全、人力資源、財務(wù)和運營等團隊了解智能體的工作原理、可能被利用的方式以及出現(xiàn)問題時的應(yīng)對措施。

如果由于提示注入、意外行為或?qū)剐暂斎耄灾魇街悄荏w開始超出預(yù)期范圍行事，完善的應(yīng)急響應(yīng)計劃應(yīng)包含哪些內(nèi)容?

AI智能體的事件響應(yīng)始于準(zhǔn)備，這意味著要建立一個所有已部署智能體的注冊表，詳細記錄它們訪問的系統(tǒng)、擁有的權(quán)限以及所有者，此外，還需設(shè)定行為基準(zhǔn)和檢測閾值，監(jiān)控數(shù)據(jù)訪問異常、輸出量異?；驔Q策路徑陌生等偏差情況。

領(lǐng)導(dǎo)者還應(yīng)確認已設(shè)置并定期測試預(yù)定義的緊急關(guān)閉開關(guān)、可快速關(guān)閉的訪問權(quán)限或隔離工具，這些工具能夠在不要求完全關(guān)閉系統(tǒng)的情況下實現(xiàn)快速遏制。

強有力的響應(yīng)還必須涉及法律、合規(guī)、溝通和領(lǐng)導(dǎo)團隊，如果事件影響客戶、觸發(fā)監(jiān)管閾值或引起媒體關(guān)注，跨團隊協(xié)作至關(guān)重要，企業(yè)需要針對AI特定風(fēng)險量身定制的事件響應(yīng)計劃，并確保所有相關(guān)人員都經(jīng)過測試、完善并理解該計劃。

購買方應(yīng)向AI供應(yīng)商提出哪些關(guān)鍵問題，以確保自己不會繼承隱藏的治理或合規(guī)問題?

在評估AI供應(yīng)商時，應(yīng)優(yōu)先詢問有關(guān)治理、安全和風(fēng)險控制的問題，首先，詢問智能體如何進行身份驗證和授權(quán)，尋找基于角色的訪問控制、限定權(quán)限范圍和完整審計跟蹤。如果供應(yīng)商無法解釋這些問題，則是一個危險信號。

接下來，詢問采取了哪些防護措施來防止不安全決策，有力的回答將提及策略執(zhí)行、沙盒化、升級邏輯和實時覆蓋，還要詢問對抗性測試情況，特別是供應(yīng)商如何防范提示注入和意外行為。

可見性也至關(guān)重要，確認你是否可以訪問跟蹤每項操作的防篡改日志，因為沒有這些日志，一旦出現(xiàn)問題，你可能會失去控制權(quán)，最后，詢問供應(yīng)商遵循哪些治理框架，如果他們無法描述其風(fēng)險態(tài)勢，你很可能會繼承他們尚未解決的風(fēng)險。