在采訪中，AutoRABIT的CTO Jason Lord探討了將智能體集成到現(xiàn)實(shí)世界中的系統(tǒng)所帶來的網(wǎng)絡(luò)安全風(fēng)險。諸如幻覺、提示注入和嵌入式偏見等問題可能會使這些系統(tǒng)成為易受攻擊的目標(biāo)。

Lord呼吁進(jìn)行監(jiān)督、持續(xù)監(jiān)控和人為介入循環(huán)控制以應(yīng)對這些威脅。

許多智能體都是建立在基礎(chǔ)模型或大型語言模型(LLM)之上的。當(dāng)這些智能體嵌入到現(xiàn)實(shí)世界的系統(tǒng)中時，基礎(chǔ)模型和LLM固有的不可預(yù)測性(如幻覺或提示注入)是如何轉(zhuǎn)化為風(fēng)險的?

基礎(chǔ)模型和LLM從海量數(shù)據(jù)中學(xué)習(xí)，這意味著任何潛在的偏見、低質(zhì)量輸入或事實(shí)錯誤都會嵌入到它們的行為中。隨著時間的推移，這些不準(zhǔn)確之處可能會累積——尤其是當(dāng)模型遇到更多樣化的上下文時。

雖然LLM的固有不可預(yù)測性對于創(chuàng)意或?qū)υ捘康目赡苁怯杏玫?，但在生產(chǎn)環(huán)境中它可能會暴露出重大風(fēng)險。幻覺(捏造或錯誤陳述)和提示注入(對輸入的惡意操縱)可能會引入隱藏的漏洞。

在最壞的情況下，這些問題會成為攻擊載體，提供對關(guān)鍵系統(tǒng)或敏感數(shù)據(jù)的意外訪問。即使智能體的響應(yīng)中存在輕微的不一致，也可能損害數(shù)據(jù)完整性或打開后門。這會產(chǎn)生從未經(jīng)授權(quán)的披露到系統(tǒng)損壞等實(shí)際風(fēng)險——所有這些都可能嚴(yán)重影響組織的安全態(tài)勢。

如果智能體能夠訪問企業(yè)系統(tǒng)、工具或數(shù)據(jù)，它們會引入哪些新的攻擊面或供應(yīng)鏈風(fēng)險?我們是否基本上是在創(chuàng)建新的特權(quán)身份?

是的，智能體實(shí)際上成為了一種新的特權(quán)身份類別，可能擁有訪問敏感信息和關(guān)鍵業(yè)務(wù)流程的權(quán)限。因為它們可以處理命令、檢索或修改數(shù)據(jù)，并與其他企業(yè)系統(tǒng)進(jìn)行交互，所以智能體的憑據(jù)或邏輯一旦遭到單次破壞，其破壞性可能與整個特權(quán)用戶帳戶遭到攻擊一樣嚴(yán)重。

智能體特別具有挑戰(zhàn)性的一點(diǎn)是，與常規(guī)腳本或應(yīng)用程序相比，它們的行為更不可預(yù)測且更難審計。它們依賴于可能被操縱的自然語言輸入——通過提示注入、對抗性示例或配置錯誤的訪問控制——來執(zhí)行不需要的或惡意的操作。

組織還應(yīng)考慮AI驅(qū)動的供應(yīng)鏈風(fēng)險。當(dāng)智能體生成代碼或產(chǎn)生被持續(xù)集成/持續(xù)部署(CI/CD)管道使用的工件時，它們可能會無意中嵌入漏洞或?qū)⒂腥毕莸倪壿媯鞑サ较掠蜗到y(tǒng)中。這些隱藏風(fēng)險可能會一直存在，直到通過徹底審計或利用嘗試被發(fā)現(xiàn)，這強(qiáng)調(diào)了嚴(yán)格治理、訪問控制和持續(xù)監(jiān)控AI生成輸出的必要性。

你是否預(yù)見智能體會成為與通過釣魚或社會工程學(xué)攻擊人類相同的目標(biāo)?所謂的“智能體感知”對手會是什么樣子?

絕對的。智能體將簡單地被添加到目標(biāo)列表中，但攻擊者不會使用操縱人類的戰(zhàn)術(shù)(如釣魚郵件)，而是可能會通過制作旨在操縱智能體行為的惡意輸入來進(jìn)行提示注入。這些攻擊利用了智能體對看似良性的指令或數(shù)據(jù)的信任，導(dǎo)致其泄露信息、提升權(quán)限或采取有害行為。

“智能體感知”對手將研究特定智能體如何解釋語言、做出決策以及與工具進(jìn)行交互。他們可能會在共享文檔、聊天消息或API響應(yīng)中嵌入隱藏命令。這些攻擊看起來不會像傳統(tǒng)的漏洞利用——它們會看起來像正常的對話或常規(guī)數(shù)據(jù)流。

隨著智能體在企業(yè)系統(tǒng)中承擔(dān)更多責(zé)任——處理工單、更新記錄或管理基礎(chǔ)架構(gòu)——攻擊者將更加關(guān)注直接操縱智能體。這使得AI特定的安全控制(如輸入驗證、行為監(jiān)控和強(qiáng)大的審計跟蹤)對于檢測和防止這些攻擊至關(guān)重要。

當(dāng)前，你對智能體在網(wǎng)絡(luò)安全中最興奮的應(yīng)用場景是什么?以及你認(rèn)為哪些應(yīng)用場景仍然被過度炒作或過早?

AI在過去幾年中取得了長足的進(jìn)步。威脅檢測和自動響應(yīng)是智能體能夠為網(wǎng)絡(luò)安全團(tuán)隊帶來切實(shí)益處的兩種方式。能夠分類警報、跨不同工具關(guān)聯(lián)信號并提供豐富上下文的智能體可以極大地提高分析師的效率。通過增強(qiáng)現(xiàn)有的安全運(yùn)營中心(SOC)工作流程，智能體可幫助員工專注于戰(zhàn)略任務(wù)，而不是篩選原始數(shù)據(jù)。

然而，能夠在實(shí)時生產(chǎn)環(huán)境中做出單方面決策的完全自主的智能體仍然存在風(fēng)險。幻覺或錯誤行為可能會關(guān)閉關(guān)鍵基礎(chǔ)設(shè)施或創(chuàng)建后門，而人類操作員卻未能及時發(fā)現(xiàn)錯誤。監(jiān)督機(jī)制、手動審批和強(qiáng)大的防護(hù)欄仍然至關(guān)重要。

被過度炒作或過早的應(yīng)用場景包括無需人類干預(yù)的端到端“自我修復(fù)”系統(tǒng)。在不斷變化的安全環(huán)境中，確保問責(zé)制和減輕意外后果需要人類審查過程。將智能體與人為介入循環(huán)策略相結(jié)合，在一段時間內(nèi)很可能仍將是最佳實(shí)踐。

展望未來3到5年，一個成熟的智能體賦能的SOC會是什么樣子?哪些功能將成為常態(tài)，而我們?nèi)詫⒃趹?yīng)對哪些風(fēng)險?

僅在過去一年我們就看到了如此多的增長，因此我想象在未來3到5年內(nèi)，智能體將非常令人印象深刻。我預(yù)計，智能體賦能的SOC將配備在整個事件生命周期中嵌入的半自主智能體。它們將能夠分類警報、生成事件報告并實(shí)施補(bǔ)救操作。

跨工具集成(例如，漏洞掃描器、端點(diǎn)檢測和響應(yīng)(EDR)解決方案或威脅情報源)是未來幾年將發(fā)展的另一種能力。人類分析師將能夠更專注于戰(zhàn)略分析、微調(diào)其智能體的行為，以及處理獨(dú)特的網(wǎng)絡(luò)安全情況。

成熟度的提高將伴隨著同樣成熟的攻擊和網(wǎng)絡(luò)安全風(fēng)險。保持強(qiáng)大的安全態(tài)勢不僅需要先進(jìn)的AI，還需要持續(xù)的驗證、紅隊測試和仔細(xì)的治理。沒有任何工具是萬能的——尤其是在不斷演變的威脅環(huán)境中。