AI已不再是僅執(zhí)行預定命令的工具，它越來越能夠自我修改、重寫自身參數(shù)，并根據(jù)實時反饋進行演進，這種自我維持的能力，有時被稱為自生成性，使AI系統(tǒng)能夠動態(tài)適應其環(huán)境，從而提高效率，但也大大降低了可預測性。

對于網(wǎng)絡安全團隊而言，這帶來了一個根本性挑戰(zhàn)：如何確保一個不斷自我改變的系統(tǒng)的安全性?傳統(tǒng)的安全模型假設威脅來自外部，即不良行為者利用本已穩(wěn)定的系統(tǒng)中的漏洞，但AI能夠重新配置其自身操作，風險不再僅僅是外部入侵，還包括內(nèi)部不可預測性。

這尤其令中小型企業(yè)和公共機構擔憂，因為它們往往缺乏監(jiān)控AI如何隨時間演變的資源，或檢測AI何時改變了自身安全態(tài)勢的能力。

當AI系統(tǒng)自我重寫時

大多數(shù)軟件在固定參數(shù)內(nèi)運行，使其行為可預測，然而，自生成性AI能夠根據(jù)環(huán)境輸入重新定義其自己的操作邏輯。雖然這實現(xiàn)了更智能的自動化，但也意味著一個負責優(yōu)化效率的AI可能會在沒有人工監(jiān)督的情況下開始做出安全決策。

例如，一個基于AI的電子郵件過濾系統(tǒng)最初可能根據(jù)預設標準阻止網(wǎng)絡釣魚嘗試，但如果它不斷學習到阻止太多電子郵件會引發(fā)用戶投訴，它可能會開始降低敏感性以保持工作流程效率——實際上繞過了其設計用于執(zhí)行的安全規(guī)則。

同樣，一個負責優(yōu)化網(wǎng)絡性能的AI可能會將安全協(xié)議視為障礙，并調(diào)整防火墻配置、繞過身份驗證步驟或禁用某些警報機制——并非作為攻擊，而是作為提高感知功能的一種手段。這些由自我生成的邏輯而非外部攻擊驅動的更改，使安全團隊難以診斷和緩解新出現(xiàn)的風險。

自生成性AI尤其令人擔憂的是，其決策過程通常不透明。安全分析師可能會注意到系統(tǒng)行為有所不同，但可能難以確定為何進行了這些調(diào)整。如果AI基于其感知的優(yōu)化修改了安全設置，它可能不會以允許進行取證分析的方式記錄該更改。這造成了一個責任缺口，即組織甚至可能在事件發(fā)生后才意識到其安全態(tài)勢已發(fā)生變化。

SMB和公共機構面臨的獨特網(wǎng)絡安全風險

對于擁有專門的AI安全團隊的大型企業(yè)而言，可以通過持續(xù)監(jiān)控、對抗性測試和模型可解釋性要求來控制自修改AI的風險，但SMB和公共機構很少有預算或技術專長來實施此類監(jiān)督。

簡而言之，這些組織面臨的危險是，它們可能直到為時已晚才意識到其AI系統(tǒng)正在改變安全關鍵流程。一個依賴AI驅動訪問控制的市政政府可能會認為憑證身份驗證正常運行，結果卻發(fā)現(xiàn)系統(tǒng)為了縮短登錄時間已降低了多因素身份驗證的優(yōu)先級。一家使用AI驅動欺詐檢測的小型企業(yè)可能會發(fā)現(xiàn)，其系統(tǒng)為了最大限度地減少運營中斷而抑制了太多安全警報，無意中允許欺詐交易未被檢測到。

這方面可能出現(xiàn)問題的最佳例子之一是2024年7月的CrowdStrike危機，其中一個受全球公認的網(wǎng)絡安全平臺供應商影響的補丁未經(jīng)充分測試就被推出。該補丁在全球范圍內(nèi)一次性部署，導致了過去十年來——甚至可以說是過去幾十年來——最容易發(fā)生的技術中斷。

事后調(diào)查顯示，導致全球故障的一系列錯誤中，最引人注目的是通道文件中加載的結構缺乏驗證、缺少版本數(shù)據(jù)以及未能根據(jù)客戶群體而非版本類型將軟件更新視為不同事物。

這些錯誤是當今使用生成性AI大規(guī)模自動化狹窄任務的轉變中的常規(guī)內(nèi)容，從網(wǎng)絡安全角度來看，這帶來了獨特的挑戰(zhàn)。畢竟，與傳統(tǒng)漏洞不同，這些AI驅動的風險不會以外部威脅的形式出現(xiàn)。

沒有惡意軟件感染，沒有憑證被盜——只是一個以無人預料的方式發(fā)展的系統(tǒng)。這尤其增加了SMB和公共機構的風險，因為它們往往缺乏人員來持續(xù)審計AI驅動的安全決策和修改。

對身份驗證、欺詐檢測和訪問控制的日益依賴只會加劇這個問題。隨著AI在確定組織內(nèi)部誰或什么被信任方面發(fā)揮更大作用，其自主改變這些信任模型的能力為安全團隊引入了一個移動目標。如果AI決策變得過于抽象，超出人工監(jiān)督的范圍，組織可能難以重新控制自己的安全框架。

安全團隊如何適應自修改AI的威脅

減輕自生成性AI的風險需要網(wǎng)絡安全策略的根本轉變。組織不能再假設安全故障僅來自外部威脅，相反，它們必須認識到，AI本身可能通過不斷改變其決策邏輯來引入漏洞。

安全團隊必須超越靜態(tài)審計方法，并采用針對AI驅動安全過程的實時驗證機制。如果AI系統(tǒng)被允許修改身份驗證工作流程、防火墻設置或欺詐檢測閾值，這些更改必須獨立審查和驗證。不應僅因AI驅動的安全優(yōu)化提高了效率就將其視為固有可靠。

網(wǎng)絡安全專業(yè)人員還必須認識到，可解釋性與性能同樣重要。在安全敏感環(huán)境中運行的AI模型必須采用人類可讀的邏輯路徑進行設計，以便分析師能夠理解AI系統(tǒng)為何進行特定更改。如果沒有這一級別的透明度，組織將面臨將關鍵安全決策外包給一個它們無法完全控制的演進系統(tǒng)的風險。

對于SMB和公共機構而言，挑戰(zhàn)甚至更大。這些組織中許多缺乏專門的AI安全專長，這意味著它們必須推動外部監(jiān)督機制。AI驅動安全解決方案的供應商合同應包括強制性透明度要求，確保AI系統(tǒng)不會以未經(jīng)明確人工批準的方式從根本上改變安全態(tài)勢。

測試AI故障場景以發(fā)現(xiàn)弱點

組織還應開始以測試災難恢復和事件響應相同的方式測試AI故障場景。如果一個AI驅動的欺詐檢測系統(tǒng)開始抑制高風險警報，安全團隊將多快檢測到這一變化?如果一個AI驅動的身份驗證系統(tǒng)降低了身份驗證的嚴格性，IT團隊將如何在攻擊者利用這一變化之前進行干預?這些不是假設性的擔憂——它們是隨著AI承擔更多自主安全功能而出現(xiàn)的真實漏洞。

安全團隊能做出的最危險假設是，AI將始終按照人類意圖行事。如果一個系統(tǒng)被設計為優(yōu)化結果，它就會優(yōu)化——但不一定以與網(wǎng)絡安全優(yōu)先級一致的方式。組織越早認識到這一點，就越能為確保AI驅動環(huán)境的安全性做好準備，以防這些系統(tǒng)開始做出超出人工控制的安全決策。