在追求GenAI帶來(lái)的生產(chǎn)力提升的過(guò)程中，大多數(shù)企業(yè)都忽視了這樣做可能帶來(lái)的安全影響，轉(zhuǎn)而傾向于寄希望于具有變革性的創(chuàng)新，而非采用可靠的安全實(shí)踐。

根據(jù)世界經(jīng)濟(jì)論壇與埃森哲合作進(jìn)行的一項(xiàng)研究，63%的企業(yè)在部署AI工具之前未能評(píng)估其安全性，從而給企業(yè)帶來(lái)了一系列風(fēng)險(xiǎn)。

這既包括現(xiàn)成的AI解決方案，也包括與軟件開發(fā)團(tuán)隊(duì)合作創(chuàng)建的內(nèi)部實(shí)現(xiàn)。根據(jù)Tricentis的2025年質(zhì)量轉(zhuǎn)型報(bào)告，這些團(tuán)隊(duì)絕大多數(shù)(45%)專注于提高交付速度，而非增強(qiáng)軟件質(zhì)量(13%)，盡管有三分之一(32%)的受訪者承認(rèn)，質(zhì)量低劣的軟件很可能導(dǎo)致更頻繁的安全漏洞或合規(guī)失敗。

而且，這些漏洞和失敗確實(shí)越來(lái)越頻繁。思科最新發(fā)布的《網(wǎng)絡(luò)安全準(zhǔn)備指數(shù)》于5月7日公布，該指數(shù)顯示，86%的企業(yè)在過(guò)去一年中經(jīng)歷過(guò)與AI相關(guān)的安全事件，不到一半(45%)的企業(yè)認(rèn)為其內(nèi)部資源和專業(yè)知識(shí)足以進(jìn)行全面的AI安全評(píng)估。

最常見的被忽視的AI安全風(fēng)險(xiǎn)

專家們表示，未能充分測(cè)試AI系統(tǒng)就進(jìn)行部署，會(huì)使企業(yè)面臨一系列與傳統(tǒng)軟件風(fēng)險(xiǎn)顯著不同的漏洞。以下是一些最常見的風(fēng)險(xiǎn)：

數(shù)據(jù)泄露

AI系統(tǒng)經(jīng)常處理大量敏感信息，如果沒有進(jìn)行嚴(yán)格的測(cè)試，企業(yè)可能會(huì)忽視這些數(shù)據(jù)泄露的容易程度，無(wú)論是通過(guò)不安全的存儲(chǔ)、過(guò)于慷慨的API響應(yīng)，還是糟糕的訪問(wèn)控制。

“許多AI系統(tǒng)在推理過(guò)程中會(huì)攝入用戶數(shù)據(jù)，或?yàn)楸３謺?huì)話持久性而存儲(chǔ)上下文，”AI安全測(cè)試供應(yīng)商Mindgard的CEO兼聯(lián)合創(chuàng)始人Peter Garraghan博士說(shuō)，“如果數(shù)據(jù)處理未經(jīng)過(guò)審計(jì)，就有很高的數(shù)據(jù)泄露風(fēng)險(xiǎn)，這些風(fēng)險(xiǎn)可能通過(guò)模型輸出、日志泄露或微調(diào)數(shù)據(jù)集的濫用而發(fā)生，這些風(fēng)險(xiǎn)會(huì)因大型語(yǔ)言模型(LLM)的內(nèi)存功能或流式輸出模式而加劇?！?/p>

模型級(jí)漏洞

這些漏洞包括提示注入、越獄和對(duì)抗性提示鏈。如果沒有嚴(yán)格的測(cè)試，模型可能會(huì)被操縱以繞過(guò)輸出約束、泄露敏感數(shù)據(jù)或執(zhí)行非預(yù)期任務(wù)。

“這些攻擊往往利用模型對(duì)齊機(jī)制的缺陷或其對(duì)標(biāo)記級(jí)推理的依賴。”英國(guó)蘭卡斯特大學(xué)的講師Garraghan解釋道。

模型完整性和對(duì)抗性攻擊

如果沒有對(duì)對(duì)抗性操縱或中毒訓(xùn)練數(shù)據(jù)進(jìn)行測(cè)試，攻擊者很容易影響AI模型的行為，尤其是當(dāng)該模型被用于支持業(yè)務(wù)決策或自動(dòng)化敏感任務(wù)時(shí)。

全球網(wǎng)絡(luò)安全咨詢公司CyXcel的首席運(yùn)營(yíng)官Jano Bermudes說(shuō)：“攻擊者可以操縱輸入數(shù)據(jù)來(lái)欺騙AI模型，導(dǎo)致其做出錯(cuò)誤決策，這包括逃避攻擊和數(shù)據(jù)中毒?！?/p>

系統(tǒng)性集成風(fēng)險(xiǎn)

AI模型經(jīng)常作為更大應(yīng)用程序管道的一部分進(jìn)行部署，例如通過(guò)API、插件或檢索增強(qiáng)生成(RAG)架構(gòu)。

“在這方面測(cè)試不足可能導(dǎo)致模型輸入和輸出的不安全處理、通過(guò)序列化數(shù)據(jù)格式的注入路徑以及托管環(huán)境中的權(quán)限提升，”Mindgard的Garraghan說(shuō)，“這些集成點(diǎn)在常規(guī)應(yīng)用程序安全(AppSec)工作流程中經(jīng)常被忽視。”

訪問(wèn)控制失敗

AI工具經(jīng)常接入更廣泛的系統(tǒng)，如果配置不當(dāng)，可能會(huì)給用戶或攻擊者超出預(yù)期的訪問(wèn)權(quán)限，這可能包括暴露的API密鑰、糟糕的身份驗(yàn)證或日志記錄不足，使得濫用行為難以被發(fā)現(xiàn)。

運(yùn)行時(shí)安全失敗

AI系統(tǒng)在部署期間可能僅在特定輸入條件下表現(xiàn)出緊急行為，尤其是在與其他服務(wù)交互時(shí)。

“邏輯損壞、上下文溢出或輸出反射等漏洞通常僅在運(yùn)行時(shí)出現(xiàn)，需要通過(guò)操作紅隊(duì)測(cè)試或?qū)崟r(shí)流量模擬來(lái)檢測(cè)?！盙arraghan說(shuō)。

合規(guī)違規(guī)

未能確保AI工具符合監(jiān)管標(biāo)準(zhǔn)可能導(dǎo)致法律后果。

例如，由于AI工具未經(jīng)授權(quán)的數(shù)據(jù)處理或未測(cè)試的模型行為導(dǎo)致的中斷，可能引發(fā)監(jiān)管違規(guī)。

更廣泛的運(yùn)營(yíng)影響

“這些技術(shù)漏洞如果不經(jīng)過(guò)測(cè)試，并不會(huì)孤立存在，”Mindgard的Garraghan說(shuō)，“它們表現(xiàn)為更廣泛的企業(yè)風(fēng)險(xiǎn)，超越了工程領(lǐng)域。從運(yùn)營(yíng)影響的角度來(lái)看，AI安全測(cè)試不足的后果直接映射到安全、安全和業(yè)務(wù)保障的失敗?！?/p>

合規(guī)專家ISMS.online的首席產(chǎn)品官Sam Peters看到了企業(yè)因忽視適當(dāng)?shù)腁I安全審查而導(dǎo)致的廣泛運(yùn)營(yíng)影響。

“當(dāng)AI系統(tǒng)匆忙投入生產(chǎn)時(shí)，我們?cè)谌齻€(gè)關(guān)鍵領(lǐng)域反復(fù)看到漏洞：模型完整性(包括中毒和逃避攻擊)、數(shù)據(jù)隱私(如訓(xùn)練數(shù)據(jù)泄露或敏感數(shù)據(jù)處理不當(dāng))和治理差距(從缺乏透明度到訪問(wèn)控制不佳)。”他說(shuō)。

Peters補(bǔ)充道：“這些問(wèn)題并非假設(shè);它們已經(jīng)在現(xiàn)實(shí)中被利用。”

針對(duì)交付進(jìn)行測(cè)試

急于實(shí)施AI給CISO帶來(lái)了壓力，但應(yīng)用安全測(cè)試公司Sparrow的首席運(yùn)營(yíng)官James Lei建議CISO應(yīng)抵制盲目引入的熱情，將基本安全實(shí)踐納入部署過(guò)程。

“為降低這些風(fēng)險(xiǎn)，企業(yè)應(yīng)像測(cè)試任何高風(fēng)險(xiǎn)軟件一樣測(cè)試AI工具，運(yùn)行模擬攻擊、檢查濫用場(chǎng)景、驗(yàn)證輸入輸出流程，并確保任何處理的數(shù)據(jù)都得到適當(dāng)保護(hù)?！彼f(shuō)。

為降低這些風(fēng)險(xiǎn)，企業(yè)應(yīng)實(shí)施全面的測(cè)試策略，例如：

? 滲透測(cè)試：模擬攻擊以識(shí)別漏洞

? 偏見和公平性審計(jì)：確保AI決策公平且無(wú)歧視

? 合規(guī)性檢查：驗(yàn)證是否符合相關(guān)法規(guī)和標(biāo)準(zhǔn)

通過(guò)將安全測(cè)試納入AI開發(fā)生命周期，企業(yè)可以在利用AI優(yōu)勢(shì)的同時(shí)防范潛在威脅。

“在部署AI工具之前，企業(yè)應(yīng)針對(duì)AI系統(tǒng)進(jìn)行威脅建模、對(duì)抗性輸入的紅隊(duì)測(cè)試以及模型漂移和數(shù)據(jù)泄露的嚴(yán)格測(cè)試，”ISMS.online的Peters說(shuō)，“同時(shí)，他們應(yīng)將AI特定控制納入其風(fēng)險(xiǎn)管理和合規(guī)計(jì)劃?！?/p>

Peters補(bǔ)充道：“這就是新的ISO/IEC 42001標(biāo)準(zhǔn)真正發(fā)揮作用的地方，它提供了一個(gè)負(fù)責(zé)任地治理AI的框架，包括風(fēng)險(xiǎn)評(píng)估、數(shù)據(jù)處理、安全控制和持續(xù)監(jiān)控的指導(dǎo)?！?/p>

其他專家在肯定安全測(cè)試必要性的同時(shí)，認(rèn)為在測(cè)試AI系統(tǒng)安全性時(shí)需要采用不同的方法。

“與常規(guī)軟件測(cè)試不同，你不能僅僅通過(guò)查看神經(jīng)網(wǎng)絡(luò)的代碼來(lái)判斷其是否安全，”眾包安全提供商Intigriti的首席黑客官Inti De Ceukelaire告訴記者，“即使它是在干凈、高質(zhì)量的數(shù)據(jù)上訓(xùn)練的，仍然可能表現(xiàn)出奇怪的行為，這使得很難知道何時(shí)測(cè)試已經(jīng)足夠?！?/p>

AI工具通常為簡(jiǎn)單問(wèn)題提供復(fù)雜解決方案，測(cè)試人員可能只關(guān)注工具應(yīng)做的事情，而忽略其他可能做的事情。“例如，翻譯工具可能被誘騙打開包含惡意代碼的PDF文件或訪問(wèn)內(nèi)部文件并為其翻譯以供公司外部人員查看?！盌e Ceukelaire解釋道。

企業(yè)應(yīng)考慮實(shí)施專門為AI設(shè)計(jì)的對(duì)抗性測(cè)試框架。

“這包括靜態(tài)模型分析、動(dòng)態(tài)提示模糊測(cè)試、集成層攻擊模擬和運(yùn)行時(shí)行為監(jiān)控，”Mindgard的Garraghan說(shuō)，“這些實(shí)踐應(yīng)嵌入AI部署生命周期中，就像DevSecOps實(shí)踐被集成到軟件CI/CD管道中一樣?！?/p>