從AI應(yīng)用中的風(fēng)險(xiǎn)，如中毒的訓(xùn)練數(shù)據(jù)和幻覺(jué)現(xiàn)象，到AI賦能的安全措施，再到深度偽造、用戶錯(cuò)誤以及新型AI生成的攻擊技術(shù)，網(wǎng)絡(luò)安全行業(yè)正充斥著令人恐懼的安全威脅，這些威脅讓CISO們不堪重負(fù)。

例如，在2025年4月的RSA會(huì)議期間及之后，與會(huì)者紛紛對(duì)AI帶來(lái)的恐懼、不確定性和懷疑(FUD)表示強(qiáng)烈不滿，尤其是供應(yīng)商方面的表現(xiàn)。

其中一位是Netflix的信息風(fēng)險(xiǎn)工程師Tony Martin-Vegue，他在RSAC會(huì)議后的采訪中告訴記者，雖然AI的炒作和潛力很大，但無(wú)法阻止其發(fā)展，不過(guò)有方法可以穿透炒作，并在最關(guān)鍵的地方應(yīng)用基本控制措施。

首先，他說(shuō)，要關(guān)注企業(yè)為何部署AI?！拔艺J(rèn)為，盡管AI的能力被過(guò)度炒作和寄予厚望，但不使用AI也存在風(fēng)險(xiǎn)，也就是說(shuō)，不使用AI的企業(yè)將被淘汰，而使用AI的風(fēng)險(xiǎn)正是所有FUD的來(lái)源?！?/p>

在應(yīng)用控制措施方面，他建議采用與采用云、BYOD和其他強(qiáng)大技術(shù)時(shí)相同的流程，即循環(huán)往復(fù)地執(zhí)行，首先要了解AI在何處、如何被使用，由誰(shuí)使用，以及用于什么目的，然后，重點(diǎn)關(guān)注員工與工具共享的數(shù)據(jù)的安全性。

了解你的AI

“AI是一項(xiàng)將深刻改變社會(huì)的基本變革，其影響力甚至可能超過(guò)互聯(lián)網(wǎng)，但這一變革發(fā)生得如此之快，以至于很多人難以理解其模糊效應(yīng)，”SANS研究所AI和新興威脅研究主管Rob T. Lee解釋道?！艾F(xiàn)在，企業(yè)的每個(gè)部分都將以不同形式利用AI。你需要一種方法來(lái)從根本上降低實(shí)施風(fēng)險(xiǎn)，這意味著要了解人們?cè)谀睦锸褂盟?，以及在什么業(yè)務(wù)用例下使用，遍及整個(gè)企業(yè)?！?/p>

Lee正在幫助SANS開發(fā)社區(qū)共識(shí)的AI安全指南檢查表，他每天花30分鐘使用先進(jìn)的智能體進(jìn)行各種業(yè)務(wù)目的，并鼓勵(lì)其他網(wǎng)絡(luò)安全和執(zhí)行領(lǐng)導(dǎo)也這樣做，因?yàn)橐坏┧麄兪煜ち诉@些程序及其能力，就可以開始選擇控制措施了。

例如，Lee提到Moderna在2025年5月宣布將人力資源和IT合并到一個(gè)新角色下，即首席人力與數(shù)字技術(shù)官?！肮ぷ鞑辉賰H僅涉及人類，而是涉及管理人類和智能體，”Lee解釋道，“這要求人力資源和IT以新的方式協(xié)作?！?/p>

重新審視安全基礎(chǔ)

這并不是說(shuō)因?yàn)锳I是全新的，當(dāng)前的安全基礎(chǔ)就不重要了，它們當(dāng)然重要。

美國(guó)全國(guó)公司董事協(xié)會(huì)(NACD)的高級(jí)網(wǎng)絡(luò)風(fēng)險(xiǎn)顧問(wèn)Chris Hetner解釋道：“網(wǎng)絡(luò)安全行業(yè)經(jīng)常在一個(gè)回聲室中運(yùn)作，高度反應(yīng)性?；芈暿彝ㄟ^(guò)談?wù)撟灾魇紸I、AI漂移和其他風(fēng)險(xiǎn)來(lái)推動(dòng)機(jī)器運(yùn)轉(zhuǎn)，然后，一整套新的供應(yīng)商就會(huì)讓CISO的組合變得不堪重負(fù)?！薄癆I只是現(xiàn)有技術(shù)的延伸。它為我們提供了另一個(gè)視角，讓我們可以將注意力重新集中在本質(zhì)上。”

當(dāng)Hetner提到本質(zhì)時(shí)，他強(qiáng)調(diào)了理解業(yè)務(wù)概況、確定數(shù)字景觀中的威脅以及辨別業(yè)務(wù)單元之間互連的重要性，然后，安全領(lǐng)導(dǎo)者應(yīng)評(píng)估在發(fā)生泄露或曝光事件時(shí)可能產(chǎn)生的運(yùn)營(yíng)、法律、監(jiān)管和財(cái)務(wù)影響，接著，他們應(yīng)將這些信息匯總成一個(gè)全面的風(fēng)險(xiǎn)概況，提交給執(zhí)行團(tuán)隊(duì)和董事會(huì)，以便他們確定愿意接受、緩解和轉(zhuǎn)移哪些風(fēng)險(xiǎn)。

保護(hù)數(shù)據(jù)

鑒于AI被用于分析財(cái)務(wù)、銷售、人力資源、產(chǎn)品開發(fā)、客戶關(guān)系和其他敏感數(shù)據(jù)，Martin-Vegue認(rèn)為數(shù)據(jù)保護(hù)應(yīng)該是風(fēng)險(xiǎn)管理者控制措施列表中的首要任務(wù)，這又回到了了解員工如何使用AI、用于什么功能以及他們向AI啟用應(yīng)用程序中輸入的數(shù)據(jù)類型上。

或者，正如2025年5月來(lái)自澳大利亞、新西蘭、英國(guó)和美國(guó)安全機(jī)構(gòu)的一份關(guān)于AI數(shù)據(jù)安全的聯(lián)合備忘錄所解釋的那樣：了解你的數(shù)據(jù)是什么、在哪里以及將流向哪里。

當(dāng)然，說(shuō)起來(lái)容易做起來(lái)難，因?yàn)楦鶕?jù)多項(xiàng)調(diào)查，大多數(shù)企業(yè)不知道他們所有的敏感數(shù)據(jù)在哪里，更不用說(shuō)如何控制它們了，然而，與其他新技術(shù)一樣，保護(hù)用于LLM的數(shù)據(jù)歸結(jié)為用戶教育和數(shù)據(jù)治理，包括傳統(tǒng)控制措施，如掃描和加密。

“你的用戶可能不了解使用這些AI解決方案的最佳方式，因此網(wǎng)絡(luò)安全和治理領(lǐng)導(dǎo)者需要幫助設(shè)計(jì)適用于他們和你的風(fēng)險(xiǎn)管理團(tuán)隊(duì)的使用案例和部署方案。”長(zhǎng)期從事網(wǎng)絡(luò)安全分析并在Protect AI擔(dān)任CISO的Diana Kelley說(shuō)。

保護(hù)模型

Kelley指出了各種AI采用和部署模型之間的風(fēng)險(xiǎn)差異，像ChatGPT這樣的免費(fèi)、公共版本AI，用戶將數(shù)據(jù)插入基于網(wǎng)絡(luò)的聊天提示中，對(duì)員工與界面共享的數(shù)據(jù)發(fā)生的處理幾乎沒(méi)有控制權(quán)。支付專業(yè)版費(fèi)用并將AI引入企業(yè)內(nèi)部，企業(yè)可以獲得更多控制權(quán)，但企業(yè)許可證和自托管成本往往超出了小企業(yè)的承受能力，另一種選擇是在受管理的云平臺(tái)上運(yùn)行基礎(chǔ)模型，如Amazon Bedrock和其他安全配置的云服務(wù)，數(shù)據(jù)在賬戶持有者的保護(hù)環(huán)境中進(jìn)行處理和分析。

“這不是魔法或小火花，盡管在你的應(yīng)用程序中AI經(jīng)常被這樣表現(xiàn)，它是數(shù)學(xué)，它是軟件，我們知道如何保護(hù)軟件，然而，AI是一種新型軟件，需要新型的安全方法和工具，”Kelley補(bǔ)充道，“模型文件是一種不同類型的文件，因此你需要一個(gè)專為其獨(dú)特結(jié)構(gòu)設(shè)計(jì)的掃描器。”

模型文件是一組權(quán)重和偏差，她繼續(xù)說(shuō)道，當(dāng)它被反序列化時(shí)，企業(yè)就在運(yùn)行不受信任的代碼，這使得模型成為模型序列化攻擊(MSA)的主要目標(biāo)，網(wǎng)絡(luò)犯罪分子希望借此操縱目標(biāo)系統(tǒng)。

除了MSA風(fēng)險(xiǎn)外，AI模型，尤其是從開源獲取的模型，還可能成為模仿可信文件名稱但包含惡意軟件的拼寫錯(cuò)誤攻擊(typosquatting attacks)的受害者，它們還容易受到神經(jīng)后門和其他供應(yīng)鏈漏洞的攻擊，這就是為什么Kelley建議在批準(zhǔn)模型進(jìn)行部署和開發(fā)之前對(duì)其進(jìn)行掃描。

由于支持AI應(yīng)用程序的LLM與傳統(tǒng)軟件不同，對(duì)不同類型的掃描和監(jiān)控的需求導(dǎo)致了專業(yè)化解決方案的激增，但跡象表明，隨著傳統(tǒng)安全供應(yīng)商開始整合專業(yè)工具，如Palo Alto Networks即將收購(gòu)Protect AI，這個(gè)市場(chǎng)正在收縮。

“了解AI技術(shù)的工作原理，知道你的員工如何使用它，并建立控制措施，”Kelley重復(fù)道，“是的，這需要很多工作，但不必害怕，你也不必相信FUD，這就是我們進(jìn)行風(fēng)險(xiǎn)管理的方式?！?/p>