大語(yǔ)言模型熱潮與現(xiàn)實(shí)的差距:CISO應(yīng)關(guān)注什么
從AI應(yīng)用中的風(fēng)險(xiǎn),如中毒的訓(xùn)練數(shù)據(jù)和幻覺(jué)現(xiàn)象,到AI賦能的安全措施,再到深度偽造、用戶錯(cuò)誤以及新型AI生成的攻擊技術(shù),網(wǎng)絡(luò)安全行業(yè)正充斥著令人恐懼的安全威脅,這些威脅讓CISO們不堪重負(fù)。
例如,在2025年4月的RSA會(huì)議期間及之后,與會(huì)者紛紛對(duì)AI帶來(lái)的恐懼、不確定性和懷疑(FUD)表示強(qiáng)烈不滿,尤其是供應(yīng)商方面的表現(xiàn)。
其中一位是Netflix的信息風(fēng)險(xiǎn)工程師Tony Martin-Vegue,他在RSAC會(huì)議后的采訪中告訴記者,雖然AI的炒作和潛力很大,但無(wú)法阻止其發(fā)展,不過(guò)有方法可以穿透炒作,并在最關(guān)鍵的地方應(yīng)用基本控制措施。
首先,他說(shuō),要關(guān)注企業(yè)為何部署AI?!拔艺J(rèn)為,盡管AI的能力被過(guò)度炒作和寄予厚望,但不使用AI也存在風(fēng)險(xiǎn),也就是說(shuō),不使用AI的企業(yè)將被淘汰,而使用AI的風(fēng)險(xiǎn)正是所有FUD的來(lái)源?!?/p>
在應(yīng)用控制措施方面,他建議采用與采用云、BYOD和其他強(qiáng)大技術(shù)時(shí)相同的流程,即循環(huán)往復(fù)地執(zhí)行,首先要了解AI在何處、如何被使用,由誰(shuí)使用,以及用于什么目的,然后,重點(diǎn)關(guān)注員工與工具共享的數(shù)據(jù)的安全性。
了解你的AI
“AI是一項(xiàng)將深刻改變社會(huì)的基本變革,其影響力甚至可能超過(guò)互聯(lián)網(wǎng),但這一變革發(fā)生得如此之快,以至于很多人難以理解其模糊效應(yīng),”SANS研究所AI和新興威脅研究主管Rob T. Lee解釋道?!艾F(xiàn)在,企業(yè)的每個(gè)部分都將以不同形式利用AI。你需要一種方法來(lái)從根本上降低實(shí)施風(fēng)險(xiǎn),這意味著要了解人們?cè)谀睦锸褂盟?,以及在什么業(yè)務(wù)用例下使用,遍及整個(gè)企業(yè)?!?/p>
Lee正在幫助SANS開發(fā)社區(qū)共識(shí)的AI安全指南檢查表,他每天花30分鐘使用先進(jìn)的智能體進(jìn)行各種業(yè)務(wù)目的,并鼓勵(lì)其他網(wǎng)絡(luò)安全和執(zhí)行領(lǐng)導(dǎo)也這樣做,因?yàn)橐坏┧麄兪煜ち诉@些程序及其能力,就可以開始選擇控制措施了。
例如,Lee提到Moderna在2025年5月宣布將人力資源和IT合并到一個(gè)新角色下,即首席人力與數(shù)字技術(shù)官?!肮ぷ鞑辉賰H僅涉及人類,而是涉及管理人類和智能體,”Lee解釋道,“這要求人力資源和IT以新的方式協(xié)作?!?/p>
重新審視安全基礎(chǔ)
這并不是說(shuō)因?yàn)锳I是全新的,當(dāng)前的安全基礎(chǔ)就不重要了,它們當(dāng)然重要。
美國(guó)全國(guó)公司董事協(xié)會(huì)(NACD)的高級(jí)網(wǎng)絡(luò)風(fēng)險(xiǎn)顧問(wèn)Chris Hetner解釋道:“網(wǎng)絡(luò)安全行業(yè)經(jīng)常在一個(gè)回聲室中運(yùn)作,高度反應(yīng)性?;芈暿彝ㄟ^(guò)談?wù)撟灾魇紸I、AI漂移和其他風(fēng)險(xiǎn)來(lái)推動(dòng)機(jī)器運(yùn)轉(zhuǎn),然后,一整套新的供應(yīng)商就會(huì)讓CISO的組合變得不堪重負(fù)?!薄癆I只是現(xiàn)有技術(shù)的延伸。它為我們提供了另一個(gè)視角,讓我們可以將注意力重新集中在本質(zhì)上。”
當(dāng)Hetner提到本質(zhì)時(shí),他強(qiáng)調(diào)了理解業(yè)務(wù)概況、確定數(shù)字景觀中的威脅以及辨別業(yè)務(wù)單元之間互連的重要性,然后,安全領(lǐng)導(dǎo)者應(yīng)評(píng)估在發(fā)生泄露或曝光事件時(shí)可能產(chǎn)生的運(yùn)營(yíng)、法律、監(jiān)管和財(cái)務(wù)影響,接著,他們應(yīng)將這些信息匯總成一個(gè)全面的風(fēng)險(xiǎn)概況,提交給執(zhí)行團(tuán)隊(duì)和董事會(huì),以便他們確定愿意接受、緩解和轉(zhuǎn)移哪些風(fēng)險(xiǎn)。
保護(hù)數(shù)據(jù)
鑒于AI被用于分析財(cái)務(wù)、銷售、人力資源、產(chǎn)品開發(fā)、客戶關(guān)系和其他敏感數(shù)據(jù),Martin-Vegue認(rèn)為數(shù)據(jù)保護(hù)應(yīng)該是風(fēng)險(xiǎn)管理者控制措施列表中的首要任務(wù),這又回到了了解員工如何使用AI、用于什么功能以及他們向AI啟用應(yīng)用程序中輸入的數(shù)據(jù)類型上。
或者,正如2025年5月來(lái)自澳大利亞、新西蘭、英國(guó)和美國(guó)安全機(jī)構(gòu)的一份關(guān)于AI數(shù)據(jù)安全的聯(lián)合備忘錄所解釋的那樣:了解你的數(shù)據(jù)是什么、在哪里以及將流向哪里。
當(dāng)然,說(shuō)起來(lái)容易做起來(lái)難,因?yàn)楦鶕?jù)多項(xiàng)調(diào)查,大多數(shù)企業(yè)不知道他們所有的敏感數(shù)據(jù)在哪里,更不用說(shuō)如何控制它們了,然而,與其他新技術(shù)一樣,保護(hù)用于LLM的數(shù)據(jù)歸結(jié)為用戶教育和數(shù)據(jù)治理,包括傳統(tǒng)控制措施,如掃描和加密。
“你的用戶可能不了解使用這些AI解決方案的最佳方式,因此網(wǎng)絡(luò)安全和治理領(lǐng)導(dǎo)者需要幫助設(shè)計(jì)適用于他們和你的風(fēng)險(xiǎn)管理團(tuán)隊(duì)的使用案例和部署方案。”長(zhǎng)期從事網(wǎng)絡(luò)安全分析并在Protect AI擔(dān)任CISO的Diana Kelley說(shuō)。
保護(hù)模型
Kelley指出了各種AI采用和部署模型之間的風(fēng)險(xiǎn)差異,像ChatGPT這樣的免費(fèi)、公共版本AI,用戶將數(shù)據(jù)插入基于網(wǎng)絡(luò)的聊天提示中,對(duì)員工與界面共享的數(shù)據(jù)發(fā)生的處理幾乎沒(méi)有控制權(quán)。支付專業(yè)版費(fèi)用并將AI引入企業(yè)內(nèi)部,企業(yè)可以獲得更多控制權(quán),但企業(yè)許可證和自托管成本往往超出了小企業(yè)的承受能力,另一種選擇是在受管理的云平臺(tái)上運(yùn)行基礎(chǔ)模型,如Amazon Bedrock和其他安全配置的云服務(wù),數(shù)據(jù)在賬戶持有者的保護(hù)環(huán)境中進(jìn)行處理和分析。
“這不是魔法或小火花,盡管在你的應(yīng)用程序中AI經(jīng)常被這樣表現(xiàn),它是數(shù)學(xué),它是軟件,我們知道如何保護(hù)軟件,然而,AI是一種新型軟件,需要新型的安全方法和工具,”Kelley補(bǔ)充道,“模型文件是一種不同類型的文件,因此你需要一個(gè)專為其獨(dú)特結(jié)構(gòu)設(shè)計(jì)的掃描器。”
模型文件是一組權(quán)重和偏差,她繼續(xù)說(shuō)道,當(dāng)它被反序列化時(shí),企業(yè)就在運(yùn)行不受信任的代碼,這使得模型成為模型序列化攻擊(MSA)的主要目標(biāo),網(wǎng)絡(luò)犯罪分子希望借此操縱目標(biāo)系統(tǒng)。
除了MSA風(fēng)險(xiǎn)外,AI模型,尤其是從開源獲取的模型,還可能成為模仿可信文件名稱但包含惡意軟件的拼寫錯(cuò)誤攻擊(typosquatting attacks)的受害者,它們還容易受到神經(jīng)后門和其他供應(yīng)鏈漏洞的攻擊,這就是為什么Kelley建議在批準(zhǔn)模型進(jìn)行部署和開發(fā)之前對(duì)其進(jìn)行掃描。
由于支持AI應(yīng)用程序的LLM與傳統(tǒng)軟件不同,對(duì)不同類型的掃描和監(jiān)控的需求導(dǎo)致了專業(yè)化解決方案的激增,但跡象表明,隨著傳統(tǒng)安全供應(yīng)商開始整合專業(yè)工具,如Palo Alto Networks即將收購(gòu)Protect AI,這個(gè)市場(chǎng)正在收縮。
“了解AI技術(shù)的工作原理,知道你的員工如何使用它,并建立控制措施,”Kelley重復(fù)道,“是的,這需要很多工作,但不必害怕,你也不必相信FUD,這就是我們進(jìn)行風(fēng)險(xiǎn)管理的方式?!?/p>