GenAI帶來了諸多益處，但同時也伴隨著數(shù)據(jù)安全風險，這主要通過影子AI的使用和敏感信息的泄露來實現(xiàn)。

在企業(yè)中，這些風險正在加劇，因為員工經(jīng)常使用私人GenAI賬戶來處理敏感數(shù)據(jù)。

根據(jù)Netskope的一項研究，盡管大多數(shù)企業(yè)(90%)都提供了官方批準的GenAI應(yīng)用，甚至更多(98%)的企業(yè)為用戶提供了包含AI功能的應(yīng)用，但企業(yè)中未經(jīng)授權(quán)的AI服務(wù)使用仍在激增。

在企業(yè)中，大多數(shù)GenAI的使用(72%)都屬于影子IT，即個人使用私人賬戶訪問AI應(yīng)用，這種形式的私人賬戶AI使用往往不受安全團隊的跟蹤，也不受企業(yè)安全政策的約束。

Netskope發(fā)現(xiàn)，在過去一年中，發(fā)送到GenAI應(yīng)用的數(shù)據(jù)(包括提示和上傳內(nèi)容)數(shù)量增加了30多倍，導致敏感數(shù)據(jù)暴露量增加，特別是源代碼、受監(jiān)管數(shù)據(jù)、知識產(chǎn)權(quán)和機密信息。

數(shù)據(jù)量從每月250MB增加到7.7GB，主要以提示和上傳的形式存在，盡管這些應(yīng)用的使用者只是企業(yè)用戶中的一小部分(4.9%)。

另一項來自Harmonic Security的研究發(fā)現(xiàn)，在2024年第四季度，員工向熱門大型語言模型(LLM)發(fā)出的提示中，有8.5%包含了敏感數(shù)據(jù)，這些敏感泄露數(shù)據(jù)中，近一半是客戶數(shù)據(jù)，包括賬單信息和認證數(shù)據(jù)。法律和財務(wù)數(shù)據(jù)占暴露信息的15%，而安全相關(guān)數(shù)據(jù)(如滲透測試結(jié)果等)則占令人擔憂的7%。

缺乏監(jiān)督

影子AI是指企業(yè)內(nèi)未經(jīng)授權(quán)使用的AI服務(wù)，這些服務(wù)不受安全團隊的跟蹤，也不受政策限制的管理。安全和AI專家表示，幾乎每個未能實施AI可接受使用政策的組織都可能因此途徑而丟失敏感內(nèi)部數(shù)據(jù)。

與影子AI相關(guān)的風險包括但不限于數(shù)據(jù)泄露，以及用戶個人數(shù)據(jù)的合規(guī)和監(jiān)管風險。

KnowBe4的安全意識倡導者James McQuiggan表示：“員工在沒有IT監(jiān)督的情況下使用GenAI工具，經(jīng)常將敏感數(shù)據(jù)粘貼到私人賬戶中，或依賴未經(jīng)審查的代碼建議，這些行為會增加數(shù)據(jù)泄露、合規(guī)違規(guī)和軟件完整性受損的風險，而用戶往往意識不到這些影響?！?/p>

全球網(wǎng)絡(luò)安全公司NCC Group的技術(shù)總監(jiān)David Brauchler表示，影子AI已成為安全領(lǐng)導者必須應(yīng)對的必然趨勢。

“員工發(fā)現(xiàn)AI很有用，但如果沒有得到批準和認可的方式來利用其能力，企業(yè)可能會很快發(fā)現(xiàn)敏感數(shù)據(jù)落入了第三方手中，”Brauchler警告說?！斑@些數(shù)據(jù)可能會進入訓練數(shù)據(jù)集，甚至可能通過漏洞和攻擊直接暴露給攻擊者，這種情況已經(jīng)發(fā)生過多次?！?/p>

治理風險

Rapid7的數(shù)據(jù)和AI副總裁Laura Ellis警告說，影子AI給企業(yè)帶來了重大的數(shù)據(jù)治理風險。

“未經(jīng)授權(quán)的AI工具使用可能導致敏感公司甚至客戶信息的不經(jīng)意暴露，從而產(chǎn)生潛在的合規(guī)和安全風險，”Ellis警告說?！按送猓蕾囄唇?jīng)審查的AI輸出會增加事實不準確的風險，這可能對品牌信譽和信任產(chǎn)生負面影響。”

其他專家將AI的使用描述為一個監(jiān)管不善、為所欲為的環(huán)境。

全球網(wǎng)絡(luò)安全供應(yīng)商Trend Micro的現(xiàn)場首席技術(shù)官Bharat Mistry警告說：“數(shù)據(jù)泄露、知識產(chǎn)權(quán)盜竊和監(jiān)管罰款不是假設(shè)，而是使用未經(jīng)批準的AI的必然結(jié)果?！薄斑@些工具中的許多在法律和合規(guī)灰色地帶運作，完全無視行業(yè)特定法規(guī)和數(shù)據(jù)保護法。”

Mistry補充道：“更糟糕的是，IT和安全團隊不得不追逐這些影子。隨著未經(jīng)授權(quán)的工具在各部門中的使用越來越多，可見性、控制和風險管理都無從談起?！?/p>

行業(yè)分析師Bloor Research的專家研究員Cheney Hamilton警告說，GenAI工具正在迅速嵌入工作流程中，但往往缺乏監(jiān)督——這與影子IT系統(tǒng)更廣泛地興起的發(fā)展態(tài)勢相平行，并在此過程中產(chǎn)生了類似的風險。

“風險不僅僅是技術(shù)上的，更是行為上的，”Hamilton說。“員工正在使用GenAI工具來更快地完成工作，但如果沒有明確的參數(shù)，敏感數(shù)據(jù)就會以傳統(tǒng)安全框架無法捕捉到的方式暴露出來?！?/p>

Hamilton補充道：“現(xiàn)在需要的是從反應(yīng)性控制轉(zhuǎn)向嵌入勞動力政策、工作設(shè)計和甚至領(lǐng)導結(jié)構(gòu)的主動性AI治理，因為GenAI不應(yīng)該僅僅由IT或信息安全部門負責，它還需要來自人力資源、法律和合規(guī)部門的跨職能所有權(quán)?！?/p>

風險緩解

ChatGPT、Google Gemini和GitHub Copilot等工具的廣泛采用正在創(chuàng)造一個網(wǎng)絡(luò)安全治理挑戰(zhàn)，而傳統(tǒng)的方法和工具則難以應(yīng)對。

專家指出，安全領(lǐng)導者需要采用明確的AI治理政策、定期對AI系統(tǒng)進行紅隊測試以識別漏洞，以及全面的員工意識培訓等措施來緩解與影子AI相關(guān)的風險。

這些措施應(yīng)包括：

? 實時監(jiān)控：安全領(lǐng)導者應(yīng)部署系統(tǒng)來跟蹤和管理輸入到GenAI(以及AI賦能的SaaS)工具中的數(shù)據(jù)。

? 批準的AI列表：CISO應(yīng)確保批準的AI供應(yīng)商通過合同保護企業(yè)的數(shù)據(jù)隱私，并監(jiān)控或阻止使用未經(jīng)批準的AI解決方案。

? 應(yīng)用計劃識別：安全領(lǐng)導者應(yīng)確保員工使用的是付費計劃，或不基于輸入數(shù)據(jù)進行訓練的計劃。

? 提示級可見性：安全團隊需要對共享到這些工具中的數(shù)據(jù)有完全可見性——僅僅監(jiān)控使用情況是不夠的。

? 敏感數(shù)據(jù)分類：安全系統(tǒng)必須能夠在數(shù)據(jù)丟失時識別出敏感數(shù)據(jù)。

? 智能規(guī)則執(zhí)行：CISO應(yīng)與業(yè)務(wù)領(lǐng)導者合作，創(chuàng)建批準的工作流程，以塑造各部門或團體如何與GenAI工具互動。

? 用戶教育：必須對員工進行有關(guān)風險和最佳實踐的培訓，以負責任地使用AI。

? 制定使用政策：安全領(lǐng)導者必須與業(yè)務(wù)領(lǐng)導者合作，定義AI的使用方式，包括哪些類別的內(nèi)部數(shù)據(jù)可以發(fā)送給批準的供應(yīng)商。應(yīng)建立明確禁止的使用案例。

一般來說，安全團隊應(yīng)監(jiān)控組織內(nèi)部的數(shù)據(jù)流動，并識別關(guān)鍵風險來源，無論是AI還是其他來源。AI水印可能有助于識別AI生成的內(nèi)容，但并不能防止敏感信息首先丟失。

數(shù)據(jù)丟失防護(DLP)可以幫助識別有風險信息的導出，但一些專家認為，該技術(shù)作為限制通過GenAI工具泄露信息的手段是有限的。

Mindgard是一家AI安全測試公司，其CEO兼聯(lián)合創(chuàng)始人Peter Garraghan警告說，GenAI引入了一類新的風險，這些風險超出了傳統(tǒng)控制手段(如阻止、DLP和實時指導)的有效管理范圍。

“問題在于現(xiàn)代AI系統(tǒng)的復雜性和不透明性，或黑盒性質(zhì)，”Garraghan解釋說。敏感信息可以在AI模型或應(yīng)用程序中被攝入、轉(zhuǎn)換甚至模糊處理，然后再輸出給用戶。

Garraghan繼續(xù)說道：“在這些情況下，標準控制手段在識別底層數(shù)據(jù)或上下文方面手段有限，這意味著潛在敏感信息可能在不觸發(fā)任何警報的情況下被外泄?！?/p>

為了真正確保GenAI的安全，組織需要一層專為這種新范式構(gòu)建的保護，這包括能夠發(fā)現(xiàn)和證明這些漏洞存在的安全測試工具，以及運行時檢測AI特定漏洞的能力。

“這些問題只有在模型執(zhí)行時才會出現(xiàn)，如通過嵌入或編碼導致的數(shù)據(jù)泄露，”Garraghan(同時也是英國蘭卡斯特大學的計算機科學教授)補充道。