盡管GenAI威脅已成為安全團隊和領(lǐng)導層關(guān)注的首要問題，但根據(jù)Cobalt公司的報告，當前對大型語言模型(LLM)及AI驅(qū)動應用的測試和修復工作并未跟上風險的增長步伐。

滲透測試數(shù)據(jù)揭示LLM安全領(lǐng)域的行業(yè)分歧

報告中的滲透測試數(shù)據(jù)凸顯了一個令人不安的現(xiàn)實：LLM應用常常存在嚴重的安全漏洞，這些問題在高風險場景中出現(xiàn)的頻率遠高于其他任何類型的系統(tǒng)，表明LLM的部署帶來了尤為突出的風險。

更令人擔憂的是，這些嚴重漏洞得到修復的情況極為罕見，在所有測試系統(tǒng)中，LLM的修復率最低，導致許多關(guān)鍵風險懸而未決，盡管部分問題能迅速得到解決，但這很可能僅反映了那些易于修復的情況，而更為復雜和危險的缺陷則持續(xù)累積，形成了日益擴大的安全缺口。

滲透測試中發(fā)現(xiàn)的嚴重漏洞情況因行業(yè)而異，這為我們揭示了哪些領(lǐng)域可能面臨最大風險。報告指出，行政服務、交通運輸、酒店業(yè)、制造業(yè)和教育等行業(yè)存在較高比例的關(guān)鍵安全問題。相比之下，娛樂、金融服務和信息服務等行業(yè)則較少出現(xiàn)嚴重漏洞。這些差異可能反映了各行業(yè)在安全成熟度、系統(tǒng)復雜性或監(jiān)管嚴格程度上的不同。

領(lǐng)導層呼吁暫停GenAI，而從業(yè)者繼續(xù)推進

盡管對GenAI相關(guān)風險的廣泛認知已經(jīng)存在，但這種令人擔憂的漏洞現(xiàn)狀依然持續(xù)。大多數(shù)企業(yè)承認GenAI是首要的信息技術(shù)威脅，普遍擔憂包括敏感數(shù)據(jù)泄露和模型操縱等問題。然而，主動的測試和安全實踐卻未能跟上節(jié)奏。

僅有66%的組織定期對其GenAI驅(qū)動的產(chǎn)品進行測試，仍有相當一部分產(chǎn)品處于無保護狀態(tài)。

48%的受訪者認為需要“戰(zhàn)略性暫?！?，以重新調(diào)整對GenAI驅(qū)動威脅的防御策略。但這一暫停并未到來。

“威脅行為者不會坐等時機，安全團隊也同樣不能等待，”Cobalt公司的首席技術(shù)官Gunter Ollmann表示?！拔覀兊难芯勘砻鳎m然GenAI正在重塑我們的工作方式，但它也在改寫風險規(guī)則。安全基礎(chǔ)必須同步演進，否則我們將冒著在過時保障措施上構(gòu)建未來創(chuàng)新的風險?！?/p>

安全領(lǐng)導層比一線從業(yè)者更傾向于支持暫停GenAI的部署，并將GenAI視為網(wǎng)絡安全威脅而非有用工具。這表明領(lǐng)導層與實際操作團隊之間存在認知分歧，并凸顯了測試數(shù)據(jù)中未反映出的潛在過度自信問題。

解析LLM的關(guān)鍵漏洞

在LLM漏洞方面，安全團隊的擔憂與實際測試中發(fā)現(xiàn)的問題之間存在脫節(jié)。

許多專業(yè)人士關(guān)注的是數(shù)據(jù)保護，如敏感信息泄露、模型操縱和訓練數(shù)據(jù)暴露等問題，這在AI系統(tǒng)的數(shù)據(jù)安全高風險環(huán)境下是完全可以理解的。

但滲透測試揭示了不同的情況。最常見的問題并非直接的數(shù)據(jù)泄露，而是諸如提示注入或不安全輸出等弱點。這些問題表面上看可能并不緊急，但它們卻可能成為攻擊者獲取敏感數(shù)據(jù)的途徑。

“與云采用的迅猛勢頭相似，GenAI暴露了創(chuàng)新與安全準備之間的根本性差距，”O(jiān)llmann補充道，“成熟的控制措施并未為LLM的世界所設(shè)計。安全團隊必須迅速從被動審計轉(zhuǎn)向程序化、主動性的AI測試?！?/p>