盡管GenAI威脅已成為安全團(tuán)隊(duì)和領(lǐng)導(dǎo)層關(guān)注的首要問題，但根據(jù)Cobalt公司的報告，當(dāng)前對大型語言模型(LLM)及AI驅(qū)動應(yīng)用的測試和修復(fù)工作并未跟上風(fēng)險的增長步伐。

滲透測試數(shù)據(jù)揭示LLM安全領(lǐng)域的行業(yè)分歧

報告中的滲透測試數(shù)據(jù)凸顯了一個令人不安的現(xiàn)實(shí)：LLM應(yīng)用常常存在嚴(yán)重的安全漏洞，這些問題在高風(fēng)險場景中出現(xiàn)的頻率遠(yuǎn)高于其他任何類型的系統(tǒng)，表明LLM的部署帶來了尤為突出的風(fēng)險。

更令人擔(dān)憂的是，這些嚴(yán)重漏洞得到修復(fù)的情況極為罕見，在所有測試系統(tǒng)中，LLM的修復(fù)率最低，導(dǎo)致許多關(guān)鍵風(fēng)險懸而未決，盡管部分問題能迅速得到解決，但這很可能僅反映了那些易于修復(fù)的情況，而更為復(fù)雜和危險的缺陷則持續(xù)累積，形成了日益擴(kuò)大的安全缺口。

滲透測試中發(fā)現(xiàn)的嚴(yán)重漏洞情況因行業(yè)而異，這為我們揭示了哪些領(lǐng)域可能面臨最大風(fēng)險。報告指出，行政服務(wù)、交通運(yùn)輸、酒店業(yè)、制造業(yè)和教育等行業(yè)存在較高比例的關(guān)鍵安全問題。相比之下，娛樂、金融服務(wù)和信息服務(wù)等行業(yè)則較少出現(xiàn)嚴(yán)重漏洞。這些差異可能反映了各行業(yè)在安全成熟度、系統(tǒng)復(fù)雜性或監(jiān)管嚴(yán)格程度上的不同。

領(lǐng)導(dǎo)層呼吁暫停GenAI，而從業(yè)者繼續(xù)推進(jìn)

盡管對GenAI相關(guān)風(fēng)險的廣泛認(rèn)知已經(jīng)存在，但這種令人擔(dān)憂的漏洞現(xiàn)狀依然持續(xù)。大多數(shù)企業(yè)承認(rèn)GenAI是首要的信息技術(shù)威脅，普遍擔(dān)憂包括敏感數(shù)據(jù)泄露和模型操縱等問題。然而，主動的測試和安全實(shí)踐卻未能跟上節(jié)奏。

僅有66%的組織定期對其GenAI驅(qū)動的產(chǎn)品進(jìn)行測試，仍有相當(dāng)一部分產(chǎn)品處于無保護(hù)狀態(tài)。

48%的受訪者認(rèn)為需要“戰(zhàn)略性暫?！?，以重新調(diào)整對GenAI驅(qū)動威脅的防御策略。但這一暫停并未到來。

“威脅行為者不會坐等時機(jī)，安全團(tuán)隊(duì)也同樣不能等待，”Cobalt公司的首席技術(shù)官Gunter Ollmann表示?！拔覀兊难芯勘砻?，雖然GenAI正在重塑我們的工作方式，但它也在改寫風(fēng)險規(guī)則。安全基礎(chǔ)必須同步演進(jìn)，否則我們將冒著在過時保障措施上構(gòu)建未來創(chuàng)新的風(fēng)險?！?/p>

安全領(lǐng)導(dǎo)層比一線從業(yè)者更傾向于支持暫停GenAI的部署，并將GenAI視為網(wǎng)絡(luò)安全威脅而非有用工具。這表明領(lǐng)導(dǎo)層與實(shí)際操作團(tuán)隊(duì)之間存在認(rèn)知分歧，并凸顯了測試數(shù)據(jù)中未反映出的潛在過度自信問題。

解析LLM的關(guān)鍵漏洞

在LLM漏洞方面，安全團(tuán)隊(duì)的擔(dān)憂與實(shí)際測試中發(fā)現(xiàn)的問題之間存在脫節(jié)。

許多專業(yè)人士關(guān)注的是數(shù)據(jù)保護(hù)，如敏感信息泄露、模型操縱和訓(xùn)練數(shù)據(jù)暴露等問題，這在AI系統(tǒng)的數(shù)據(jù)安全高風(fēng)險環(huán)境下是完全可以理解的。

但滲透測試揭示了不同的情況。最常見的問題并非直接的數(shù)據(jù)泄露，而是諸如提示注入或不安全輸出等弱點(diǎn)。這些問題表面上看可能并不緊急，但它們卻可能成為攻擊者獲取敏感數(shù)據(jù)的途徑。

“與云采用的迅猛勢頭相似，GenAI暴露了創(chuàng)新與安全準(zhǔn)備之間的根本性差距，”O(jiān)llmann補(bǔ)充道，“成熟的控制措施并未為LLM的世界所設(shè)計(jì)。安全團(tuán)隊(duì)必須迅速從被動審計(jì)轉(zhuǎn)向程序化、主動性的AI測試?！?/p>