CISO的角色一直保護(hù)企業(yè)免受其尚未理解的威脅，AI投毒攻擊要求CISO重新思考風(fēng)險(xiǎn)、架構(gòu)、關(guān)系以及共同責(zé)任。

2025年5月，美國(guó)國(guó)家安全局(NSA)、網(wǎng)絡(luò)安全與基礎(chǔ)設(shè)施安全局(CISA)和聯(lián)邦調(diào)查局(FBI)與澳大利亞、新西蘭和英國(guó)政府合作，發(fā)布了一份聯(lián)合公告，確認(rèn)敵對(duì)勢(shì)力正通過(guò)篡改訓(xùn)練數(shù)據(jù)，在各行業(yè)中對(duì)AI系統(tǒng)進(jìn)行投毒攻擊，這些模型仍能運(yùn)行，但不再與現(xiàn)實(shí)保持一致。

對(duì)于CISO而言，這標(biāo)志著與云計(jì)算采納或勒索軟件興起同樣重大的轉(zhuǎn)變。安全邊界再次移動(dòng)，這次是進(jìn)入了用于訓(xùn)練算法的大型語(yǔ)言模型(LLM)內(nèi)部。公告中關(guān)于如何應(yīng)對(duì)數(shù)據(jù)投毒導(dǎo)致的數(shù)據(jù)腐敗的指南，值得每位CISO關(guān)注。

AI投毒改變了企業(yè)攻擊面

在傳統(tǒng)安全框架中，目標(biāo)往往是二元的：拒絕訪問(wèn)、檢測(cè)入侵、恢復(fù)功能，但AI的破壞方式并不明顯，它會(huì)產(chǎn)生扭曲。被投毒的訓(xùn)練數(shù)據(jù)可以重塑系統(tǒng)對(duì)金融交易的分類方式、對(duì)醫(yī)學(xué)掃描的解讀或?qū)?nèi)容的過(guò)濾，而不會(huì)觸發(fā)警報(bào)。即使經(jīng)過(guò)良好校準(zhǔn)的模型，如果上游引入了污染信息，也可能學(xué)習(xí)到微妙的錯(cuò)誤。

顯著案例包括：

? 基礎(chǔ)模型在吸收了由一個(gè)名為“真理網(wǎng)”(Pravda Network)的俄羅斯大型網(wǎng)絡(luò)播種的材料后，開始重復(fù)克里姆林宮的宣傳言論。

? 兩家美國(guó)新聞媒體發(fā)布的一份由AI生成的閱讀清單中，包含了10個(gè)被誤認(rèn)為是真實(shí)作者所著的虛構(gòu)書名。

? 研究人員展示了訓(xùn)練圖像中的微小擾動(dòng)如何觸發(fā)錯(cuò)誤分類。

? 醫(yī)療領(lǐng)域的研究人員證明，在LLM中僅以0.001%的比例進(jìn)行數(shù)據(jù)投毒，就能觸發(fā)醫(yī)療錯(cuò)誤信息。

重新思考風(fēng)險(xiǎn)：從系統(tǒng)到認(rèn)識(shí)論

網(wǎng)絡(luò)安全一直是關(guān)于防御系統(tǒng)的，但在以AI為先的環(huán)境中，系統(tǒng)并非靜態(tài)，這使CISO的角色從傳統(tǒng)的邊界防御轉(zhuǎn)向了推理防御。敵手不僅僅是侵入網(wǎng)絡(luò);當(dāng)使用AI時(shí)，敵手通過(guò)數(shù)據(jù)投毒來(lái)篡改知識(shí)本身。

2023年，我提出CISO需要開始將AI系統(tǒng)視為不可預(yù)測(cè)的隊(duì)友，而非工具，我與長(zhǎng)期從事隱私和信息安全咨詢的麗貝卡·赫羅爾德(Rebecca Herold)討論了這種新對(duì)齊方式所需的內(nèi)容。她提出了八個(gè)基礎(chǔ)性問(wèn)題，對(duì)于每位探究AI系統(tǒng)保真度、推理漂移和機(jī)構(gòu)信任的CISO來(lái)說(shuō)仍然至關(guān)重要：

1. 用于訓(xùn)練AI的數(shù)據(jù)來(lái)源是什么?你能追溯其來(lái)源、處理方式以及是經(jīng)過(guò)整理還是抓取的嗎?

2. 你的AI能否以合規(guī)團(tuán)隊(duì)理解的方式解釋其決策過(guò)程?當(dāng)監(jiān)管機(jī)構(gòu)或?qū)徲?jì)員到來(lái)時(shí)，可解釋性至關(guān)重要。

3. 當(dāng)你的AI出現(xiàn)幻覺(jué)或編造信息時(shí)會(huì)發(fā)生什么?你是否建立了檢測(cè)機(jī)制和升級(jí)協(xié)議?

4. 當(dāng)你的AI犯錯(cuò)時(shí)，誰(shuí)負(fù)責(zé)?對(duì)于AI驅(qū)動(dòng)的結(jié)果是否有明確的責(zé)任鏈?

5. 你如何檢測(cè)你的AI是否被篡改或投毒?你是否在監(jiān)控行為漂移、對(duì)抗性輸入或訓(xùn)練集污染?

6. 你的AI隊(duì)友是否與企業(yè)的倫理框架保持一致?它反映的是你的價(jià)值觀還是僅僅是你的數(shù)據(jù)?

7. 采取了哪些保障措施來(lái)防止對(duì)抗性操縱?你的團(tuán)隊(duì)是否對(duì)模型進(jìn)行了紅隊(duì)測(cè)試，以應(yīng)對(duì)提示利用、數(shù)據(jù)投毒或合成身份注入?

8. 你是否準(zhǔn)備好在法庭或公眾輿論中為AI的決策辯護(hù)?你能否向監(jiān)管機(jī)構(gòu)、客戶和媒體解釋并證明結(jié)果?

對(duì)齊需要架構(gòu)

網(wǎng)絡(luò)安全協(xié)作者Airrived的首席執(zhí)行官阿努拉格·古爾圖(Anurag Gurtu)長(zhǎng)期警告說(shuō)，如果沒(méi)有上下文強(qiáng)化，GenAI模型往往會(huì)趨向于合理的錯(cuò)誤。他主張整合基于圖的結(jié)構(gòu)和領(lǐng)域特定規(guī)則集，以幫助約束AI推理，這一建議現(xiàn)在變得更加緊迫。

教訓(xùn)是明確的：當(dāng)AI在沒(méi)有監(jiān)督的情況下吸收信息，并在沒(méi)有可審計(jì)性的情況下輸出信息時(shí)，現(xiàn)實(shí)與響應(yīng)之間的差距會(huì)擴(kuò)大，這種差距成為了系統(tǒng)完整性、語(yǔ)義保真度和信任的破壞。

共同管理，中央責(zé)任

CISO仍然是企業(yè)韌性的關(guān)鍵人物，他們發(fā)現(xiàn)自己正在應(yīng)對(duì)跨越多個(gè)領(lǐng)域的AI投毒風(fēng)險(xiǎn)，因此，合作伙伴關(guān)系至關(guān)重要。首席信任官(如果存在)帶來(lái)了將模型行為與機(jī)構(gòu)價(jià)值觀和社會(huì)責(zé)任對(duì)齊的視角，首席數(shù)據(jù)官管理訓(xùn)練資產(chǎn)的完整性、來(lái)源和生命周期，首席隱私官確保在整個(gè)AI流程中數(shù)據(jù)的合法和道德處理。

這些領(lǐng)導(dǎo)者進(jìn)行協(xié)作，但CISO進(jìn)行整合，最終，是CISO需要向內(nèi)部和外部受眾解釋一個(gè)被破壞的模型是如何做出決策的，以及企業(yè)采取了哪些措施來(lái)防止這種情況的發(fā)生。

每位CISO現(xiàn)在可以采取的六項(xiàng)行動(dòng)

為了降低風(fēng)險(xiǎn)并重新獲得對(duì)模型行為的可見(jiàn)性，安全領(lǐng)導(dǎo)者應(yīng)采取以下六項(xiàng)與三個(gè)要?jiǎng)?wù)相一致的行動(dòng)：可見(jiàn)性、警惕性和可行性。

可見(jiàn)性

1. 映射AI依賴關(guān)系：識(shí)別每個(gè)內(nèi)部或第三方系統(tǒng)中AI影響重大決策的地方，包括SaaS平臺(tái)中的嵌入式AI和影子部署。

2. 建立數(shù)據(jù)來(lái)源協(xié)議：要求記錄每個(gè)模型構(gòu)建的訓(xùn)練輸入、版本控制和數(shù)字監(jiān)管鏈。

警惕性

3. 監(jiān)控行為漂移：使用已知基準(zhǔn)、金絲雀輸入和對(duì)抗性探測(cè)來(lái)檢測(cè)隨時(shí)間、上下文和用戶群體發(fā)生的語(yǔ)義漂移。

4. 對(duì)意義而非僅對(duì)訪問(wèn)進(jìn)行紅隊(duì)測(cè)試：模擬投毒輸入、基于提示的利用和合成身份交互，以評(píng)估模型韌性。

可行性

5. 制定模型失敗應(yīng)對(duì)方案：為涉及幻覺(jué)輸出、監(jiān)管不合規(guī)或公眾虛假信息事件的場(chǎng)景做準(zhǔn)備，包括升級(jí)路徑、回滾程序和公眾溝通協(xié)議。

6. 在整個(gè)企業(yè)中投資AI流利度：安全、法律、合規(guī)和風(fēng)險(xiǎn)領(lǐng)導(dǎo)者都必須了解如何質(zhì)疑AI，而不僅僅是信任AI。

供CISO思考的問(wèn)題

AI系統(tǒng)現(xiàn)在是企業(yè)決策的共同作者，它們預(yù)測(cè)信用風(fēng)險(xiǎn)、標(biāo)記健康異常、篩選申請(qǐng)人并分類威脅，但當(dāng)這些系統(tǒng)在投毒數(shù)據(jù)上訓(xùn)練時(shí)，危害并非始于其部署，而是始于其形成過(guò)程。

CISO的角色一直是保護(hù)企業(yè)免受其尚未理解的威脅，AI投毒正是這種威脅。

一旦算法破壞了信任，就無(wú)法通過(guò)補(bǔ)丁來(lái)恢復(fù)，它必須被重建，且必須是故意和透明的，并在CISO的監(jiān)督下進(jìn)行。