在實(shí)施AI的過(guò)程中，若企業(yè)不對(duì)其安全計(jì)劃進(jìn)行適應(yīng)性調(diào)整，就可能面臨各種新舊威脅。

機(jī)器學(xué)習(xí)安全運(yùn)維(MLSecOps)通過(guò)將AI和機(jī)器學(xué)習(xí)(ML)開發(fā)與嚴(yán)格的安全準(zhǔn)則相結(jié)合，解決了安全邊界中的這一關(guān)鍵缺陷。根據(jù)開放軟件安全基金會(huì)(Open Software Security Foundation)的一份白皮書，建立穩(wěn)固的MLSecOps基礎(chǔ)對(duì)于主動(dòng)降低漏洞風(fēng)險(xiǎn)和簡(jiǎn)化先前未發(fā)現(xiàn)缺陷的修復(fù)流程至關(guān)重要。

AI/ML系統(tǒng)必須保持可信、穩(wěn)健和安全。MLSecOps能夠幫助安全團(tuán)隊(duì)在業(yè)務(wù)規(guī)模擴(kuò)大的同時(shí)，嵌入保護(hù)措施。

MLSecOps實(shí)施挑戰(zhàn)

隨著企業(yè)開始建立更強(qiáng)大的ML和AI安全體系，他們將面臨六大主要挑戰(zhàn)。領(lǐng)導(dǎo)層和安全策略制定者必須了解如何識(shí)別這些問(wèn)題，并在懷疑模型存在風(fēng)險(xiǎn)時(shí)采取相應(yīng)措施。

1. 定義獨(dú)特且不斷變化的威脅態(tài)勢(shì)

許多與MLSecOps相關(guān)的DevSecOps安全實(shí)踐在應(yīng)用于AI威脅態(tài)勢(shì)時(shí)往往效果不佳。

DevSecOps主要圍繞安全人員多年來(lái)已熟知的傳統(tǒng)軟件漏洞展開，如后門、漏洞、故障等。AI和ML系統(tǒng)對(duì)大多數(shù)企業(yè)來(lái)說(shuō)尚屬新興技術(shù)，因此除了現(xiàn)有流程外，安全團(tuán)隊(duì)還需考慮一系列新的威脅向量，如數(shù)據(jù)投毒、對(duì)抗性輸入、模型盜竊或篡改，甚至模型反轉(zhuǎn)和成員推理等針對(duì)隱私的攻擊。

防御這些新威脅意味著需要專門針對(duì)ML生命周期設(shè)計(jì)控制措施。安全專業(yè)人員必須為反復(fù)的、試探性的攻擊做好準(zhǔn)備，而非僅僅防范隱蔽的一次性黑客攻擊。對(duì)模型進(jìn)行壓力測(cè)試至關(guān)重要。

2. 持續(xù)訓(xùn)練的隱藏復(fù)雜性

AI模型會(huì)不斷進(jìn)化，這為MLSecOps安全增加了另一層復(fù)雜性，每次模型基于數(shù)據(jù)進(jìn)行訓(xùn)練和再訓(xùn)練時(shí)，都可能為ML生態(tài)系統(tǒng)引入新的漏洞，這意味著模型可能在某一天是安全的，而另一天則不然。

為了應(yīng)對(duì)這一問(wèn)題，每次模型再訓(xùn)練都應(yīng)被視為一個(gè)全新的產(chǎn)品版本，IT和安全領(lǐng)導(dǎo)層甚至可以考慮為模型的最新版本創(chuàng)建配套材料——就像應(yīng)用開發(fā)者在每次新版本發(fā)布時(shí)分享版本詳情一樣——概述模型訓(xùn)練所使用的數(shù)據(jù)，以及此版本與上一版本的不同之處。如果不對(duì)模型訓(xùn)練進(jìn)行持續(xù)跟蹤，MLSecOps計(jì)劃的安全性將隨時(shí)間推移而下降。

3. 管理ML模型的不透明性和可解釋性

ML模型，即使是其創(chuàng)建者，也往往將其視為“黑箱”，因此對(duì)其如何得出答案知之甚少。對(duì)于安全專業(yè)人員來(lái)說(shuō)，這意味著審計(jì)或驗(yàn)證行為的能力有限——而這傳統(tǒng)上是網(wǎng)絡(luò)安全的一個(gè)關(guān)鍵方面。

有辦法可以繞過(guò)AI和ML系統(tǒng)的這種不透明性：使用可信執(zhí)行環(huán)境(TEE)，這些是安全的飛地，企業(yè)可以在其中在受控的生態(tài)系統(tǒng)中反復(fù)測(cè)試模型，并創(chuàng)建證明數(shù)據(jù)。

TEE使企業(yè)能夠利用證明數(shù)據(jù)為適當(dāng)?shù)哪Ｐ托袨榻㈩A(yù)先設(shè)定的標(biāo)準(zhǔn)和指南，從而使模型研究人員能夠決定AI系統(tǒng)是否值得信賴。雖然TEE并不能使模型變得透明，但它能確保不可預(yù)測(cè)或未知行為的風(fēng)險(xiǎn)不會(huì)進(jìn)入生產(chǎn)環(huán)境。

4. 創(chuàng)建安全的訓(xùn)練數(shù)據(jù)管道

模型并非靜態(tài)不變，而是由其攝入的數(shù)據(jù)所塑造，因此，數(shù)據(jù)投毒對(duì)于需要重新訓(xùn)練的ML模型來(lái)說(shuō)是一個(gè)持續(xù)存在的威脅。

企業(yè)必須在訓(xùn)練過(guò)程中嵌入自動(dòng)化檢查，以確保數(shù)據(jù)管道的持續(xù)安全，利用TEE提供的信息以及模型應(yīng)有的行為準(zhǔn)則，可以在每次向AI和ML模型提供新信息時(shí)評(píng)估其完整性和準(zhǔn)確性。

同樣，對(duì)于用戶向模型提供的數(shù)據(jù)也應(yīng)如此，安全領(lǐng)導(dǎo)層應(yīng)定期對(duì)其MLSecOps計(jì)劃的穩(wěn)健性進(jìn)行檢查。

5. 模型溯源與可復(fù)現(xiàn)性

更新的訓(xùn)練數(shù)據(jù)、配置漂移和不斷演變的庫(kù)使得跟蹤模型的穩(wěn)定性和性能變得困難，特別是當(dāng)模型決策出現(xiàn)問(wèn)題時(shí)，感覺(jué)無(wú)法追蹤甚至復(fù)現(xiàn)先前版本的模型。

解決方案是為模型創(chuàng)建譜系，使安全團(tuán)隊(duì)能夠了解模型的版本控制和隨時(shí)間的變化，這可能包括數(shù)據(jù)集、訓(xùn)練配置的詳細(xì)快照以及模型的依賴關(guān)系，當(dāng)由于模型及其數(shù)據(jù)的不斷變化而無(wú)法精確復(fù)現(xiàn)時(shí)，企業(yè)應(yīng)追求近似復(fù)現(xiàn)，能夠重新測(cè)試模型并獲得可比結(jié)果將保持對(duì)模型進(jìn)展的信任。

6. 風(fēng)險(xiǎn)評(píng)估的困難

適用于傳統(tǒng)軟件的風(fēng)險(xiǎn)評(píng)估框架并不適用于變化多端的AI和ML程序，傳統(tǒng)評(píng)估未能考慮到ML特有的權(quán)衡，例如準(zhǔn)確性與公平性、安全性與可解釋性或透明度與效率之間的權(quán)衡。

為了應(yīng)對(duì)這一難題，企業(yè)必須根據(jù)具體情況評(píng)估模型，考慮其使命、用例和背景以評(píng)估風(fēng)險(xiǎn)，這當(dāng)然不是進(jìn)行風(fēng)險(xiǎn)評(píng)估的常規(guī)方式，但模型的操作決策必須由優(yōu)先級(jí)文化來(lái)指導(dǎo)，跨職能協(xié)作也是評(píng)估的關(guān)鍵，吸納ML工程師、安全團(tuán)隊(duì)和政策領(lǐng)導(dǎo)者來(lái)監(jiān)督模型將提高安全性。

應(yīng)對(duì)不斷變化的目標(biāo)

如果企業(yè)希望利用AI和ML工作流程，那么他們也必須將MLSecOps視為該計(jì)劃中不可或缺的一部分。

這六大挑戰(zhàn)凸顯了AI安全的復(fù)雜性，但它們也為企業(yè)構(gòu)建真正嚴(yán)密、可信的MLSecOps提供了機(jī)遇。

實(shí)現(xiàn)安全的第一步是承認(rèn)現(xiàn)有安全實(shí)踐的局限性，并制定新規(guī)則以應(yīng)對(duì)AI和ML的獨(dú)特性。最終，企業(yè)將把MLSecOps視為負(fù)責(zé)任地部署AI的基石，但這需要安全領(lǐng)導(dǎo)者立即采取行動(dòng)，為安全性和信任設(shè)定更高標(biāo)準(zhǔn)。