即便沒有ChatGPT和生成式AI的火爆應(yīng)用，人工智能（AI）技術(shù)的應(yīng)用安全威脅都已經(jīng)開始顯現(xiàn)。安全研究人員表示，在AI技術(shù)快速應(yīng)用發(fā)展過程中，其安全性也面臨諸多挑戰(zhàn)。為了防范AI技術(shù)大規(guī)模應(yīng)用的安全風(fēng)險(xiǎn)，企業(yè)需要打贏一場“雙線戰(zhàn)爭”，不僅需要能夠阻止對抗性AI攻擊對已部署的AI模型所構(gòu)成的威脅，而且還要面對攻擊者利用AI技術(shù)發(fā)起各種類型的新攻擊。

1. AI投毒攻擊

攻擊者可以操縱（毒化）AI模型的一小部分輸入數(shù)據(jù)，以破壞其訓(xùn)練數(shù)據(jù)集和準(zhǔn)確性。最常見的投毒形式是后門投毒，即使極少一部分訓(xùn)練數(shù)據(jù)受到影響。在很長時(shí)間里，AI模型仍然可以繼續(xù)給出高度準(zhǔn)確的結(jié)果，直到它在接觸特定的觸發(fā)器時(shí)被“激活”而功能失靈。“AI模型投毒”會(huì)嚴(yán)重威脅到AI應(yīng)用的完整性和安全性。因此，大型語言模型（LLM）需要接受風(fēng)險(xiǎn)和安全研究人員的嚴(yán)格審查，以探索反饋循環(huán)和AI偏見等問題如何使AI輸出不可靠。

2. 武器化的AI模型

AI技術(shù)的研究與創(chuàng)新需要高度的團(tuán)隊(duì)協(xié)作和迭代開發(fā)，因此會(huì)涉及大量的共享，包括數(shù)據(jù)共享和模型共享，這可能會(huì)給AI供應(yīng)鏈帶來重大風(fēng)險(xiǎn)。研究人員最新發(fā)現(xiàn)了一種AI攻擊的新模式，攻擊者首先劫持了公共代碼庫上的合法AI模型，再將惡意代碼嵌入到這些預(yù)訓(xùn)練的AI模型中，對其進(jìn)行惡意制作，一旦用戶重新加載了這些被修改的AI模型，攻擊者就可以實(shí)施勒索攻擊等非法活動(dòng)。

3. 數(shù)據(jù)隱私攻擊

圍繞AI的一些最大風(fēng)險(xiǎn)實(shí)際上是數(shù)據(jù)安全和數(shù)據(jù)隱私威脅。如果AI模型沒有建立足夠的隱私措施，攻擊者就有可能破壞用于訓(xùn)練這些模型數(shù)據(jù)的機(jī)密性。對于個(gè)人來說，了解企業(yè)如何使用人工智能、人工智能的功能及其對數(shù)據(jù)的影響將變得非常重要。同樣地，攻擊者可能會(huì)試圖使用惡意軟件竊取包含信用卡號碼或社會(huì)安全號碼等個(gè)人信息的敏感數(shù)據(jù)集。企業(yè)組織必須定期進(jìn)行安全審計(jì)，并在人工智能開發(fā)的所有階段實(shí)施強(qiáng)有力的數(shù)據(jù)保護(hù)實(shí)踐。隱私風(fēng)險(xiǎn)可能發(fā)生在數(shù)據(jù)生命周期的任何階段，因此為所有利益相關(guān)者制定統(tǒng)一的隱私安全策略非常重要。

4. 模型竊取攻擊

攻擊者從AI技術(shù)的應(yīng)用部署中竊取的不僅僅是數(shù)據(jù)，還可以通過各種類型的攻擊手段破解AI模型的運(yùn)行原理。當(dāng)然，攻擊者可能采取的最直接方法，就是通過網(wǎng)絡(luò)釣魚或密碼攻擊侵入源代碼存儲(chǔ)庫，直接竊取AI模型的實(shí)現(xiàn)代碼。此外，研究人員也探索了可能被攻擊者使用的AI模型提取攻擊，在這種攻擊方式中，攻擊者會(huì)通過反復(fù)測試模型的輸入和輸出，來觀察模型的反應(yīng)，并總結(jié)AI模型的數(shù)據(jù)分析行為和處理方式。

5. 海綿攻擊

在不久前舉辦的RSAC大會(huì)上，特別討論了未來幾年企業(yè)組織要重點(diǎn)關(guān)注的AI風(fēng)險(xiǎn)和彈性問題。其中，研究人員提出了一種名為“海綿攻擊”（Sponge Attack）的新型AI攻擊。在這種攻擊類型中，攻擊者可以通過特別制作的惡意數(shù)據(jù)輸入來耗盡AI模型的計(jì)算資源，從而對AI模型實(shí)施拒絕服務(wù)（DoS）攻擊。攻擊者會(huì)首先在神經(jīng)網(wǎng)絡(luò)中獲取AI模型的運(yùn)行參數(shù)，然后利用這些參數(shù)讓模型進(jìn)行大量的計(jì)算，直至使AI系統(tǒng)癱瘓。

6. 提示注入

在軟件開發(fā)者領(lǐng)域，有一句格言是“永遠(yuǎn)不要相信用戶輸入”。否則的話，可能會(huì)引發(fā)SQL注入和跨站點(diǎn)腳本等攻擊。隨著生成式AI的盛行，組織也將不得不擔(dān)心提示注入問題。提示注入是指在生成式AI中使用惡意制作的輸入，以誘導(dǎo)出不正確、不準(zhǔn)確甚至具有破壞性的模型反應(yīng)。當(dāng)開發(fā)人員將ChatGPT和其他大型語言模型（LLM）整合到他們的應(yīng)用程序中時(shí)，這些惡意的提示就會(huì)被AI模型處理，并觸發(fā)一些不安全的行為動(dòng)作，比如向網(wǎng)站發(fā)布欺詐內(nèi)容，或者制作可能包含非法的或煽動(dòng)性信息的電子郵件。

7. 逃逸攻擊

逃逸攻擊（Evasion attack）是目前最典型的對抗性AI攻擊之一，攻擊者會(huì)在不改變目標(biāo)機(jī)器學(xué)習(xí)系統(tǒng)的情況下，通過構(gòu)造特定輸入樣本以完成欺騙目標(biāo)系統(tǒng)的攻擊。例如，攻擊者可以修改一個(gè)惡意軟件樣本的非關(guān)鍵特征，使得它被一個(gè)反病毒系統(tǒng)判定為良性樣本，從而繞過檢測。攻擊者為實(shí)施逃逸攻擊而特意構(gòu)造的樣本通常被稱為“對抗樣本”。只要一個(gè)AI模型在判別機(jī)制方面存在不足，攻擊者就有可能構(gòu)造對抗樣本用以欺騙AI模型。

8. AI生成的網(wǎng)絡(luò)釣魚

惡意行為者不僅會(huì)繼續(xù)探索AI的缺陷，同時(shí)也在利用AI技術(shù)來提升現(xiàn)有攻擊手段的有效性。研究人員發(fā)現(xiàn)，攻擊者大量使用像ChatGPT這樣的生成式AI技術(shù)來自動(dòng)創(chuàng)建網(wǎng)絡(luò)釣魚電子郵件。研究數(shù)據(jù)顯示，自從ChatGPT正式發(fā)布以來，網(wǎng)絡(luò)釣魚攻擊的數(shù)量和成功率都有所增加。這一攻擊方式已被網(wǎng)絡(luò)安全研究與培訓(xùn)機(jī)構(gòu)SANS列為“2023年最危險(xiǎn)的5大網(wǎng)絡(luò)攻擊”。

9. Deepfake BEC騙局

ChatGPT的橫空出世，將深度偽造攻擊威脅從理論研究轉(zhuǎn)變到實(shí)際攻擊中。盡管模仿公司高級管理人員的欺詐行為目前還并不常見，但它們已被真實(shí)的應(yīng)用到BEC欺詐中。組織應(yīng)該努力提高安全意識，幫助所有員工了解語音和視頻等AI生成的數(shù)字化內(nèi)容比以往任何時(shí)候都更容易和真實(shí)，這會(huì)使得冒充CEO或其他高管變得非常容易，加劇了本已在增長的BEC威脅。

10. AI生成的惡意軟件

安全研究人員發(fā)現(xiàn)，今天的攻擊者開始越來越多地依靠生成式AI能來幫助他們制作惡意軟件，并快速發(fā)現(xiàn)目標(biāo)系統(tǒng)中的漏洞，從而加速和擴(kuò)大攻擊規(guī)模，甚至比他們使用其他自動(dòng)化技術(shù)所做的還要多。這也是SANS列舉的“2023年最危險(xiǎn)的5大網(wǎng)絡(luò)攻擊”中的另一大威脅。在RSAC 2023大會(huì)上，SANS漏洞研究人員Steven Sims展示了即使是非專業(yè)性的犯罪分子也開始嘗試?yán)肅hatGPT生成勒索軟件代碼，并已經(jīng)在特定代碼段中發(fā)現(xiàn)了由ChatGPT自動(dòng)生成的零日漏洞。

參考鏈接：https://www.darkreading.com/threat-intelligence/10-types-of-ai-attacks-cisos-should-track