人工智能 (AI) 可能為各種規(guī)模的企業(yè)開(kāi)辟了新的機(jī)會(huì)和市場(chǎng)，但對(duì)于不同的黑客群體來(lái)說(shuō)，這為通過(guò)稱為數(shù)據(jù)中毒的過(guò)程欺騙機(jī)器學(xué)習(xí) (ML) 系統(tǒng)提供了機(jī)會(huì)。

“數(shù)據(jù)中毒”（Data poisoning）是一種特殊的對(duì)抗攻擊，是針對(duì)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型行為的一系列技術(shù)。 惡意行為者可以利用數(shù)據(jù)中毒為自己打開(kāi)進(jìn)入機(jī)器學(xué)習(xí)模型的后門，從而繞過(guò)由人工智能算法控制的系統(tǒng)。數(shù)據(jù)中毒攻擊旨在通過(guò)插入錯(cuò)誤標(biāo)記的數(shù)據(jù)來(lái)修改模型的訓(xùn)練集，目的是誘使它做出錯(cuò)誤的預(yù)測(cè)。

專家表示，這些攻擊每天都在被忽視，這不僅會(huì)損失企業(yè)的潛在收入，還會(huì)感染機(jī)器學(xué)習(xí)系統(tǒng)，這些系統(tǒng)繼續(xù)重新感染那些依賴用戶輸入進(jìn)行持續(xù)訓(xùn)練的機(jī)器學(xué)習(xí)模型。

麥肯錫認(rèn)為AI-ML技術(shù)的潛在全球影響價(jià)值為10萬(wàn)億美元至15萬(wàn)億美元，并表示該領(lǐng)域的早期領(lǐng)導(dǎo)者已經(jīng)看到5年股東總回報(bào)增加了 250%。但是，當(dāng)麥肯錫向1000 多名高管詢問(wèn)他們的數(shù)字化轉(zhuǎn)型工作時(shí)，72% 的受訪組織表示他們沒(méi)有成功擴(kuò)展。

即使是剛開(kāi)始使用黑魔法的黑客也發(fā)現(xiàn)數(shù)據(jù)中毒攻擊相對(duì)容易執(zhí)行，因?yàn)閯?chuàng)建“污染”數(shù)據(jù)通?？梢栽诓涣私庖绊懙南到y(tǒng)的情況下完成。操縱自動(dòng)補(bǔ)全以影響產(chǎn)品評(píng)論和政治虛假宣傳活動(dòng)每天都在發(fā)生。

數(shù)據(jù)中毒攻擊可能會(huì)降低機(jī)器學(xué)習(xí)服務(wù)的可靠性

針對(duì)機(jī)器學(xué)習(xí)的攻擊通常被認(rèn)為集中在兩個(gè)要素上：攻擊者擁有的信息和攻擊的時(shí)機(jī)，這解釋了ML算法、模型和數(shù)據(jù)安全解決方案提供商HiddenLayer?的Eoin Wickens?、Marta Janus?和Tom Bonner最近進(jìn)行的研究。

攻擊者可以通過(guò)修改現(xiàn)有數(shù)據(jù)集中的條目或向數(shù)據(jù)集中注入被篡改的數(shù)據(jù)來(lái)執(zhí)行數(shù)據(jù)中毒，這些數(shù)據(jù)可以更容易地輸入到那些基于在線機(jī)器學(xué)習(xí)的服務(wù)中，這些服務(wù)通過(guò)用戶提供的輸入不斷地重新訓(xùn)練。

有時(shí)，黑客只是想降低機(jī)器學(xué)習(xí)模型的整體可靠性，也許是為了實(shí)現(xiàn)與 ML 模型旨在產(chǎn)生的檢查相反的決定。在更有針對(duì)性的攻擊中，目標(biāo)可能是一個(gè)更具體的錯(cuò)誤結(jié)果，同時(shí)保持其他人的準(zhǔn)確性，這些可能會(huì)在很長(zhǎng)一段時(shí)間內(nèi)被忽視。

包括自動(dòng)補(bǔ)全、聊天機(jī)器人、垃圾郵件過(guò)濾器、入侵檢測(cè)系統(tǒng)、金融欺詐預(yù)防甚至醫(yī)療診斷工具在內(nèi)的技術(shù)都容易受到數(shù)據(jù)中毒攻擊，因?yàn)樗鼈兪褂迷诰€訓(xùn)練或持續(xù)學(xué)習(xí)模型。

NCC Group?首席科學(xué)家Chris Anley?在他最近的論文Practical Attacks on Machine Learning Systems中解釋說(shuō)，黑客和不良行為者可能旨在將系統(tǒng)與精心制作的不良數(shù)據(jù)混淆，以添加“后門”行為。 

“例如，用于身份驗(yàn)證的面部識(shí)別系統(tǒng)可能會(huì)被操縱，以允許任何佩戴特定眼鏡的人被歸類為某個(gè)用戶，而在其他情況下，系統(tǒng)會(huì)正常運(yùn)行，”Anley 解釋說(shuō)?！?/p>

Anley說(shuō)，現(xiàn)在需要采取行動(dòng)，因?yàn)樵絹?lái)越多的證據(jù)突出了必須解決的問(wèn)題。Anley 還表示，用于訓(xùn)練系統(tǒng)的敏感數(shù)據(jù)通?？梢员还粽呋謴?fù)并用于攻擊系統(tǒng)，而神經(jīng)網(wǎng)絡(luò)分類器可能是“脆弱的”，因?yàn)樗鼈兛赡鼙黄葘?duì)數(shù)據(jù)進(jìn)行錯(cuò)誤分類。他補(bǔ)充說(shuō)，現(xiàn)有的對(duì)策可能會(huì)降低準(zhǔn)確性，甚至為其他攻擊打開(kāi)大門。遠(yuǎn)程黑客可以提取經(jīng)過(guò)訓(xùn)練的 ML 模型的高保真副本，為他們提供一個(gè)馴服的示例，以觀察和學(xué)習(xí)未來(lái)的攻擊。

“雖然由于可能存在各種緩解措施，利用這些問(wèn)題并不總是可行，但這些新形式的攻擊已經(jīng)得到證明，并且在實(shí)際場(chǎng)景中肯定是可行的?！盇nley 說(shuō)。