人工智能 （AI） 工具有望應(yīng)用于從自動(dòng)駕駛汽車(chē)到醫(yī)學(xué)圖像解釋等各種應(yīng)用。然而，美國(guó)北卡羅來(lái)納州立大學(xué)研究人員的一項(xiàng)研究發(fā)現(xiàn)，這些AI工具比以前認(rèn)為的更容易受到有針對(duì)性的攻擊，這些攻擊有效地迫使AI系統(tǒng)做出錯(cuò)誤的決定。

所謂的“對(duì)抗性攻擊”是指有人操縱輸入AI系統(tǒng)的數(shù)據(jù)以迷惑它。例如，有人可能知道，在停車(chē)標(biāo)志的特定位置貼上特定類(lèi)型的貼紙可以有效地使停車(chē)標(biāo)志對(duì)AI系統(tǒng)不可見(jiàn)?；蛘?，黑客可以在 X 光機(jī)上安裝代碼，改變圖像數(shù)據(jù)，從而導(dǎo)致人工智能系統(tǒng)做出不準(zhǔn)確的診斷。

“在大多數(shù)情況下，你可以對(duì)停車(chē)標(biāo)志進(jìn)行各種改動(dòng)，并且經(jīng)過(guò)訓(xùn)練以識(shí)別停車(chē)標(biāo)志的AI仍然會(huì)知道它是一個(gè)停車(chē)標(biāo)志?！盩ianfu Wu說(shuō)，他是北卡羅來(lái)納州立大學(xué)電氣和計(jì)算機(jī)工程副教授，也是一篇關(guān)于這項(xiàng)研究的論文合著者?！暗牵绻鸄I存在漏洞，并且攻擊者知道該漏洞，則攻擊者可能會(huì)利用該漏洞并造成事故?！?/p>

Tianfu Wu和他的合作者的新研究側(cè)重于確定這些對(duì)抗性漏洞在AI深度神經(jīng)網(wǎng)絡(luò)中的普遍性。他們發(fā)現(xiàn)這些漏洞比以前想象的要普遍得多。

“更重要的是，我們發(fā)現(xiàn)攻擊者可以利用這些漏洞來(lái)迫使AI將數(shù)據(jù)解釋為他們想要的任何東西。” Wu說(shuō)，“以停車(chē)標(biāo)志為例，你可以讓AI系統(tǒng)認(rèn)為停車(chē)標(biāo)志是一個(gè)郵箱，或者一個(gè)限速標(biāo)志，或者一個(gè)綠燈，等等，只需使用稍微不同的貼紙——或者任何漏洞?！?/p>

這非常重要，因?yàn)槿绻鸄I系統(tǒng)對(duì)這類(lèi)攻擊的抵抗力不強(qiáng)，人們就不會(huì)希望將該系統(tǒng)投入實(shí)際使用——尤其是可能影響人類(lèi)生活的重要應(yīng)用。

為了測(cè)試深度神經(jīng)網(wǎng)絡(luò)對(duì)這些對(duì)抗性攻擊的脆弱性，研究人員開(kāi)發(fā)了一款名為QuadAttacK的軟件。該軟件可用于測(cè)試任何深度神經(jīng)網(wǎng)絡(luò)的對(duì)抗性漏洞。

基本上，如果你有一個(gè)訓(xùn)練有素的AI系統(tǒng)，并且你用干凈的數(shù)據(jù)對(duì)其進(jìn)行測(cè)試，AI系統(tǒng)的行為將如預(yù)測(cè)的那樣。QuadAttacK 觀察這些操作，并了解 AI 如何做出與數(shù)據(jù)相關(guān)的決策。這使得 QuadAttacK 能夠確定如何操縱數(shù)據(jù)來(lái)欺騙 AI。

然后，QuadAttacK 開(kāi)始向 AI 系統(tǒng)發(fā)送操縱數(shù)據(jù)，以查看 AI 如何響應(yīng)。如果 QuadAttacK 發(fā)現(xiàn)了一個(gè)漏洞，它可以快速讓 AI 看到 QuadAttacK 希望它看到的任何內(nèi)容。

在概念驗(yàn)證測(cè)試中，研究人員使用 QuadAttacK 測(cè)試了四個(gè)深度神經(jīng)網(wǎng)絡(luò)：兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)（ResNet-50 和 DenseNet-121）和兩個(gè)視覺(jué)轉(zhuǎn)換器（ViT-B 和 DEiT-S）。之所以選擇這四個(gè)網(wǎng)絡(luò)，是因?yàn)樗鼈冊(cè)谌蛉斯ぶ悄芟到y(tǒng)中被廣泛使用。

“我們驚訝地發(fā)現(xiàn)，這四個(gè)網(wǎng)絡(luò)都非常容易受到對(duì)抗性攻擊，”Wu說(shuō)，“我們特別驚訝的是，我們可以在多大程度上微調(diào)攻擊，讓網(wǎng)絡(luò)看到我們希望他們看到的東西?！?/p>

研究團(tuán)隊(duì)已經(jīng)公開(kāi)了QuadAttacK，以便研究社區(qū)可以自己使用它來(lái)測(cè)試神經(jīng)網(wǎng)絡(luò)的漏洞。“現(xiàn)在我們可以更好地識(shí)別這些漏洞，下一步是找到最小化這些漏洞的方法，” Wu說(shuō)，“我們已經(jīng)有一些潛在的解決方案，但這項(xiàng)工作的結(jié)果還有待檢驗(yàn)中。”