藝術家對AI侵權的反擊來了——

在畫作里“投毒”，AI用了就會“中毒”出故障。

投毒工具由芝加哥大學團隊打造，名為Nightshade，可以對畫中像素添加隱形更改。

被下毒的畫一旦被非法抓取成為訓練數據被AI吃掉，模型就會生成混亂。

甚至還可能會破壞DALL-E、Midjourney、Stable Diffusion……這些繪圖模型的正常迭代。

先來看一波模型中毒發(fā)作時的樣子。

沒中毒時模型生成的狗是左圖這樣嬸兒的，中毒后生成的狗如右圖（喵）：

生成汽車更離譜，這是生成了輛牛車？

此外，研究人員用Stable Diffusion測試毒效，只需50張毒圖，就能讓模型輸出變得奇怪；數量達到300張時，生成的圖像已經完全變成了另一個物種。

△生成手提包和帽子，從左到右：沒被下毒、用50張有毒圖訓練、100張、300張，下同

看過了實物生成，再來看生成不同藝術風格的畫。

模型中毒后把奇幻藝術生成了點彩畫法，立體主義生成了動漫風格：

卡通、概念藝術等也沒能逃過：

重點是，由于模型訓練數據量龐大，模型中毒后，AI模型開發(fā)者想清理有毒的數據樣本也很難。

這款工具一經曝出，藝術創(chuàng)作者們就趕緊轉發(fā)了起來，熱度一路飆升。

路過的藝術創(chuàng)作者紛紛拍手叫絕：

終于有可以用來反擊的東西了??

看熱鬧的網友也不少，開始調侃此前一些AI公司“適者生存”、“不能阻止技術進步”的回應：

AI兄弟們：適者生存，不然就die。
藝術家：好吧，制造毒液。
AI兄弟們：等等，不是這個意思??！

不少網友將其稱為“藝術的反擊”：

很高興看到關于創(chuàng)意DNA拉鋸戰(zhàn)正在展開。

雙管齊下&毒性很強

研究團隊不止開發(fā)了一款工具，還有一個工具叫做Glaze，可以“掩蓋”藝術家的個人風格。

它的原理和Nightshade類似，也是對圖像像素做一些微妙地改變，肉眼根本看不出來，但卻可以操縱模型將圖像解釋成與實際內容不同的東西。

研究團隊還打算把Nightshade集成到Glaze中，藝術家可以自己選擇是否要下毒。

領導開發(fā)團隊的芝加哥大學教授Ben Zhao表示：

希望此舉能夠讓作品權利從AI公司回歸到藝術家，通過形成有力的威懾，保護藝術家的版權和知識產權。

團隊在用Stable Diffusion的最新模型以及從頭訓練的基礎模型測試毒效時還發(fā)現：

“生成式AI模型擅長在詞與詞之間建立聯系”這一特點有助于毒素的傳播。

比如說，Nightshade不僅會影響“狗”的生成，還會影響“小狗”、“哈士奇”、“狼”等所有類似的概念。

有間接聯系的概念也同樣會受影響，標為“奇幻藝術”的有毒圖像，也會影響“龍”、“《指環(huán)王》中的城堡”等的生成。

Ben Zhao教授雖承認這種工具有可能會被惡意使用，但表示：

想對那些經過數十億數據訓練的大模型造成實質性的傷害，將需要數千個有毒的樣本。

據MIT Technology Review消息，Nightshade的研究已向網絡安全頂會Usenix提交同行評審。

同時Nightshade也是奔著開源去的，其他人之后也可以修改制作不同的版本。

引起圈內外熱議

這個工具不僅引起了藝術家和網友們的討論，一些專家學者也紛紛提出了自己的看法。

專注于研究AI模型安全性的康奈爾大學教授Vitaly Shmatikov就說：

我們目前還不知道如何有效地防御（模型抓取數據），也還沒有在現實中看到針對機器學習模型的下毒打擊，但這可能只是時間問題，現在就應該開始研究防御手段。

研究AI模型數據隱私和魯棒性的滑鐵盧大學助理教授Gautam Kamath表示：

太棒了。研究顯示，這些新模型的漏洞并不會神奇地消失，實際上問題只會變得更加嚴重。尤其是隨著時間的推移，這些模型變得更加強大，人們對它們的信任度增加時，所面臨的風險也只會增加。

使用過Glaze的插畫師Eva Toorenent還透露：

Stability AI、OpenAI等開發(fā)生成式繪圖模型的AI公司已經提議，讓藝術家選擇不用他們的畫來訓練之后版本的模型。但藝術家們表示這還不夠，因為選擇退出流程需要進行一系列復雜操作，而技術公司仍然握有所有的權力。

這會讓AI公司三思而后行，如果未經我們的同意就取用我們的作品，他們很可能會毀掉自己的整個模型。