在剛剛結(jié)束的 IJCAI 2021 大會上，「深度學習模型知識產(chǎn)權(quán)保護國際研討會(DeepIPR-IJCAI’21)」正式舉行，這場研討會由微眾銀行、馬來亞大學、香港科技大學、上海交通大學共同主辦。

機器學習，尤其是深度神經(jīng)網(wǎng)絡（DNN）技術(shù)，近年來在諸多領(lǐng)域取得了巨大成功，許多科技公司都將神經(jīng)網(wǎng)絡模型部署在商業(yè)產(chǎn)品中，提高效益。訓練先進的神經(jīng)網(wǎng)絡模型需要大規(guī)模數(shù)據(jù)集、龐大的計算資源和設計者的智慧。這具體體現(xiàn)在：

（1）深度學習模型應用的訓練模型規(guī)模巨大，以 GPT-3 為例，其預訓練所用的數(shù)據(jù)量達到 45TB，訓練費用超過 1200 萬美元，有著極高的經(jīng)濟成本。

（2）深度學習模型在訓練部署到工業(yè)應用場景過程中（比如智慧金融，智慧醫(yī)療應用），需要引入金融、醫(yī)療等領(lǐng)域?qū)Ｓ邢闰炛R，因此在模型設計過程就需要引入專家的知識和經(jīng)驗來訂制模型，這體現(xiàn)了人腦力的知識產(chǎn)權(quán)。

（3）深度學習模型的訓練過程，需要特定領(lǐng)域的海量數(shù)據(jù)作為訓練資源，存在數(shù)據(jù)本身價值和知識屬性。以上屬性決定了經(jīng)過訓練的深度學習模型具有很高的商業(yè)價值和知識屬性，必須將其納入合法所有者（即創(chuàng)建它的一方）的知識產(chǎn)權(quán)。因此，從技術(shù)上迫切需要保護深度神經(jīng)網(wǎng)絡（DNN）模型不被非法復制、重新分發(fā)或濫用。

深度學習模型知識產(chǎn)權(quán)保護問題，是一個跨學科的綜合性議題，涉及計算機安全，人工智能理論與方法、知識產(chǎn)權(quán)保護、法律等諸多方面。深度學習模型的盜用、非法復制、分發(fā)等，攻擊者可以采用技術(shù)手段或者非技術(shù)手段；但要確認盜用且聲明模型所有權(quán)，則是完全從技術(shù)端來提取證據(jù)，以便從法規(guī)的角度來認證模型所有權(quán)。

具體而言，

（1）從計算機安全角度出發(fā)，技術(shù)手段需要采取密碼學可信的協(xié)議，來保證模型的知識產(chǎn)權(quán)驗證和發(fā)布過程是嚴密可信的；

（2）從人工智能理論方法角度出發(fā)，模型的所有權(quán)認證技術(shù)需要保證不犧牲模型可用性前提下，提供可靠且魯棒的知識產(chǎn)權(quán)保護方法；

（3）在法規(guī)層面，從技術(shù)端對模型所有權(quán)提取證據(jù)之后，這些證據(jù)能成為模型所有權(quán)的依據(jù)。最終監(jiān)管方要通過法規(guī)的保護，來裁定模型所有者的知識產(chǎn)權(quán)，這需要相關(guān)法規(guī)來指導如何從技術(shù)判據(jù)，來判定模型所有權(quán)。據(jù)筆者所知，目前尚未有相關(guān)的立法具體到深度學習模型知識這一子領(lǐng)域，模型知識產(chǎn)權(quán)保護不僅需要科技工作者的參與，也需要知識產(chǎn)權(quán)保護領(lǐng)域工作者的關(guān)注和努力。

本次研討會定位于深度神經(jīng)網(wǎng)絡知識產(chǎn)權(quán)保護研究的前沿，展示研究機構(gòu)及高校實驗室在此領(lǐng)域進行的最前沿的工作。分別來自德國、芬蘭、馬來西亞和中國的 8 位學者，就深度學習模型知識產(chǎn)權(quán)保護問題，從算法、協(xié)議、安全等多個角度出發(fā)，分享了他們對模型知識產(chǎn)權(quán)保護的思考和工作。

在 Talk 1 中，南京航空航天大學的薛明富老師帶來了《DNN Intellectual Property Protection: Taxonomy, Attacks and Evaluations》的主題講座，他對深度學習模型保護方法進行了分類性的總結(jié)，從模型場景、保護機制、保護能力、目標模型等維度，對模型知識產(chǎn)權(quán)保護研究進行了梳理，并且總結(jié)了針對已有的方法，存在的攻擊和挑戰(zhàn)，并給出了系統(tǒng)評估的相關(guān)建議。這場講座為模型保護領(lǐng)域總結(jié)了研究現(xiàn)狀和發(fā)展脈絡。

來自德國 Fraunhofer AISEC 研究院的 Franziska Boenisch，同樣針對神經(jīng)網(wǎng)絡水印技術(shù)分享了視角下的模型知識產(chǎn)權(quán)保護的綜述研究工作。Franziska 從神經(jīng)網(wǎng)絡水印技術(shù)的需求、算法應用、威脅模型等角度回顧了現(xiàn)有的研究工作，以神經(jīng)網(wǎng)絡水印技術(shù)的可用性、魯棒性、可靠性、完整性等要求為主線，串聯(lián)回顧了已有的模型水印研究，指出了現(xiàn)有的研究存在幾大待解決的問題，包括缺乏主動保護機制，算法數(shù)據(jù)類型案例有限和司法保障和技術(shù)研究并軌。

作為深度學習模型知識產(chǎn)權(quán)保護的資深研究者，畢業(yè)自馬來亞大學以及微眾銀行 AI 項目組算法研究員 Kam Woh Ng 分享了他所提出的用數(shù)字護照保護模型知識產(chǎn)權(quán)的方法。Kam Woh Ng 分析了神經(jīng)網(wǎng)絡模型知識產(chǎn)權(quán)保護的相關(guān)研究的最新進展后發(fā)現(xiàn)，一種旨在通過偽造水印來對所有權(quán)驗證產(chǎn)生疑問的模糊攻擊，對多種基于水印的 DNN 所有權(quán)驗證方法對 DNN 的知識產(chǎn)權(quán)保護構(gòu)成了嚴重威脅。

針對上述安全漏洞，Kam Woh Ng 提出了一種新穎的基于數(shù)字護照的 DNN 所有權(quán)驗證方案，該方案既對網(wǎng)絡剪枝及微調(diào)等修改具有魯棒性，又能夠抵御模糊攻擊。嵌入數(shù)字護照的關(guān)鍵在于，以一種巧妙的方式設計和訓練 DNN 模型，從而使原 DNN 的工作性能在使用偽造護照時大大降低。也就是說，真正的數(shù)字護照不僅可以依據(jù)預定義的數(shù)字簽名來進行驗證，而且還可以根據(jù) DNN 模型的工作性能來認定。Kam Woh Ng 詳細分享如何使用數(shù)字護照保護 DNN 以及抵御模糊攻擊。

Kam Woh Ng 的 Passport 模型保護方法提供了一大類通用的模型保護思路，在本次研討會中，還有其他研究者也分享了模型水印方法具體應用在圖像生成、圖像概述等模型中的工作。

來自馬來西亞馬來亞大學的 Ding Sheng Ong，針對圖像生成深度學習模型，分享了題為《Protecting Intellectual Property of Generative Adversarial Networks From Ambiguity Attacks（GAN 的知識產(chǎn)權(quán)保護方法）》的講座。

雖然目前已有用于卷積神經(jīng)網(wǎng)絡（CNN）的 IPR 保護方法，但是卻不能直接使用在生成對抗網(wǎng)絡（GANs）——另一種被廣泛用于生成逼真圖像的深度學習模型。因此，本文提出了一種基于黑盒與白盒的 GAN 模型 IPR 保護方法。實驗結(jié)果表明，本方法并不會損害 GAN 本來的性能（如圖像生成、圖像超分辨率以及樣式轉(zhuǎn)換）。本方法也能夠抵御去除嵌入的水?。╮emoval）和模糊（ambiguity）攻擊。分享中解說了如何基于黑盒與白盒的方式保護對抗生成網(wǎng)絡（GANs），以及如何抵御各種水印攻擊。

來自馬來西亞馬來亞大學的 Jian Han Lim, 針對圖像標注（image caption）神經(jīng)網(wǎng)絡模型，帶來了題為《Protect, Show, Attend and Tell: Empower Image Captioning Model with Ownership Protection》的分享。Jian Han Lim 指出，現(xiàn)有的深度神經(jīng)網(wǎng)絡知識產(chǎn)權(quán) (IPR) 保護通常 i) 僅專注于圖像分類任務，以及 ii) 遵循標準的數(shù)字水印框架，該框架通常用于保護多媒體和視頻內(nèi)容的所有權(quán)。Jian Han Lim 論證了當前的數(shù)字水印框架不足以保護通常被視為人工智能前沿之一的圖像標注任務。作為補充，本文研究并提出了在循環(huán)神經(jīng)網(wǎng)絡中的兩種不同簽名水印嵌入方案。從理論和經(jīng)驗的角度來看，其證明偽造的密鑰會產(chǎn)生無法使用的圖像標注模型，從而阻止了侵權(quán)的違規(guī)行為。該工作是第一個對圖像字幕任務提出所有權(quán)保護的工作。此外，大量實驗表明，所提出的方法不會影響 Flickr30k 和 MS-COCO 數(shù)據(jù)集上所有通用字幕指標的原始圖像標注任務性能，同時它能夠承受去除攻擊和歧義攻擊。

針對深度學習常見任務和模型，已有上述所示多種神經(jīng)網(wǎng)絡保護算法案例提供算法支撐。那么如何設計可行的通信協(xié)議，指導模型所有權(quán)驗證的實際執(zhí)行？

來自上海交通大學的李方圻針對模型所有權(quán)驗證的場景、協(xié)議和前景進行了題為《Regulating Ownership Verification for Deep Neural Networks: Scenarios, Protocols, and Prospects》的分享。

李方圻介紹說，隨著深度神經(jīng)網(wǎng)絡的廣泛應用，將其作為知識產(chǎn)權(quán)加以保護的必要性變得顯而易見，研究者已經(jīng)提出了許多水印方案來識別深度神經(jīng)網(wǎng)絡的所有者并驗證所有權(quán)。然而，大多數(shù)研究都專注于水印嵌入而不是可證明驗證的協(xié)議，為了彌合這些建議與現(xiàn)實世界需求之間的差距，李方圻介紹了三種場景下的深度學習模型知識產(chǎn)權(quán)保護：所有權(quán)證明、聯(lián)邦學習和知識產(chǎn)權(quán)轉(zhuǎn)移，展示了已建立的密碼原語和人工智能設置之間的結(jié)合，這可以構(gòu)成實用且可證明的機器學習安全性的基礎。

已有的深度學習模型知識產(chǎn)權(quán)保護方法主要著眼于深度神經(jīng)網(wǎng)絡水印的算法實踐和魯棒性挑戰(zhàn)，目前沒有把模型水印算法實踐到分布式神經(jīng)網(wǎng)絡訓練的研究。來自上海交通大學以及微眾銀行 AI 項目組的李博聞帶來了題為《聯(lián)邦深度學習模型所有權(quán)保護》的講座：考慮一個不完全信任的聯(lián)邦學習系統(tǒng)中，假定各參與方能夠按照聯(lián)邦法則來進行模型更新和協(xié)同訓練，但彼此不泄露私有本地數(shù)據(jù)和私密簽名。在這種設定下，李博聞闡述了一種新穎的聯(lián)合深度神經(jīng)網(wǎng)絡 (FedDNN) 所有權(quán)驗證方案，該方案允許嵌入和驗證所有權(quán)簽名，以聲明 FedDNN 模型的合法知識產(chǎn)權(quán) (IPR)，以防模型被非法復制、重新分發(fā)或濫用 . 嵌入式所有權(quán)簽名的有效性在理論上是通過證明的條件來證明的，在這種條件下，簽名可以被多個客戶端嵌入和檢測，而無需公開私人簽名。

最后，來自芬蘭 Aalto 大學的 Buse Atli 帶來了題為《Model Stealing and Ownership Verification of Deep Neural Networks》的綜合性分享。最近的一些工作表明，從技術(shù)的層面，人們暫時無法完全阻止深度學習模型竊取攻擊，不同的模型竊取檢測預防機制要么無法對抗強大的敵手，要么對模型性能和良性用戶的效用產(chǎn)生負面影響。因此，模型所有者可以通過證明被盜模型的所有權(quán)來減少此類攻擊的動機，而不是防止模型被竊取本身。已經(jīng)提出的各種模型水印方案被廣泛用于可靠的所有權(quán)驗證，水印深度神經(jīng)網(wǎng)絡（DNN）引起了學術(shù)界相當大的研究興趣（尤其是在圖像分類方面），因為深度學習模型水印易于部署并且對模型性能的影響可以忽略不計。并且，學術(shù)界針對 DNN 水印技術(shù)提出了許多不同的攻擊方法，從而對其魯棒性提出了質(zhì)疑。

在本次演講中，Buse 介紹了針對不同模型竊取攻擊、動態(tài)對抗性水印 (DAWN) 作為對模型竊取的威懾以及聯(lián)邦學習中模型水印技術(shù) (WAFFLE) 的相關(guān)工作，以根據(jù)不同的安全和隱私要求對這些方法進行分析。

聚集頂尖學者，關(guān)注深度學習模型知識產(chǎn)權(quán)保護領(lǐng)域，DeepIPR-IJCAI’21已成為全球模型保護領(lǐng)域最前沿的學術(shù)動態(tài)窗口。以科技手段解決時代難題，多位行業(yè)領(lǐng)軍者的干貨分享，一定能夠成為當下時代模型知識產(chǎn)權(quán)保護領(lǐng)域最有力的助推器。

講座視頻回顧及更多信息可查看研討會官網(wǎng)或者B站

• 官網(wǎng)：http://federated-learning.org/DeepIPR-IJCAI-2021/
• B站：https://www.bilibili.com/video/BV1PP4y1W7nS