盡管 DNN 在各種實(shí)際應(yīng)用中取得了廣泛的成功，但其過(guò)程通常被視為黑盒子，因?yàn)槲覀兒茈y解釋 DNN 如何做出決定。缺乏可解釋性損害了 DNN 的可靠性，從而阻礙了它們?cè)诟唢L(fēng)險(xiǎn)任務(wù)中的廣泛應(yīng)用，例如自動(dòng)駕駛和 AI 醫(yī)療。因此，可解釋 DNN 引起了越來(lái)越多的關(guān)注。

作為解釋 DNN 的典型視角，歸因方法旨在計(jì)算每個(gè)輸入變量對(duì)網(wǎng)絡(luò)輸出的歸因 / 重要性 / 貢獻(xiàn)分?jǐn)?shù)。例如，給定一個(gè)用于圖像分類的預(yù)訓(xùn)練 DNN 和一個(gè)輸入圖像，每個(gè)輸入變量的屬性得分是指每個(gè)像素對(duì)分類置信度得分的數(shù)值影響。

盡管近年來(lái)研究者提出了許多歸因方法，但其中大多數(shù)都建立在不同的啟發(fā)式方法之上。目前還缺乏統(tǒng)一的理論視角來(lái)檢驗(yàn)這些歸因方法的正確性，或者至少在數(shù)學(xué)上闡明其核心機(jī)制。

研究人員曾試圖統(tǒng)一不同的歸因方法，但這些研究只涵蓋了幾種方法。

本文中，我們提出了「統(tǒng)一解釋 14 種輸入單元重要性歸因算法的內(nèi)在機(jī)理」。

論文地址：https://arxiv.org/pdf/2303.01506.pdf

其實(shí)無(wú)論是「12 種提升對(duì)抗遷移性的算法」，還是「14 種輸入單元重要性歸因算法」，都是工程性算法的重災(zāi)區(qū)。在這兩大領(lǐng)域內(nèi)，大部分算法都是經(jīng)驗(yàn)性的，人們根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)或直覺(jué)認(rèn)識(shí)，設(shè)計(jì)出一些似是而非的工程性算法。大部分研究沒(méi)有對(duì) “究竟什么是輸入單元重要性” 做出嚴(yán)謹(jǐn)定義和理論論證，少數(shù)研究有一定的論證，但往往也很不完善。當(dāng)然，“缺少嚴(yán)謹(jǐn)?shù)亩x和論證” 的問(wèn)題充滿了整個(gè)人工智能領(lǐng)域，只是在這兩個(gè)方向上格外突出。

• 第一，在眾多經(jīng)驗(yàn)性歸因算法充斥可解釋機(jī)器學(xué)習(xí)領(lǐng)域的環(huán)境下，我們希望證明 “所有 14 種歸因算法（解釋神經(jīng)網(wǎng)絡(luò)輸入單元重要性的算法）的內(nèi)在機(jī)理，都可以表示為對(duì)神經(jīng)網(wǎng)絡(luò)所建模的交互效用的一種分配，不同歸因算法對(duì)應(yīng)不同的交互效用分配比例”。這樣，雖然不同算法有著完全不同的設(shè)計(jì)著眼點(diǎn)（比如有些算法有提綱挈領(lǐng)的目標(biāo)函數(shù)，有些算法則是純粹的 pipeline），但是我們發(fā)現(xiàn)在數(shù)學(xué)上，這些算法都可以被我們納入到 “對(duì)交互效用的分配” 的敘事邏輯中來(lái)。
• 基于上面的交互效用分配框架，我們可以進(jìn)一步為神經(jīng)網(wǎng)絡(luò)輸入單元重要性歸因算法提出三條評(píng)估準(zhǔn)則，來(lái)衡量歸因算法所預(yù)測(cè)的輸入單元重要性值是否合理。

當(dāng)然，我們的理論分析不只適用于 14 種歸因算法，理論上可以統(tǒng)一更多的類似研究。因?yàn)槿肆τ邢?，這篇論文里我們僅僅討論 14 種算法。

研究的真正難點(diǎn)在于，不同的經(jīng)驗(yàn)性歸因算法往往都是搭建在不同的直覺(jué)之上的，每篇論文都僅僅努力從各自的角度「自圓其說(shuō)」，分別基于不同的直覺(jué)或角度來(lái)設(shè)計(jì)歸因算法，而缺少一套規(guī)范的數(shù)學(xué)語(yǔ)言來(lái)統(tǒng)一描述各種算法的本質(zhì)。

算法回顧

在講數(shù)學(xué)以前，本文先從直覺(jué)層面簡(jiǎn)單回顧之前的算法。

1. 基于梯度的歸因算法。這一類算法普遍認(rèn)為，神經(jīng)網(wǎng)絡(luò)的輸出對(duì)每個(gè)輸入單元的梯度可以反映輸入單元的重要性。例如，Gradient*Input 算法將輸入單元的重要性建模為梯度與輸入單元值的逐元素乘積。考慮到梯度僅能反映輸入單元的局部重要性，Smooth Gradients 和 Integrated Gradients 算法將重要性建模為平均梯度與輸入單元值的逐元素乘積，其中這兩種方法中的平均梯度分別指輸入樣本鄰域內(nèi)梯度的平均值或輸入樣本到基準(zhǔn)點(diǎn)（baseline point）間線性插值點(diǎn)的梯度平均值。類似地，Grad-CAM 算法采用網(wǎng)絡(luò)輸出對(duì)每個(gè) channel 中所有特征梯度的平均值，來(lái)計(jì)算重要性分?jǐn)?shù)。進(jìn)一步，Expected Gradients 算法認(rèn)為，選擇單個(gè)基準(zhǔn)點(diǎn)往往會(huì)導(dǎo)致有偏的歸因結(jié)果，從而提出將重要性建模為不同基準(zhǔn)點(diǎn)下 Integrated Gradients 歸因結(jié)果的期望。

2. 基于逐層反向傳播的歸因算法。深度神經(jīng)網(wǎng)絡(luò)往往極為復(fù)雜，而每一層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)相對(duì)簡(jiǎn)單（比如深層特征通常是淺層特征的線性加和 + 非線性激活函數(shù)），便于分析淺層特征對(duì)深層特征的重要性。因此，這類算法通過(guò)估計(jì)中層特征的重要性，并將這些重要性逐層傳播直至輸入層，得到輸入單元的重要性。這一類算法包括 LRP-\epsilon, LRP-\alpha\beta, Deep Taylor, DeepLIFT Rescale, DeepLIFT RevealCancel, DeepShap 等。不同反向傳播算法間的根本區(qū)別在于，他們采用了不同的重要性逐層傳播規(guī)則。

3. 基于遮擋的歸因算法。這類算法根據(jù)遮擋某一輸入單元對(duì)模型輸出的影響，來(lái)推斷該輸入單元的重要性。例如，Occlusion-1（Occlusion-patch）算法將第 i 個(gè)像素（像素塊）的重要性建模為其它像素未被遮擋時(shí)，像素 i 未遮擋和遮擋兩種情況下的輸出改變量。Shapley value 算法則綜合考慮了其它像素的所有可能遮擋情況，并將重要性建模為不同遮擋情況下像素 i 對(duì)應(yīng)輸出改變量的平均值。研究已證明，Shapley value 是唯一滿足 linearity, dummy, symmetry, efficiency 公理的歸因算法。

統(tǒng)一 14 種經(jīng)驗(yàn)性歸因算法的內(nèi)在機(jī)理

在深入研究多種經(jīng)驗(yàn)性歸因算法后，我們不禁思考一個(gè)問(wèn)題：在數(shù)學(xué)層面上，神經(jīng)網(wǎng)絡(luò)的歸因究竟在解決什么問(wèn)題？在眾多經(jīng)驗(yàn)性歸因算法的背后，是否蘊(yùn)含著某種統(tǒng)一的數(shù)學(xué)建模與范式？為此，我們嘗試從歸因的定義出發(fā)，著眼考慮上述問(wèn)題。歸因，是指每一個(gè)輸入單元對(duì)神經(jīng)網(wǎng)絡(luò)輸出的重要性分?jǐn)?shù) / 貢獻(xiàn)。那么，解決上述問(wèn)題的關(guān)鍵在于，（1）在數(shù)學(xué)層面上建?！篙斎雴卧獙?duì)網(wǎng)絡(luò)輸出的影響機(jī)制」，（2）解釋眾多經(jīng)驗(yàn)性歸因算法是如何利用該影響機(jī)制，來(lái)設(shè)計(jì)重要性歸因公式。

針對(duì)第一個(gè)關(guān)鍵點(diǎn)，我們研究發(fā)現(xiàn)：每一個(gè)輸入單元往往通過(guò)兩種方式影響神經(jīng)網(wǎng)絡(luò)的輸出。一方面，某一個(gè)輸入單元無(wú)需依賴其他輸入單元，可獨(dú)立作用并影響網(wǎng)絡(luò)輸出，這類影響稱為 “獨(dú)立效應(yīng)”。另一方面，一個(gè)輸入單元需要通過(guò)與其他輸入單元共同協(xié)作，形成某種模式，進(jìn)而對(duì)網(wǎng)絡(luò)輸出產(chǎn)生影響，這類影響稱為 “交互效應(yīng)”。我們理論證明了，神經(jīng)網(wǎng)絡(luò)的輸出可以嚴(yán)謹(jǐn)解構(gòu)為不同輸入變量的獨(dú)立效應(yīng)，以及不同集合內(nèi)輸入變量間的交互效應(yīng)。

其中，表示第 i 個(gè)輸入單元的獨(dú)立效應(yīng)，表示集合 S 內(nèi)多個(gè)輸入單元間的交互效應(yīng)。針對(duì)第二個(gè)關(guān)鍵點(diǎn)，我們探究發(fā)現(xiàn)，所有 14 種現(xiàn)有經(jīng)驗(yàn)性歸因算法的內(nèi)在機(jī)理，都可以表示對(duì)上述獨(dú)立效用和交互效用的一種分配，而不同歸因算法按不同的比例來(lái)分配神經(jīng)網(wǎng)絡(luò)輸入單元的獨(dú)立效用和交互效用。具體地，令? ?表示第 i 個(gè)輸入單元的歸因分?jǐn)?shù)。我們嚴(yán)格證明了，所有 14 種經(jīng)驗(yàn)性歸因算法得到的，都可以統(tǒng)一表示為下列數(shù)學(xué)范式（即獨(dú)立效用和交互效用的加權(quán)和）：? ?

其中，反映了將第 j 個(gè)輸入單元的獨(dú)立效應(yīng)分配給第 i 個(gè)輸入單元的比例，表示將集合 S 內(nèi)多個(gè)輸入單元間的交互效應(yīng)分配給第 i 個(gè)輸入單元的比例。眾多歸因算法的 “根本區(qū)別” 在于，不同歸因算法對(duì)應(yīng)著不同的分配比例 。

表 1 展示了十四種不同的歸因算法分別是如何對(duì)獨(dú)立效應(yīng)與交互效應(yīng)進(jìn)行分配。

圖表 1. 十四種歸因算法均可以寫成獨(dú)立效應(yīng)與交互效應(yīng)加權(quán)和的數(shù)學(xué)范式。其中分別表示泰勒獨(dú)立效應(yīng)和泰勒交互效應(yīng)，滿足

，是對(duì)獨(dú)立效應(yīng)和交互效的細(xì)化。

評(píng)價(jià)歸因算法可靠性的三大準(zhǔn)則

在歸因解釋研究中，由于無(wú)從獲得 / 標(biāo)注神經(jīng)網(wǎng)絡(luò)歸因解釋的真實(shí)值，人們無(wú)法從實(shí)證角度評(píng)價(jià)某一個(gè)歸因解釋算法的可靠性。“缺乏對(duì)歸因解釋算法可靠性的客觀評(píng)價(jià)標(biāo)準(zhǔn)” 這一根本缺陷，引發(fā)了學(xué)界對(duì)歸因解釋研究領(lǐng)域的廣泛批評(píng)與質(zhì)疑。

而本研究中對(duì)歸因算法公共機(jī)理的揭示，使我們能在同一理論框架下，公平地評(píng)價(jià)和比較不同歸因算法的可靠性。具體地，我們提出了以下三條評(píng)估準(zhǔn)則，以評(píng)價(jià)某一個(gè)歸因算法是否公平合理地分配獨(dú)立效應(yīng)和交互效應(yīng)。

（1）準(zhǔn)則一：分配過(guò)程中涵蓋所有獨(dú)立效應(yīng)和交互效應(yīng)。當(dāng)我們將神經(jīng)網(wǎng)絡(luò)輸出解構(gòu)為獨(dú)立效應(yīng)與交互效應(yīng)后，可靠的歸因算法在分配過(guò)程中應(yīng)盡可能涵蓋所有的獨(dú)立效應(yīng)和交互效應(yīng)。例如，對(duì) I’m not happy 句子的歸因中，應(yīng)涵蓋三個(gè)單詞 I’m, not, happy 的所有獨(dú)立效應(yīng)，同時(shí)涵蓋 J (I’m, not), J (I’m, happy), J (not, happy), J (I’m, not, happy) 等所有可能的交互效應(yīng)。

（2）準(zhǔn)則二：避免將獨(dú)立效應(yīng)和交互分配給無(wú)關(guān)的輸入單元。第 i 個(gè)輸入單元的獨(dú)立效應(yīng)，只應(yīng)分配給第 i 個(gè)輸入單元，而不應(yīng)分配給其它輸入單元。類似地，集合 S 內(nèi)輸入單元間的交互效應(yīng)，只應(yīng)分配給集合 S 內(nèi)的輸入單元，而不應(yīng)分配給集合 S 以外的輸入單元（未參與交互）。例如，not 和 happy 之間的交互效應(yīng)，不應(yīng)分配給單詞 I’m。

（3）準(zhǔn)則三：完全分配。每個(gè)獨(dú)立效應(yīng)（交互效應(yīng)）應(yīng)當(dāng)完全分配給對(duì)應(yīng)的輸入單元。換句話說(shuō)，某一個(gè)獨(dú)立效應(yīng)（交互效應(yīng)）分配給所有對(duì)應(yīng)輸入單元的歸因值，加起來(lái)應(yīng)當(dāng)恰好等于該獨(dú)立效應(yīng)（交互效應(yīng)）的值。例如，交互效應(yīng) J (not, happy) 會(huì)分配一部分效應(yīng)(not, happy) 給單詞 not，同時(shí)分配一部分效應(yīng) (not, happy) 給單詞 happy。那么，分配比例應(yīng)滿足 。

接著，我們采用這三條評(píng)估準(zhǔn)則，評(píng)估了上述 14 種不同歸因算法（如表 2 所示）。我們發(fā)現(xiàn)，Integrated Gradients, Expected Gradients, Shapley value, Deep Shap, DeepLIFT Rescale, DeepLIFT RevealCancel 這些算法滿足所有的可靠性準(zhǔn)則。

 表 2. 總結(jié) 14 種不同歸因算法是否滿足三條可靠性評(píng)估準(zhǔn)則。

作者介紹

本文作者鄧輝琦，是中山大學(xué)應(yīng)用數(shù)學(xué)專業(yè)的博士，博士期間曾在香港浸會(huì)大學(xué)和德州農(nóng)工大學(xué)計(jì)算機(jī)系訪問(wèn)學(xué)習(xí)，現(xiàn)于張拳石老師團(tuán)隊(duì)進(jìn)行博士后研究。研究方向主要為可信 / 可解釋機(jī)器學(xué)習(xí)，包括解釋深度神經(jīng)網(wǎng)絡(luò)的歸因重要性、解釋神經(jīng)網(wǎng)絡(luò)的表達(dá)能力等。

鄧輝琦前期做了很多工作。張老師只是在初期工作結(jié)束以后，幫她重新梳理了一遍理論，讓證明方式和體系更順暢一些。鄧輝琦畢業(yè)前論文不是很多，21 年末來(lái)張老師這邊以后，在博弈交互的體系下，一年多做了三個(gè)工作，包括（1）發(fā)現(xiàn)并理論解釋了神經(jīng)網(wǎng)絡(luò)普遍存在的表征瓶頸，即證明神經(jīng)網(wǎng)絡(luò)更不善于建模中等復(fù)雜度的交互表征。這一工作有幸被選為 ICLR 2022 oral 論文，審稿得分排名前五（得分 8 8 8 10）。（2）理論證明了貝葉斯網(wǎng)絡(luò)的概念表征趨勢(shì)，為解釋貝葉斯網(wǎng)絡(luò)的分類性能、泛化能力和對(duì)抗魯棒性提供了新的視角。（3）從理論層面上解釋了神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中對(duì)不同復(fù)雜度交互概念的學(xué)習(xí)能力。