盡管 DNN 在各種實際應(yīng)用中取得了廣泛的成功，但其過程通常被視為黑盒子，因為我們很難解釋 DNN 如何做出決定。缺乏可解釋性損害了 DNN 的可靠性，從而阻礙了它們在高風(fēng)險任務(wù)中的廣泛應(yīng)用，例如自動駕駛和 AI 醫(yī)療。因此，可解釋 DNN 引起了越來越多的關(guān)注。

作為解釋 DNN 的典型視角，歸因方法旨在計算每個輸入變量對網(wǎng)絡(luò)輸出的歸因 / 重要性 / 貢獻(xiàn)分?jǐn)?shù)。例如，給定一個用于圖像分類的預(yù)訓(xùn)練 DNN 和一個輸入圖像，每個輸入變量的屬性得分是指每個像素對分類置信度得分的數(shù)值影響。

盡管近年來研究者提出了許多歸因方法，但其中大多數(shù)都建立在不同的啟發(fā)式方法之上。目前還缺乏統(tǒng)一的理論視角來檢驗這些歸因方法的正確性，或者至少在數(shù)學(xué)上闡明其核心機(jī)制。

研究人員曾試圖統(tǒng)一不同的歸因方法，但這些研究只涵蓋了幾種方法。

本文中，我們提出了「統(tǒng)一解釋 14 種輸入單元重要性歸因算法的內(nèi)在機(jī)理」。

論文地址：https://arxiv.org/pdf/2303.01506.pdf

其實無論是「12 種提升對抗遷移性的算法」，還是「14 種輸入單元重要性歸因算法」，都是工程性算法的重災(zāi)區(qū)。在這兩大領(lǐng)域內(nèi)，大部分算法都是經(jīng)驗性的，人們根據(jù)實驗經(jīng)驗或直覺認(rèn)識，設(shè)計出一些似是而非的工程性算法。大部分研究沒有對 “究竟什么是輸入單元重要性” 做出嚴(yán)謹(jǐn)定義和理論論證，少數(shù)研究有一定的論證，但往往也很不完善。當(dāng)然，“缺少嚴(yán)謹(jǐn)?shù)亩x和論證” 的問題充滿了整個人工智能領(lǐng)域，只是在這兩個方向上格外突出。

• 第一，在眾多經(jīng)驗性歸因算法充斥可解釋機(jī)器學(xué)習(xí)領(lǐng)域的環(huán)境下，我們希望證明 “所有 14 種歸因算法（解釋神經(jīng)網(wǎng)絡(luò)輸入單元重要性的算法）的內(nèi)在機(jī)理，都可以表示為對神經(jīng)網(wǎng)絡(luò)所建模的交互效用的一種分配，不同歸因算法對應(yīng)不同的交互效用分配比例”。這樣，雖然不同算法有著完全不同的設(shè)計著眼點（比如有些算法有提綱挈領(lǐng)的目標(biāo)函數(shù)，有些算法則是純粹的 pipeline），但是我們發(fā)現(xiàn)在數(shù)學(xué)上，這些算法都可以被我們納入到 “對交互效用的分配” 的敘事邏輯中來。
• 基于上面的交互效用分配框架，我們可以進(jìn)一步為神經(jīng)網(wǎng)絡(luò)輸入單元重要性歸因算法提出三條評估準(zhǔn)則，來衡量歸因算法所預(yù)測的輸入單元重要性值是否合理。

當(dāng)然，我們的理論分析不只適用于 14 種歸因算法，理論上可以統(tǒng)一更多的類似研究。因為人力有限，這篇論文里我們僅僅討論 14 種算法。

研究的真正難點在于，不同的經(jīng)驗性歸因算法往往都是搭建在不同的直覺之上的，每篇論文都僅僅努力從各自的角度「自圓其說」，分別基于不同的直覺或角度來設(shè)計歸因算法，而缺少一套規(guī)范的數(shù)學(xué)語言來統(tǒng)一描述各種算法的本質(zhì)。

算法回顧

在講數(shù)學(xué)以前，本文先從直覺層面簡單回顧之前的算法。

1. 基于梯度的歸因算法。這一類算法普遍認(rèn)為，神經(jīng)網(wǎng)絡(luò)的輸出對每個輸入單元的梯度可以反映輸入單元的重要性。例如，Gradient*Input 算法將輸入單元的重要性建模為梯度與輸入單元值的逐元素乘積。考慮到梯度僅能反映輸入單元的局部重要性，Smooth Gradients 和 Integrated Gradients 算法將重要性建模為平均梯度與輸入單元值的逐元素乘積，其中這兩種方法中的平均梯度分別指輸入樣本鄰域內(nèi)梯度的平均值或輸入樣本到基準(zhǔn)點（baseline point）間線性插值點的梯度平均值。類似地，Grad-CAM 算法采用網(wǎng)絡(luò)輸出對每個 channel 中所有特征梯度的平均值，來計算重要性分?jǐn)?shù)。進(jìn)一步，Expected Gradients 算法認(rèn)為，選擇單個基準(zhǔn)點往往會導(dǎo)致有偏的歸因結(jié)果，從而提出將重要性建模為不同基準(zhǔn)點下 Integrated Gradients 歸因結(jié)果的期望。

2. 基于逐層反向傳播的歸因算法。深度神經(jīng)網(wǎng)絡(luò)往往極為復(fù)雜，而每一層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)相對簡單（比如深層特征通常是淺層特征的線性加和 + 非線性激活函數(shù)），便于分析淺層特征對深層特征的重要性。因此，這類算法通過估計中層特征的重要性，并將這些重要性逐層傳播直至輸入層，得到輸入單元的重要性。這一類算法包括 LRP-\epsilon, LRP-\alpha\beta, Deep Taylor, DeepLIFT Rescale, DeepLIFT RevealCancel, DeepShap 等。不同反向傳播算法間的根本區(qū)別在于，他們采用了不同的重要性逐層傳播規(guī)則。

3. 基于遮擋的歸因算法。這類算法根據(jù)遮擋某一輸入單元對模型輸出的影響，來推斷該輸入單元的重要性。例如，Occlusion-1（Occlusion-patch）算法將第 i 個像素（像素塊）的重要性建模為其它像素未被遮擋時，像素 i 未遮擋和遮擋兩種情況下的輸出改變量。Shapley value 算法則綜合考慮了其它像素的所有可能遮擋情況，并將重要性建模為不同遮擋情況下像素 i 對應(yīng)輸出改變量的平均值。研究已證明，Shapley value 是唯一滿足 linearity, dummy, symmetry, efficiency 公理的歸因算法。

統(tǒng)一 14 種經(jīng)驗性歸因算法的內(nèi)在機(jī)理

在深入研究多種經(jīng)驗性歸因算法后，我們不禁思考一個問題：在數(shù)學(xué)層面上，神經(jīng)網(wǎng)絡(luò)的歸因究竟在解決什么問題？在眾多經(jīng)驗性歸因算法的背后，是否蘊含著某種統(tǒng)一的數(shù)學(xué)建模與范式？為此，我們嘗試從歸因的定義出發(fā)，著眼考慮上述問題。歸因，是指每一個輸入單元對神經(jīng)網(wǎng)絡(luò)輸出的重要性分?jǐn)?shù) / 貢獻(xiàn)。那么，解決上述問題的關(guān)鍵在于，（1）在數(shù)學(xué)層面上建?！篙斎雴卧獙W(wǎng)絡(luò)輸出的影響機(jī)制」，（2）解釋眾多經(jīng)驗性歸因算法是如何利用該影響機(jī)制，來設(shè)計重要性歸因公式。

針對第一個關(guān)鍵點，我們研究發(fā)現(xiàn)：每一個輸入單元往往通過兩種方式影響神經(jīng)網(wǎng)絡(luò)的輸出。一方面，某一個輸入單元無需依賴其他輸入單元，可獨立作用并影響網(wǎng)絡(luò)輸出，這類影響稱為 “獨立效應(yīng)”。另一方面，一個輸入單元需要通過與其他輸入單元共同協(xié)作，形成某種模式，進(jìn)而對網(wǎng)絡(luò)輸出產(chǎn)生影響，這類影響稱為 “交互效應(yīng)”。我們理論證明了，神經(jīng)網(wǎng)絡(luò)的輸出可以嚴(yán)謹(jǐn)解構(gòu)為不同輸入變量的獨立效應(yīng)，以及不同集合內(nèi)輸入變量間的交互效應(yīng)。

其中，表示第 i 個輸入單元的獨立效應(yīng)，表示集合 S 內(nèi)多個輸入單元間的交互效應(yīng)。針對第二個關(guān)鍵點，我們探究發(fā)現(xiàn)，所有 14 種現(xiàn)有經(jīng)驗性歸因算法的內(nèi)在機(jī)理，都可以表示對上述獨立效用和交互效用的一種分配，而不同歸因算法按不同的比例來分配神經(jīng)網(wǎng)絡(luò)輸入單元的獨立效用和交互效用。具體地，令? ?表示第 i 個輸入單元的歸因分?jǐn)?shù)。我們嚴(yán)格證明了，所有 14 種經(jīng)驗性歸因算法得到的，都可以統(tǒng)一表示為下列數(shù)學(xué)范式（即獨立效用和交互效用的加權(quán)和）：? ?

其中，反映了將第 j 個輸入單元的獨立效應(yīng)分配給第 i 個輸入單元的比例，表示將集合 S 內(nèi)多個輸入單元間的交互效應(yīng)分配給第 i 個輸入單元的比例。眾多歸因算法的 “根本區(qū)別” 在于，不同歸因算法對應(yīng)著不同的分配比例 。

表 1 展示了十四種不同的歸因算法分別是如何對獨立效應(yīng)與交互效應(yīng)進(jìn)行分配。

圖表 1. 十四種歸因算法均可以寫成獨立效應(yīng)與交互效應(yīng)加權(quán)和的數(shù)學(xué)范式。其中分別表示泰勒獨立效應(yīng)和泰勒交互效應(yīng)，滿足

，是對獨立效應(yīng)和交互效的細(xì)化。

評價歸因算法可靠性的三大準(zhǔn)則

在歸因解釋研究中，由于無從獲得 / 標(biāo)注神經(jīng)網(wǎng)絡(luò)歸因解釋的真實值，人們無法從實證角度評價某一個歸因解釋算法的可靠性?！叭狈w因解釋算法可靠性的客觀評價標(biāo)準(zhǔn)” 這一根本缺陷，引發(fā)了學(xué)界對歸因解釋研究領(lǐng)域的廣泛批評與質(zhì)疑。

而本研究中對歸因算法公共機(jī)理的揭示，使我們能在同一理論框架下，公平地評價和比較不同歸因算法的可靠性。具體地，我們提出了以下三條評估準(zhǔn)則，以評價某一個歸因算法是否公平合理地分配獨立效應(yīng)和交互效應(yīng)。

（1）準(zhǔn)則一：分配過程中涵蓋所有獨立效應(yīng)和交互效應(yīng)。當(dāng)我們將神經(jīng)網(wǎng)絡(luò)輸出解構(gòu)為獨立效應(yīng)與交互效應(yīng)后，可靠的歸因算法在分配過程中應(yīng)盡可能涵蓋所有的獨立效應(yīng)和交互效應(yīng)。例如，對 I’m not happy 句子的歸因中，應(yīng)涵蓋三個單詞 I’m, not, happy 的所有獨立效應(yīng)，同時涵蓋 J (I’m, not), J (I’m, happy), J (not, happy), J (I’m, not, happy) 等所有可能的交互效應(yīng)。

（2）準(zhǔn)則二：避免將獨立效應(yīng)和交互分配給無關(guān)的輸入單元。第 i 個輸入單元的獨立效應(yīng)，只應(yīng)分配給第 i 個輸入單元，而不應(yīng)分配給其它輸入單元。類似地，集合 S 內(nèi)輸入單元間的交互效應(yīng)，只應(yīng)分配給集合 S 內(nèi)的輸入單元，而不應(yīng)分配給集合 S 以外的輸入單元（未參與交互）。例如，not 和 happy 之間的交互效應(yīng)，不應(yīng)分配給單詞 I’m。

（3）準(zhǔn)則三：完全分配。每個獨立效應(yīng)（交互效應(yīng)）應(yīng)當(dāng)完全分配給對應(yīng)的輸入單元。換句話說，某一個獨立效應(yīng)（交互效應(yīng)）分配給所有對應(yīng)輸入單元的歸因值，加起來應(yīng)當(dāng)恰好等于該獨立效應(yīng)（交互效應(yīng)）的值。例如，交互效應(yīng) J (not, happy) 會分配一部分效應(yīng)(not, happy) 給單詞 not，同時分配一部分效應(yīng) (not, happy) 給單詞 happy。那么，分配比例應(yīng)滿足 。

接著，我們采用這三條評估準(zhǔn)則，評估了上述 14 種不同歸因算法（如表 2 所示）。我們發(fā)現(xiàn)，Integrated Gradients, Expected Gradients, Shapley value, Deep Shap, DeepLIFT Rescale, DeepLIFT RevealCancel 這些算法滿足所有的可靠性準(zhǔn)則。

 表 2. 總結(jié) 14 種不同歸因算法是否滿足三條可靠性評估準(zhǔn)則。

作者介紹

本文作者鄧輝琦，是中山大學(xué)應(yīng)用數(shù)學(xué)專業(yè)的博士，博士期間曾在香港浸會大學(xué)和德州農(nóng)工大學(xué)計算機(jī)系訪問學(xué)習(xí)，現(xiàn)于張拳石老師團(tuán)隊進(jìn)行博士后研究。研究方向主要為可信 / 可解釋機(jī)器學(xué)習(xí)，包括解釋深度神經(jīng)網(wǎng)絡(luò)的歸因重要性、解釋神經(jīng)網(wǎng)絡(luò)的表達(dá)能力等。

鄧輝琦前期做了很多工作。張老師只是在初期工作結(jié)束以后，幫她重新梳理了一遍理論，讓證明方式和體系更順暢一些。鄧輝琦畢業(yè)前論文不是很多，21 年末來張老師這邊以后，在博弈交互的體系下，一年多做了三個工作，包括（1）發(fā)現(xiàn)并理論解釋了神經(jīng)網(wǎng)絡(luò)普遍存在的表征瓶頸，即證明神經(jīng)網(wǎng)絡(luò)更不善于建模中等復(fù)雜度的交互表征。這一工作有幸被選為 ICLR 2022 oral 論文，審稿得分排名前五（得分 8 8 8 10）。（2）理論證明了貝葉斯網(wǎng)絡(luò)的概念表征趨勢，為解釋貝葉斯網(wǎng)絡(luò)的分類性能、泛化能力和對抗魯棒性提供了新的視角。（3）從理論層面上解釋了神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中對不同復(fù)雜度交互概念的學(xué)習(xí)能力。