譯者 | 李睿

審校 | 重樓

人工智能(AI)和機器學習(ML)模型如今變得越來越復雜，這些模型產(chǎn)生的輸出是黑盒——無法向利益相關(guān)者解釋?？山忉屝匀斯ぶ悄埽╔AI）旨在通過讓利益相關(guān)者理解這些模型的工作方式來解決這一問題，確保他們理解這些模型實際上是如何做出決策的，并確保人工智能系統(tǒng)中的透明度、信任度和問責制來解決這個問題。本文探討了各種可解釋性人工智能(XAI)技術(shù)，以闡明它們的基本原理。

可解釋性人工智能至關(guān)重要的幾個原因

• 信任度和透明度：為了讓人工智能系統(tǒng)被廣泛接受和信任，用戶需要了解決策是如何做出的。
• 法規(guī)遵從性：歐盟的《通用數(shù)據(jù)保護條例》(GDPR)等法律要求對影響個人的自動化決策做出解釋。
• 模型調(diào)試和改進：深入了解模型決策可以幫助開發(fā)人員識別和糾正偏差或不準確之處。

可解釋性人工智能的核心技術(shù)

可解釋性人工智能技術(shù)可分為模型不可知方法和模型特定方法，每種方法都適用于不同類型的人工智能模型和應(yīng)用。

模型不可知方法

（1）局部可解釋模型不可知論解釋(LIME)

局部可解釋模型不可知論解釋(LIME)是一項開創(chuàng)性的技術(shù)，旨在使人類可以理解復雜機器學習模型的預測。從本質(zhì)上講，LIME的好處在于它的簡單性和解釋任何分類器或回歸器行為的能力，而不管其復雜性如何。

LIME通過使用可解釋的模型在局部近似來闡明任何分類器或回歸器的預測。關(guān)鍵思想是擾動輸入數(shù)據(jù)并觀察預測如何變化，這有助于識別顯著影響預測的特征。

在數(shù)學上，對于給定的實例\(x\)和模型\(f\), LIME生成一個新的擾動樣本數(shù)據(jù)集，并使用\(f\)對它們進行標記。然后，它學習一個局部忠實于\（f\）的簡單模型\（g\）（例如線性模型），最小化以下目標：

\[ \xi(x) = \underset{g \in G}{\text{argmin}} \; L(f, g, \pi_x) + \Omega(g) \]

其中\(zhòng)(L\)是衡量\(g\)在\(x\)周圍近似\(f\)時的不忠實程度，\(\pi_x\)是是定義\（x\）周圍局部鄰域的鄰近度度量，并且\(\Omega\)懲罰\(g\)的復雜性。

（2）Shapley可加性解釋(SHAP)

Shapley可加性解釋(SHAP)通過為特定預測的每個特征分配重要值來幫助人們理解機器學習模型的輸出。想象一下，人們正試圖根據(jù)房子的大小、年限和位置等特征來預測房子的價格。某些特征可能會提高預期價格，而其他特征可能會降低預期價格。相對于基線預測（數(shù)據(jù)集的平均預測），SHAP值有助于人們準確量化每個特征對最終預測的貢獻。

特征\(i\)的SHAP值定義為：

\[ \phi_i = \sum_{S \subseteq F \setminus \{i\}} \frac{|S|!(|F| - |S| - 1)!}{|F|!} [f_x(S \cup \{i\}) - f_x(S)] \]

其中，\F\）是所有特征的集合，\S\）是不包括\（i\）的特征的子集，\(f_x(S)\)是特征集\S\）的預測，總和是所有可能的特征子集。該公式確保每個特征的貢獻根據(jù)其對預測的影響進行公平分配。

特定于模型的方法

（1）神經(jīng)網(wǎng)絡(luò)中的注意機制

神經(jīng)網(wǎng)絡(luò)中的注意機制強調(diào)輸入數(shù)據(jù)中與做出預測最相關(guān)的部分。在序列到序列模型的場景中，目標時間步長\(t\)和源時間步長\(j\)的注意力權(quán)重\(\alpha_{tj}\)計算為:

\[ \alpha_{tj} = \frac{\exp(e_{tj})}{\sum_{k=1}^{T_s} \exp(e_{tk})} \]

其中\(zhòng)(e_{tj}\)是一個評分函數(shù)，用于評估位置\(j\)的輸入和位置\(t\)的輸出之間的對齊情況，\(T_s\)是輸入序列的長度。這種機制允許模型關(guān)注輸入數(shù)據(jù)的相關(guān)部分，從而提高可解釋性。

（2）決策樹的可視化

決策樹通過將決策表示為從輸入特征派生的一系列規(guī)則來提供固有的可解釋性。決策樹的結(jié)構(gòu)可以實現(xiàn)可視化，節(jié)點表示基于特征的決策，葉子表示結(jié)果。這種可視化表示可以直接跟蹤輸入特征是如何導致特定預測的。

（3）實際實施和道德考慮

實現(xiàn)可解釋的人工智能需要仔細考慮模型類型、應(yīng)用程序要求和解釋的目標受眾。在模型性能和可解釋性之間進行權(quán)衡也很重要。從道德上來說，確保人工智能系統(tǒng)的公平性、問責制和透明度至關(guān)重要。可解釋性人工智能的未來方向包括標準化解釋框架和繼續(xù)研究更有效的解釋方法。

結(jié)論

可解釋性人工智能對于解釋復雜的AI/ML模型，提供信任和確保其應(yīng)用程序中的問責制至關(guān)重要。它利用了LIME、SHAP、注意力機制和決策樹可視化等技術(shù)。隨著該領(lǐng)域的發(fā)展，更復雜和標準化的可解釋性人工智能方法的開發(fā)對于解決軟件開發(fā)和法規(guī)遵從性的不斷發(fā)展的需求將是至關(guān)重要的。

原文標題：Explainable AI: Interpreting Complex AI/ML Model，作者：Rajiv Avacharmal