[[443127]]

在大數(shù)據(jù)時代，機器學習在提升產品銷售、輔助人類決策的過程中能夠起到很大的作用，但是計算機通常不會解釋它們的預測結果。

我們在使用機器學習模型時，常用的模型性能評價指標有精度、查準率、查全率、ROC曲線、代價曲線等。如果一個機器學習模型表現(xiàn)得很好，我們是否就能信任這個模型而忽視決策的理由呢?答案是否定的。

模型的高性能意味著模型足夠智能和“聰明”，但這不足以讓我們了解它的運作原理，因此我們需要賦予模型“表達能力”，這樣我們才能更加理解和信任模型。除了單一的性能評價之外，模型的評價還應該增加一個維度，以表示模型的“表達能力”，可解釋性就是其中一個。

一 可解釋性的定義

解釋指的是用通俗易懂的語言進行分析闡明或呈現(xiàn)。對于模型來說，可解釋性指的是模型能用通俗易懂的語言進行表達，是一種能被人類理解的能力，具體地說就是，能夠將模型的預測過程轉化成具備邏輯關系的規(guī)則的能力。

可解釋性通常比較主觀，對于不同的人，解釋的程度也不一樣，很難用統(tǒng)一的指標進行度量。我們的目標是希望機器學習模型能“像人類一樣表達，像人類一樣思考”，如果模型的解釋符合我們的認知和思維方式，能夠清晰地表達模型從輸入到輸出的預測過程，那么我們就會認為模型的可解釋性是好的。

在《機器學習的挑戰(zhàn)：黑盒模型正面臨這3個問題》例舉的基金營銷小場景中，雖然模型能夠判斷一個客戶有很大的可能性購買低風險、低收益的產品，但是模型不能解釋客戶傾向于購買低風險、低收益產品的更詳細的原因，因此也就無法提出對這個客戶來說更有針對性的營銷策略，從而導致營銷的效果不佳。

具備可解釋性的模型在做預測時，除了給出推薦的產品之外，還要能給出推薦的理由。例如，模型會推薦一個低收益產品的原因是，該客戶剛大學畢業(yè)，年紀還比較小，缺乏理財意識，金融知識也比較薄弱，盡管個人賬戶中金額不少，但是盲目推薦購買高收益產品，可能會由于其風險意識不足而導致更多的損失，因此可以通過一些簡單的低風險理財產品，讓客戶先體驗一下金融市場，培養(yǎng)客戶的理財興趣，過一段時間再購買高收益的產品。

模型的可解釋性和模型的“表達能力”越強，我們在利用模型結果進行決策時便能達到更好的營銷效果。

二 可解釋性的分類

可解釋機器學習的思想是在選擇模型時，同時考慮模型的預測精度和可解釋性，并盡量找到二者之間的最佳平衡。根據(jù)不同的使用場景和使用人員，我們大致可以將模型的可解釋性作以下分類。

1. 內在可解釋VS.事后可解釋

內在可解釋(Intrinsic Interpretability)指的是模型自身結構比較簡單，使用者可以清晰地看到模型的內部結構，模型的結果帶有解釋的效果，模型在設計的時候就已經(jīng)具備了可解釋性。

如圖2-1所示，從決策樹的輸出結果中我們可以清楚地看到，兩個特征在不同取值的情況下，預測值存在差異。常見的內在可解釋模型有邏輯回歸、深度較淺的決策樹模型(最多不超過4層)等。

▲圖2-1 決策樹結果

事后可解釋(Post-hoc Interpretability)指的是模型訓練完之后，使用一定的方法增強模型的可解釋性，挖掘模型學習到的信息。

有的模型自身結構比較復雜，使用者很難從模型內部知道結果的推理過程，模型的結果也不帶有解釋的語言，通常只是給出預測值，這時候模型是不具備可解釋性的。事后可解釋是指在模型訓練完之后，通過不同的事后解析方法提升模型的可解釋性。

如圖2-2所示，利用事后解析的方法，可以對不同的模型識別結果給出不同的理由：根據(jù)吉他的琴頸識別出電吉他，根據(jù)琴箱識別出木吉他，根據(jù)頭部和腿部識別出拉布拉多。常用的事后解析方法有可視化、擾動測試、代理模型等。

▲圖2-2 事后解釋：a. 原始圖片，b. 解釋為電吉他的原因，c. 解釋為木吉他的原因，d. 解釋為拉布拉多的原因(來源：論文“"Why Should I Trust You?"—Explaining the Predictions of Any Classifier”)

2. 局部解釋VS.全局解釋

對于模型使用者來說，不同場景對解釋的需求也有所不同。對于整個數(shù)據(jù)集而言，我們需要了解整體的預測情況;對于個體而言，我們需要了解特定個體中預測的差異情況。

局部解釋指的是當一個樣本或一組樣本的輸入值發(fā)生變化時，解釋其預測結果會發(fā)生怎樣的變化。

例如，在銀行風控系統(tǒng)中，我們需要找到違規(guī)的客戶具備哪個或哪些特征，進而按圖索驥，找到潛在的違規(guī)客戶;當賬戶金額發(fā)生變化時，違規(guī)的概率會如何變化;在拒絕了客戶的信用卡申請后，我們也可以根據(jù)模型的局部解釋，向這些客戶解釋拒絕的理由。

圖2-2展示的既是事后解釋，也是一個局部解釋，是針對輸入的一張圖片作出的解釋。

全局解釋指的是整個模型從輸入到輸出之間的解釋，從全局解釋中，我們可以得到普遍規(guī)律或統(tǒng)計推斷，理解每個特征對模型的影響。

例如，吸煙與肺癌相關，抽煙越多的人得肺癌的概率越高。全局解釋可以幫助我們理解基于特征的目標分布，但一般很難獲得。

人類能刻畫的空間不超過三維，一旦超過三維空間就會讓人感覺難以理解，我們很難用直觀的方式刻畫三維以上的聯(lián)合分布。因此一般的全局解釋都停留在三維以下，比如，加性模型(Additive Model)需要在保持其他特征不變的情況下，觀察單個特征與目標變量的關系;樹模型則是將每個葉節(jié)點對應的路徑解釋為產生葉節(jié)點結果的規(guī)則。

3. 可解釋機器學習的研究方向

可解釋機器學習為模型的評價指標提供了新的角度，模型設計者在設計模型或優(yōu)化模型時，應該從精度和解釋性兩個角度進行考慮。

圖2-3所示的是可解釋機器學習中模型精度和模型可解釋性的關系，由香港大學張愛軍教授提出，在學術界廣為流傳，圖2-3中的橫軸代表模型的可解釋性，越往正方向，代表模型的可解釋性越高;縱軸代表模型的精度，越往正方向，代表模型的精度越高。

▲圖2-3 可解釋機器學習：模型精度和模型可解釋性的關系(圖片來源：?香港大學張愛軍博士)

針對模型評價的兩個指標，可解釋機器學習有兩大研究方向，具體說明如下。

第一，對于傳統(tǒng)的統(tǒng)計學模型(比如決策樹、邏輯回歸、線性回歸等)，模型的可解釋性較強，我們在使用模型時可以清楚地看到模型的內部結構，結果具有很高的可解釋性。

然而一般情況下，這些模型的精度較低，在一些信噪比較高(信號強烈，噪聲較少)的領域，擬合效果沒有當下的機器學習模型高。

在保持模型的可解釋性前提下，我們可以適當?shù)馗牧寄Ｐ偷慕Y構，通過增加模型的靈活表征能力，提高其精度，使得模型往縱軸正方向移動，形成內在可解釋機器學習模型。比如，保持模型的加性性質，同時從線性擬合拓展到非線性擬合，GAMI-Net、EBM模型均屬于內在可解釋機器學習模型。

第二，當下的機器學習模型(比如神經(jīng)網(wǎng)絡、深度學習)，其內部結構十分復雜，我們難以通過逐層神經(jīng)網(wǎng)絡或逐個神經(jīng)元觀察數(shù)據(jù)的變化，在一些信噪比較低(信號較弱，噪聲強)的領域，我們很容易把噪聲也擬合進去，不易發(fā)現(xiàn)其中的錯誤，模型的可解釋性較低。

為了提高模型的可解釋性，我們可以采用以下兩種方法：

• 降低模型結構的復雜度，如減少樹模型的深度，以犧牲模型的精度換取可解釋性;
• 保持模型原有的精度，在模型訓練完之后，利用事后輔助的歸因解析方法及可視化工具，來獲得模型的可解釋性。

無論采用哪一種方法，其目的都是讓模型往橫軸的正方向移動，獲取更多的可解釋性。LIME和SHAP等方法均屬于事后解析方法。

可解釋機器學習的研究在學術界和工業(yè)界都引發(fā)了熱烈的反響，發(fā)表的文章和落地應用逐年增長。無論是哪一個研究方向，可解釋機器學習研究的最終目的都是：

• 在保證高水平學習表現(xiàn)的同時，實現(xiàn)更具可解釋性的模型;
• 讓我們更理解、信任并有效地使用模型。

關于作者：邵平，資深數(shù)據(jù)科學家，索信達控股金融AI實驗室總監(jiān)。在大數(shù)據(jù)、人工智能領域有十多年技術研發(fā)和行業(yè)應用經(jīng)驗。技術方向涉及可解釋機器學習、深度學習、時間序列預測、智能推薦、自然語言處理等。現(xiàn)主要致力于可解釋機器學習、推薦系統(tǒng)、銀行智能營銷和智能風控等領域的技術研究和項目實踐。

楊健穎，云南財經(jīng)大學統(tǒng)計學碩士，高級數(shù)據(jù)挖掘工程師，一個對數(shù)據(jù)科學有堅定信念的追求者，目前重點研究機器學習模型的可解釋性。

蘇思達，美國天普大學統(tǒng)計學碩士，機器學習算法專家，長期為銀行提供大數(shù)據(jù)與人工智能解決方案和技術服務。主要研究方向為可解釋機器學習與人工智能，曾撰寫《可解釋機器學習研究報告》和多篇可解釋機器學習相關文章。

本文摘編自《可解釋機器學習：模型、方法與實踐》，經(jīng)出版方授權發(fā)布。(ISBN：9787111695714)