隨著人工智能(AI)變得越來越復雜并在社會上得到廣泛采用，一組最關(guān)鍵的流程和方法是可解釋AI，有時也稱為XAI。

可解釋AI可以定義為：

一組幫助人類用戶理解和信任機器學習算法結(jié)果的過程和方法。

可猜到，這種可解釋性是非常重要的。因為AI算法控制了許多領(lǐng)域，這帶來了偏見、錯誤算法和其他問題的風險。通過可解釋性實現(xiàn)透明度，世界可以真正利用人工智能的力量。

可解釋AI，顧名思義，有助于描述一個AI模型、其影響和潛在的偏見。其還在描述模型的準確性、公平性、透明度和人工智能驅(qū)動決策過程的結(jié)果方面發(fā)揮著作用。

現(xiàn)今的AI驅(qū)動的組織應(yīng)該始終采用可解釋AI流程，以幫助在生產(chǎn)中建立對AI模型的信任和信心。在當今的人工智能環(huán)境中，可解釋AI也是成為負責任的企業(yè)的關(guān)鍵。

由于如今的人工智能系統(tǒng)非常先進，人類通常會執(zhí)行一個計算過程，以追溯算法是如何得到結(jié)果的。這個過程變成了一個“黑匣子”，意味著其是無法被理解的。當這些無法解釋的模型直接從數(shù)據(jù)中開發(fā)出來時，沒有人能理解其中發(fā)生了什么。

通過可解釋AI來了解AI系統(tǒng)是如何運行的，開發(fā)者可以確保系統(tǒng)能夠正常工作。其還可以幫助確保模型符合監(jiān)管標準，并為模型提供挑戰(zhàn)或更改的機會。

AI和XAI之間的差異

一些關(guān)鍵的差異有助于將“常規(guī)”AI與可解釋AI區(qū)分開來，但最重要的是，XAI實現(xiàn)了特定的技術(shù)和方法，以幫助確保ML過程中的每個決策都是可跟蹤和可解釋的。相比之下，常規(guī)AI通常使用ML算法得到結(jié)果，但不可能完全理解算法是如何得到結(jié)果的。在常規(guī)AI的情況下，很難檢查準確性，導致控制、問責和可審核性的喪失。

可解釋AI的好處

任何希望采用可解釋AI的組織都有很多好處，例如:

• 更快的結(jié)果:可解釋AI使組織能夠系統(tǒng)地監(jiān)控和管理模型，以優(yōu)化業(yè)務(wù)結(jié)果。可以持續(xù)地評估和改進模型性能，并微調(diào)模型開發(fā)。
• 降低風險:通過采用可解釋的AI流程，可以確保AI模型是可解釋的和透明的?？梢怨芾矸ㄒ?guī)、合規(guī)性、風險和其他需求，同時最大限度地減少手動檢查的開銷。所有這些也有助于減少意外偏見的風險。
• 建立信任:可解釋AI有助于在生產(chǎn)AI中建立信任。AI模型可以迅速投入生產(chǎn)，可以保證可解釋性，并且可以簡化模型評估過程，并使其更加透明。

可解釋AI技術(shù)

有一些XAI技術(shù)是所有組織都應(yīng)該考慮的，有三種主要方法:預(yù)測準確、可追溯性和決策理解。

• 第一種方法是預(yù)測的準確性，是在日常操作中成功使用人工智能的關(guān)鍵?？梢赃M行模擬，并將XAI輸出與訓練數(shù)據(jù)集中的結(jié)果進行比較，這有助于確定預(yù)測的準確性。實現(xiàn)這一點的一種比較流行的技術(shù)被稱為本地可解釋模型-無關(guān)解釋(LIME)，這是一種通過機器學習算法解釋分類器預(yù)測的技術(shù)。
• 第二種方法是可追溯性，其通過限制決策的制定方式，以及為機器學習規(guī)則和特征建立更狹窄的范圍來實現(xiàn)。最常見的可追溯性技術(shù)之一是DeepLIFT，即深度學習重要特征。DeepLIFT將每個神經(jīng)元的激活與其參考神經(jīng)元進行比較，同時演示每個激活神經(jīng)元之間的可追溯鏈接。其還顯示了彼此之間的依賴關(guān)系。
• 第三種方法是決策理解，與前兩種方法不同，其是以人為中心的。決策理解包括教育組織，特別是與AI合作的團隊，使他們能夠理解AI如何以及為什么做出決策。這種方法對于在系統(tǒng)中建立信任至關(guān)重要。

可解釋AI原則

為了更好地理解XAI及其原則，隸屬于美國商務(wù)部的美國國家標準研究院(NIST)提供了可解釋AI的四項原則的定義：

• AI系統(tǒng)應(yīng)該為每個輸出提供證據(jù)、支持或推理。
• AI系統(tǒng)應(yīng)該給出用戶能夠理解的解釋。
• 解釋應(yīng)該準確地反映系統(tǒng)用于達到其輸出的過程。
• AI系統(tǒng)應(yīng)該只在其設(shè)計的條件下運行，當其對結(jié)果缺乏足夠的信心時，不應(yīng)該提供輸出。

這些原則可以進一步組織為：

• 有意義:為了實現(xiàn)有意義的原則，用戶應(yīng)該理解所提供的解釋。這也意味著，在不同類型的用戶使用AI算法的情況下，可能會有多種解釋。例如，在自動駕駛汽車的情況下，一種解釋可能是這樣的……“人工智能把路上的塑料袋歸類為石頭，因此采取行動避免撞到它。”雖然這個例子適用于驅(qū)動程序，但對于希望糾正該問題的AI開發(fā)人員來說并不是很有用。在這種情況下，開發(fā)人員必須理解為什么會出現(xiàn)錯誤分類。
• 解釋準確度:與輸出準確度不同，解釋準確度涉及AI算法準確解釋其是如何達到輸出的。例如，如果貸款批準算法根據(jù)申請的收入來解釋決定，而實際上其是基于申請人的居住地，那么這個解釋將是不準確的。
• 知識限制:AI的知識限制可以通過兩種方式達到，其涉及到系統(tǒng)專業(yè)知識之外的輸入。例如，如果構(gòu)建一個系統(tǒng)來對鳥類種類進行分類，給予其一張“蘋果”圖片，其應(yīng)該能夠解釋輸入不是一只鳥。如果給系統(tǒng)一張模糊的圖片，其應(yīng)該能夠報告其無法識別圖像中的鳥，或者其識別具有非常低的置信度。

數(shù)據(jù)在可解釋AI中的作用

可解釋AI最重要的組成部分之一是數(shù)據(jù)。

根據(jù)Google的說法，關(guān)于數(shù)據(jù)和可解釋AI，“一個AI系統(tǒng)最好通過底層的訓練數(shù)據(jù)和訓練過程，以及產(chǎn)生的AI模型來理解?！边@種理解依賴于將經(jīng)過訓練的AI模型映射到用于訓練其精確數(shù)據(jù)集的能力，以及密切檢查數(shù)據(jù)的能力。

為了增強模型的可解釋性，重要的是要注意訓練數(shù)據(jù)。團隊應(yīng)該確定用于訓練算法的數(shù)據(jù)的來源、獲取數(shù)據(jù)的合法性和道德規(guī)范、數(shù)據(jù)中的任何潛在偏見，以及可以采取哪些措施來減輕任何偏見。

數(shù)據(jù)和XAI的另一個關(guān)鍵方面是，應(yīng)該排除與系統(tǒng)無關(guān)的數(shù)據(jù)。為了實現(xiàn)這一點，不相關(guān)的數(shù)據(jù)必須不包含在訓練集或輸入數(shù)據(jù)中。

Google建議了一套實現(xiàn)可解釋性和問責制的做法:

• 計劃選擇以追求可解釋性
• 將可解釋性視為用戶體驗的核心部分
• 設(shè)計可解釋的模型
• 選擇指標以反映最終目標和最終任務(wù)
• 了解訓練過的模型
• 與模型用戶溝通解釋
• 進行大量測試，以確保AI系統(tǒng)按照預(yù)期工作

通過遵循這些推薦的做法，組織可以確保實現(xiàn)可解釋AI。這對于當今環(huán)境中任何AI驅(qū)動的組織來說都是關(guān)鍵。