如今，企業(yè)組織越來越依賴人工智能和機(jī)器學(xué)習(xí)模型進(jìn)行決策，可以說這些決策正在影響我們生活的方方面面，例如，銀行使用人工智能來確定是否向客戶提供信貸以及信貸額度;醫(yī)療放射科部署人工智能來幫助區(qū)分健康組織和腫瘤;人力資源團(tuán)隊(duì)使用人工智能從海量簡歷中篩選合適的應(yīng)聘者。

[[424248]]

2019年，歐盟出臺的《人工智能道德準(zhǔn)則》中明確提出，人工智能的發(fā)展方向應(yīng)該是“可信賴的”，能夠包含安全、隱私和透明、可解釋等多個方面。但隨著人工智能技術(shù)不斷普及，由此產(chǎn)生的風(fēng)險(xiǎn)也浮出水面，主要體現(xiàn)在兩大方面：

• 信任危機(jī)，即能否信任和依賴人工智能算法輸出的結(jié)果。
• 道德危機(jī)，Deepfake技術(shù)的出現(xiàn)在帶來新鮮感的同時，也引發(fā)了人們對于深度學(xué)習(xí)和人工智能技術(shù)濫用的擔(dān)憂。

“黑盒”人工智能

如今，許多機(jī)器學(xué)習(xí)應(yīng)用程序不允許人們完全理解其功能或背后的邏輯，以實(shí)現(xiàn)稱為“黑盒”的效果，鑒于此，如今的機(jī)器學(xué)習(xí)模型大多是“黑盒”。

這個特性被認(rèn)為是人工智能技術(shù)應(yīng)用的最大問題之一，它讓機(jī)器決策變得不透明，甚至專家或開發(fā)人員自己也常常難以理解，這也降低了企業(yè)對特定領(lǐng)域的機(jī)器學(xué)習(xí)和人工智能的信任感。

【黑盒AI和XAI】

可以說，傳統(tǒng)的“黑盒”人工智能程序存在以下問題：

• 難以驗(yàn)證輸出是否“正確”;
• 難以理解人工智能系統(tǒng)“哪里出錯”，然后進(jìn)行改進(jìn);
• 難以理解創(chuàng)作者的偏見和不公。

因此，了解人工智能算法預(yù)測背后的原因至關(guān)重要，這不僅可以增強(qiáng)人們對人工智能算法的信心，還可以提供對模型的見解或允許對開發(fā)的算法執(zhí)行調(diào)試過程。

公眾愈發(fā)有興趣了解這些算法背后的過程，原因之一是各種國際法(例如歐盟GPDR)的引入提高了公眾對隱私的敏感度，這些法律對隱私領(lǐng)域施加了高水平的保護(hù)，同時在信息處理過程中要求了更高的透明度，這也是人工智能算法目前正在努力實(shí)現(xiàn)的目標(biāo)。

所有這一切都轉(zhuǎn)化為對人工智能算法透明度日益增長的需求。而人工智能背景下對透明度的需求也進(jìn)一步推動了所謂的“可解釋的”人工智能(XAI)的發(fā)展，它代表了一組技術(shù)，可以理解和呈現(xiàn)機(jī)器學(xué)習(xí)模型和人工智能算法的透明愿景。

什么是“可解釋的”人工智能?

“可解釋的”人工智能并不是一個新的研究領(lǐng)域，它是自80年代以來就存在的支持復(fù)雜AI系統(tǒng)的推理架構(gòu)，可以看作是人工智能設(shè)計(jì)的自然結(jié)果。

人工智能的未來可能取決于它允許人們與機(jī)器協(xié)作解決復(fù)雜問題的能力。與任何高效協(xié)作一樣，這需要良好的溝通、信任和理解，而可解釋的人工智能旨在應(yīng)對這些挑戰(zhàn)。

簡單來說，可解釋的人工智能是組織用來幫助人們更好地理解模型為何做出某些決策及其工作原理的一組工具和技術(shù)。XAI是：

• 一組最佳實(shí)踐：它利用數(shù)據(jù)科學(xué)家多年來一直使用的一些最佳程序和規(guī)則來幫助其他人了解模型是基于哪些數(shù)據(jù)進(jìn)行訓(xùn)練的，還揭示了模型可能暴露于哪些偏見來源;
• 一組設(shè)計(jì)原則：研究人員越來越關(guān)注簡化AI系統(tǒng)的構(gòu)建，使其本質(zhì)上更易于理解;
• 一組工具：隨著系統(tǒng)變得更容易理解，可以通過將這些知識融入其中來進(jìn)一步完善訓(xùn)練模型，并通過向其他人提供這些知識以納入他們的模型。

XAI為什么很重要?

對于組織而言，通過模型監(jiān)控和人工智能問責(zé)制全面了解人工智能決策過程，而不是盲目信任它們，這一點(diǎn)至關(guān)重要?？山忉尩娜斯ぶ悄芸梢詭椭祟惱斫夂徒忉寵C(jī)器學(xué)習(xí)(ML)算法、深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)。

ML模型通常被認(rèn)為是無法解釋的黑匣子;深度學(xué)習(xí)中使用的神經(jīng)網(wǎng)絡(luò)是人類最難理解的部分;偏見(通?；诜N族、性別、年齡或位置)一直是訓(xùn)練AI模型所面臨的長期風(fēng)險(xiǎn)。此外，由于生產(chǎn)數(shù)據(jù)與訓(xùn)練數(shù)據(jù)不同，人工智能模型性能可能會受到影響甚至降低。這使得持續(xù)監(jiān)控和管理模型以促進(jìn)人工智能可解釋性變得至關(guān)重要。

可解釋的人工智能有助于促進(jìn)最終用戶的信任、模型可審計(jì)性和人工智能的高效使用，同時還降低了使用人工智能所面臨的合規(guī)性、法律、安全和聲譽(yù)風(fēng)險(xiǎn)。此外，借助可解釋的人工智能，企業(yè)可以排除故障并提高模型性能，同時幫助利益相關(guān)者了解人工智能模型的行為。

其優(yōu)勢可以概括為：

• 簡化模型評估過程，同時提高模型透明度和可追溯性;
• 系統(tǒng)地監(jiān)控和管理模型以優(yōu)化業(yè)務(wù)成果，不斷評估和改進(jìn)模型性能;
• 加快獲得AI結(jié)果的時間;
• 降低模型治理的風(fēng)險(xiǎn)和成本;

可解釋的人工智能是實(shí)施“負(fù)責(zé)任的”人工智能的關(guān)鍵要求之一，具有公平性、模型可解釋性和問責(zé)制。為了實(shí)現(xiàn)負(fù)責(zé)任地采用人工智能，組織需要通過構(gòu)建基于信任和透明度的人工智能系統(tǒng)，將道德原則嵌入人工智能應(yīng)用程序和流程中。

XAI的應(yīng)用實(shí)例

如今，可解釋的人工智能正在改變各種垂直市場的游戲規(guī)則：

• 醫(yī)療衛(wèi)生：加速診斷、圖像分析和資源優(yōu)化，提高患者護(hù)理決策的透明度和可追溯性，同時還能簡化藥品審批流程。
• 金融服務(wù)：通過透明的貸款和信貸審批流程改善客戶體驗(yàn)，加快信用風(fēng)險(xiǎn)、財(cái)富管理和金融犯罪風(fēng)險(xiǎn)評估，加速解決潛在的投訴和問題，提高對定價、產(chǎn)品推薦和投資服務(wù)的信任度。
• 刑事司法：優(yōu)化預(yù)測和風(fēng)險(xiǎn)評估流程。在DNA分析、監(jiān)獄人口分析、欺詐檢測和犯罪預(yù)測方面使用可解釋的人工智能加速解決問題。檢測訓(xùn)練數(shù)據(jù)和算法中的潛在偏差。

可解釋的人工智能的五個注意事項(xiàng)：

• 公平和消除偏見：管理和監(jiān)控公平，掃描用戶部署以查找潛在的偏見;
• 模型偏離緩解：分析模型并根據(jù)最合乎邏輯的結(jié)果提出建議。當(dāng)模型偏離預(yù)期結(jié)果時發(fā)出警報(bào);
• 模型風(fēng)險(xiǎn)管理：量化和減輕模型風(fēng)險(xiǎn)。當(dāng)模型表現(xiàn)不佳時發(fā)送警報(bào)。了解當(dāng)偏差持續(xù)存在時會發(fā)生什么;
• 生命周期自動化：構(gòu)建、運(yùn)行和管理模型作為集成數(shù)據(jù)和AI服務(wù)的一部分。統(tǒng)一平臺上的工具和流程以監(jiān)控模型和共享結(jié)果，解釋機(jī)器學(xué)習(xí)模型的依賴關(guān)系;
• 多云就緒：跨混合云部署AI項(xiàng)目，包括公共云、私有云和本地。通過可解釋的AI促進(jìn)信任和信心。

當(dāng)今時代，人們迫切需要可解釋的人工智能，而“負(fù)責(zé)任”和“可解釋”的人工智能也確實(shí)將會是取得利益雙方信任及滿足未來合規(guī)需求的基石，但想要實(shí)現(xiàn)這一目標(biāo)無疑是道阻且長的。

【本文是51CTO專欄作者“安全牛”的原創(chuàng)文章，轉(zhuǎn)載請通過安全牛（微信公眾號id:gooann-sectv）獲取授權(quán)】

戳這里，看該作者更多好文