不久前，來自 UIUC 和南洋理工大學(xué)的三名研究者投入了 20 個月的時間，研究了 673 篇論文，撰寫了一篇翔實而深入的可信機(jī)器學(xué)習(xí)綜述。他們使用統(tǒng)一的數(shù)學(xué)語言，以數(shù)據(jù)為中心視角，總結(jié)了這個領(lǐng)域的最新研究進(jìn)展。他們嘗試解答以下三個問題：

1. 近年來可信機(jī)器學(xué)習(xí)領(lǐng)域的不同方法之間是否具有內(nèi)在的聯(lián)系？

2. 如何從因果推理的角度理解可信機(jī)器學(xué)習(xí)，這對我們有何啟示？

3. 在大模型時代，可信機(jī)器學(xué)習(xí)如何實現(xiàn)？

論文地址：https://arxiv.org/pdf/2307.16851.pdf

一、背景

隨著機(jī)器學(xué)習(xí)模型性能不斷強(qiáng)大，它們更加廣泛地進(jìn)入人們的生活，模型的可信性變得尤為重要。人們對模型 “可信” 的要求涵蓋很多方面：一個訓(xùn)練好的模型部署到實際中，需要在未知的分布遷移下保持準(zhǔn)確預(yù)測；為了使用者理解、驗證和采信模型做出的高風(fēng)險預(yù)測，模型需要向用戶解釋其推理過程；模型應(yīng)該不帶偏見地預(yù)測，保證對社會各個群體的公平性，等等。

研究者們認(rèn)為，現(xiàn)有的模型之所以不夠可信，根源往往在于數(shù)據(jù)的構(gòu)成：數(shù)據(jù)集中廣泛存在著混淆因子、虛假特征等結(jié)構(gòu)，即使標(biāo)注質(zhì)量再高也無法避免。模型在經(jīng)驗風(fēng)險最小化 (ERM) 的原則下訓(xùn)練，容易學(xué)到這些虛假特征和標(biāo)簽之間的統(tǒng)計關(guān)聯(lián)。這些關(guān)聯(lián)在獨立同分布假設(shè)下存在，但其本質(zhì)很脆弱，在真實世界隨時可能發(fā)生變化，使得模型的性能驟降。此外出于倫理考慮，我們也不希望模型學(xué)到某些統(tǒng)計關(guān)聯(lián)，比如在互聯(lián)網(wǎng)數(shù)據(jù)中廣泛存在的對社會弱勢群體的歧視。

圖 1：綜述中討論的核心問題圖示。特征分為 “因果” 特征和 “虛假” 特征，它們的含義由具體任務(wù)的場景確定。

這份綜述將 “可信機(jī)器學(xué)習(xí)” 作為一系列話題的總稱，涵蓋魯棒性，安全性（對抗魯棒性），公平性和可解釋性這四個方面?！翱尚拧?的具體含義應(yīng)由利益相關(guān)者 (stakeholder) 來確定。例如，魯棒性往往指 “模型的預(yù)測對于數(shù)據(jù)的一些非實質(zhì)性的變化保持不變”，那么在討論魯棒性之前，需要明確用戶期望模型對什么樣的變化保持魯棒性。

圖 2：左圖顯示的圓形 / 三角分類問題，和右圖的海龜 / 陸龜分類問題，作為例子說明了魯棒性研究必須指明模型要對什么因素魯棒。

二、連接可信機(jī)器學(xué)習(xí)的不同主題

在過去的十年里，學(xué)術(shù)界為了提高機(jī)器學(xué)習(xí)模型的可信性，在魯棒性、安全性、公平性、可解釋性等方面提出了許多方法。盡管這些方法千變?nèi)f化，但他們之間具有內(nèi)在的聯(lián)系。

魯棒性 領(lǐng)域適應(yīng) (Domain Adaptation) 可能是最早關(guān)注機(jī)器學(xué)習(xí)模型對分布遷移的魯棒性的方向之一。模型在一個分布的數(shù)據(jù)上訓(xùn)練，用遵從另一個分布的一些未標(biāo)注數(shù)據(jù)適應(yīng)后，希望模型將在訓(xùn)練集上學(xué)到的知識遷移到這個新的分布中，做出準(zhǔn)確預(yù)測。自領(lǐng)域?qū)咕W(wǎng)絡(luò)方法問世以來，學(xué)習(xí)領(lǐng)域不變表示這一思路在魯棒性研究中迅速普及。另外一大類方法使用生成模型進(jìn)行數(shù)據(jù)增強(qiáng)，從訓(xùn)練樣本產(chǎn)生符合新的分布風(fēng)格的樣本。與領(lǐng)域適應(yīng)密切相關(guān)的是領(lǐng)域泛化，這個方向關(guān)注更有挑戰(zhàn)性的場景，即希望模型在來自一個或多個分布的數(shù)據(jù)上訓(xùn)練后，不需適應(yīng)能直接在一個未曾見過的新分布上做出準(zhǔn)確預(yù)測。

安全性 作者圍繞 “對抗魯棒性” 的話題展開討論。一些早期工作發(fā)現(xiàn)，可以對圖像施加人眼難以察覺的擾動，讓圖像分類模型做出誤判，準(zhǔn)確率降到接近零。這種被稱為 “對抗” 的方法，和神經(jīng)網(wǎng)絡(luò)易受打擊的特性，給包括無人駕駛在內(nèi)的 AI 應(yīng)用帶來很大的安全隱患。人們對這一現(xiàn)象的本質(zhì)提出了多種角度的理解，比如認(rèn)為對抗噪音也是一種特征。為了解決這一問題，最常使用的方法是對抗訓(xùn)練，即用生成的對抗樣本和原樣本一起訓(xùn)練模型。很多研究也借鑒了領(lǐng)域不變表示的方法。

公平性 公平性主要指兩個方面的問題：結(jié)果歧視、質(zhì)量差異。前者是指模型根據(jù)人的社會群體信息做出帶有偏見的預(yù)測，后者是指模型對少數(shù)群體的預(yù)測質(zhì)量降低。結(jié)果歧視問題與領(lǐng)域泛化有類似的結(jié)構(gòu)，可以采用領(lǐng)域不變表示學(xué)習(xí)，或者數(shù)據(jù)增強(qiáng)的方法。質(zhì)量差異往往是某些群體的數(shù)據(jù)稀少導(dǎo)致的，往往可以通過某種算法對訓(xùn)練樣本進(jìn)行加權(quán)來解決。

可解釋性 打開模型的黑盒子，向用戶解釋模型預(yù)測的理由，對一些涉及重要后果的應(yīng)用場景十分有必要。可解釋性方法可以分為全局解釋和局部解釋，包括多種形式。作者關(guān)注的一類方法旨在揭示模型主要用了輸入樣本的哪些特征做出預(yù)測。實現(xiàn)方法往往涉及對樣本進(jìn)行擾動，或計算輸出對特征的梯度，與對抗原理類似。

圖 3：可信機(jī)器學(xué)習(xí)共同主題的方法總結(jié)。(a) 標(biāo)準(zhǔn) ERM 損失；（b）領(lǐng)域?qū)咕W(wǎng)絡(luò)方法 ；(c) 最壞情況數(shù)據(jù)增強(qiáng)策略；(d）樣本加權(quán)方法。

在這份綜述中，作者圍繞這些可信話題，梳理了近年來各種方法的發(fā)展脈絡(luò)。他們發(fā)現(xiàn)，這些為不同話題提出的方法可以用幾個主題公式統(tǒng)一起來，如圖 3 所示。他們還探討了這些公式與因果推理框架之間的聯(lián)系，將在下文介紹。

圖 4：綜述中討論的幾大話題總結(jié)。藍(lán)框表示可信話題，紅框表示主題公式，綠框表示因果層次。

三、因果視角理解可信機(jī)器學(xué)習(xí)

圖靈獎得主 Judea Pearl 提出的因果推理框架關(guān)注如何從關(guān)聯(lián)數(shù)據(jù)中得到穩(wěn)健的因果關(guān)系，消除數(shù)據(jù)中混淆因子的影響，這正是可信機(jī)器學(xué)習(xí)的核心問題。從因果的角度，可以在數(shù)據(jù)生成過程中找到混淆因子的產(chǎn)生機(jī)制，從而使用因果推斷的方法消除其影響?？尚艡C(jī)器學(xué)習(xí)領(lǐng)域的諸多方法，與因果推理的原理不謀而合。不同機(jī)器學(xué)習(xí)任務(wù)的數(shù)據(jù)生成過程多種多樣，作者經(jīng)過調(diào)研，選擇最普遍的一種展開討論。假設(shè)數(shù)據(jù)是由兩種潛在變量生成的，稱其為 “因果變量” 和 “非因果變量”。這兩種變量之間存在著非因果的關(guān)聯(lián)；標(biāo)簽變量只由因果變量生成。下圖左為數(shù)據(jù)生成過程的因果圖。

圖 5：左圖為數(shù)據(jù)生成過程的因果圖，右圖顯示對因果特征施加干預(yù)后的變化。由于外部的機(jī)制取代了生成 C 的機(jī)制，圖中進(jìn)入節(jié)點 C 的邊被取消。

按照 Pearl 的因果層次論，因果有三個層級：關(guān)聯(lián)，干預(yù)，反事實。作者沿著因果層次介紹重要的因果推理概念及技術(shù)，如隨機(jī)受控實驗，工具變量，逆概率加權(quán)，后門調(diào)整等。作者通過推導(dǎo)說明，如果在數(shù)據(jù)生成過程中對因果特征進(jìn)行干預(yù)（如上圖右所示），可以消除數(shù)據(jù)中混淆因子的影響，而數(shù)據(jù)增強(qiáng)和樣本加權(quán)等方法可以間接實現(xiàn)這種干預(yù)。作者從因果的角度重新闡述了上文提到的可信機(jī)器學(xué)習(xí)方法。此外，近年來一些工作提出了明確基于因果推理的機(jī)器學(xué)習(xí)方法，在綜述中也進(jìn)行了介紹。

圖 6：用以 GAN (左圖) 和 VAE (右圖) 為代表的生成模型進(jìn)行數(shù)據(jù)增強(qiáng)，與反事實推理的相似之處。

從因果的角度理解可信機(jī)器學(xué)習(xí)，可以得知現(xiàn)有方法背后的因果假設(shè)，判斷它們的適用范圍。也可以從數(shù)據(jù)生成過程出發(fā)，選擇能消除混淆效應(yīng)的因果技術(shù)，從而啟發(fā)更有效的可信機(jī)器學(xué)習(xí)方法的設(shè)計。目前，因果推理在機(jī)器學(xué)習(xí)中的應(yīng)用還面臨諸多挑戰(zhàn)，如無法測量的內(nèi)生變量，以及特征的耦合等等，這些問題仍需要進(jìn)一步研究和解決。

四、大模型時代，可信機(jī)器學(xué)習(xí)的未來方向

最近一年，以 ChatGPT 為代表的大模型取得突破性進(jìn)展，不僅在各項基準(zhǔn)數(shù)據(jù)集中成績矚目，也獲得了大量用戶的青睞。GPT 系列模型的發(fā)展似乎表明，隨著模型參數(shù)和訓(xùn)練數(shù)據(jù)不斷增多，模型會變得越來越可信。然而，隨著研究者的深入調(diào)查，人們發(fā)現(xiàn)近期的大模型在幾個重要方面仍然存在著可信問題。其一，大模型在專業(yè)性較強(qiáng)，數(shù)據(jù)較少的領(lǐng)域魯棒性不足，性能嚴(yán)重下降或者不穩(wěn)定。其二，大模型的預(yù)測常對一些社會群體帶有偏見，缺乏公平性。其三，大模型經(jīng)常產(chǎn)生幻覺 (hallucination)，輸出一些似是而非的答案。大量證據(jù)表明，這些問題并沒有隨著規(guī)模增大得到令人滿意的解決方案。RLHF 這一類技術(shù)雖然可以使模型產(chǎn)生更符合標(biāo)注者偏好的輸出，但從實際效果上并不能顯著提升模型的魯棒性和公平性。

前文介紹的可信機(jī)器學(xué)習(xí)方法具有堅實的理論基礎(chǔ)，也在多種場景中驗證有效，如果用于訓(xùn)練大模型，將有望提高模型的可信性。然而大模型的訓(xùn)練需要極大的成本，為了改進(jìn)現(xiàn)有的大模型，可以借助高效使用大模型的技術(shù)，如微調(diào) (finetuning)，參數(shù)高效微調(diào) (parameter-efficient fine-tuning)，提示學(xué)習(xí) (prompting)，以及從人類反饋進(jìn)行強(qiáng)化學(xué)習(xí) (RLHF)。作者對近年來這些技術(shù)的發(fā)展逐一介紹，并表明前三者采用不同參數(shù)化的經(jīng)驗風(fēng)險最小化 (ERM) 目標(biāo)，而 RLHF 以學(xué)習(xí)到的人類獎勵作為目標(biāo)。它們都可以與綜述中的主題公式結(jié)合，進(jìn)一步提高模型的可信性。

而這種結(jié)合的可能性，也是這篇綜述在整理現(xiàn)有方法的同時，具備了一定預(yù)測未來可能誕生的方法的能力。

提高機(jī)器學(xué)習(xí)模型的可信性，在大模型時代尤為重要，這需要研究者和實踐者的共同努力。最后，作者探討了可信機(jī)器學(xué)習(xí)可能的未來方向，如：

1. 將不同的可信話題結(jié)合起來，訓(xùn)練同時具有多種可信屬性的模型；

2. 利用因果推理的最新研究進(jìn)展，推動更有效的可信機(jī)器學(xué)習(xí)方法研究；

3. 在更復(fù)雜的場景，如多模型的協(xié)作中，開發(fā)和檢驗可信機(jī)器學(xué)習(xí)方法。