不久前，來(lái)自 UIUC 和南洋理工大學(xué)的三名研究者投入了 20 個(gè)月的時(shí)間，研究了 673 篇論文，撰寫(xiě)了一篇翔實(shí)而深入的可信機(jī)器學(xué)習(xí)綜述。他們使用統(tǒng)一的數(shù)學(xué)語(yǔ)言，以數(shù)據(jù)為中心視角，總結(jié)了這個(gè)領(lǐng)域的最新研究進(jìn)展。他們嘗試解答以下三個(gè)問(wèn)題：

1. 近年來(lái)可信機(jī)器學(xué)習(xí)領(lǐng)域的不同方法之間是否具有內(nèi)在的聯(lián)系？

2. 如何從因果推理的角度理解可信機(jī)器學(xué)習(xí)，這對(duì)我們有何啟示？

3. 在大模型時(shí)代，可信機(jī)器學(xué)習(xí)如何實(shí)現(xiàn)？

論文地址：https://arxiv.org/pdf/2307.16851.pdf

一、背景

隨著機(jī)器學(xué)習(xí)模型性能不斷強(qiáng)大，它們更加廣泛地進(jìn)入人們的生活，模型的可信性變得尤為重要。人們對(duì)模型 “可信” 的要求涵蓋很多方面：一個(gè)訓(xùn)練好的模型部署到實(shí)際中，需要在未知的分布遷移下保持準(zhǔn)確預(yù)測(cè)；為了使用者理解、驗(yàn)證和采信模型做出的高風(fēng)險(xiǎn)預(yù)測(cè)，模型需要向用戶(hù)解釋其推理過(guò)程；模型應(yīng)該不帶偏見(jiàn)地預(yù)測(cè)，保證對(duì)社會(huì)各個(gè)群體的公平性，等等。

研究者們認(rèn)為，現(xiàn)有的模型之所以不夠可信，根源往往在于數(shù)據(jù)的構(gòu)成：數(shù)據(jù)集中廣泛存在著混淆因子、虛假特征等結(jié)構(gòu)，即使標(biāo)注質(zhì)量再高也無(wú)法避免。模型在經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化 (ERM) 的原則下訓(xùn)練，容易學(xué)到這些虛假特征和標(biāo)簽之間的統(tǒng)計(jì)關(guān)聯(lián)。這些關(guān)聯(lián)在獨(dú)立同分布假設(shè)下存在，但其本質(zhì)很脆弱，在真實(shí)世界隨時(shí)可能發(fā)生變化，使得模型的性能驟降。此外出于倫理考慮，我們也不希望模型學(xué)到某些統(tǒng)計(jì)關(guān)聯(lián)，比如在互聯(lián)網(wǎng)數(shù)據(jù)中廣泛存在的對(duì)社會(huì)弱勢(shì)群體的歧視。

圖 1：綜述中討論的核心問(wèn)題圖示。特征分為 “因果” 特征和 “虛假” 特征，它們的含義由具體任務(wù)的場(chǎng)景確定。

這份綜述將 “可信機(jī)器學(xué)習(xí)” 作為一系列話(huà)題的總稱(chēng)，涵蓋魯棒性，安全性（對(duì)抗魯棒性），公平性和可解釋性這四個(gè)方面?！翱尚拧?的具體含義應(yīng)由利益相關(guān)者 (stakeholder) 來(lái)確定。例如，魯棒性往往指 “模型的預(yù)測(cè)對(duì)于數(shù)據(jù)的一些非實(shí)質(zhì)性的變化保持不變”，那么在討論魯棒性之前，需要明確用戶(hù)期望模型對(duì)什么樣的變化保持魯棒性。

圖 2：左圖顯示的圓形 / 三角分類(lèi)問(wèn)題，和右圖的海龜 / 陸龜分類(lèi)問(wèn)題，作為例子說(shuō)明了魯棒性研究必須指明模型要對(duì)什么因素魯棒。

二、連接可信機(jī)器學(xué)習(xí)的不同主題

在過(guò)去的十年里，學(xué)術(shù)界為了提高機(jī)器學(xué)習(xí)模型的可信性，在魯棒性、安全性、公平性、可解釋性等方面提出了許多方法。盡管這些方法千變?nèi)f化，但他們之間具有內(nèi)在的聯(lián)系。

魯棒性 領(lǐng)域適應(yīng) (Domain Adaptation) 可能是最早關(guān)注機(jī)器學(xué)習(xí)模型對(duì)分布遷移的魯棒性的方向之一。模型在一個(gè)分布的數(shù)據(jù)上訓(xùn)練，用遵從另一個(gè)分布的一些未標(biāo)注數(shù)據(jù)適應(yīng)后，希望模型將在訓(xùn)練集上學(xué)到的知識(shí)遷移到這個(gè)新的分布中，做出準(zhǔn)確預(yù)測(cè)。自領(lǐng)域?qū)咕W(wǎng)絡(luò)方法問(wèn)世以來(lái)，學(xué)習(xí)領(lǐng)域不變表示這一思路在魯棒性研究中迅速普及。另外一大類(lèi)方法使用生成模型進(jìn)行數(shù)據(jù)增強(qiáng)，從訓(xùn)練樣本產(chǎn)生符合新的分布風(fēng)格的樣本。與領(lǐng)域適應(yīng)密切相關(guān)的是領(lǐng)域泛化，這個(gè)方向關(guān)注更有挑戰(zhàn)性的場(chǎng)景，即希望模型在來(lái)自一個(gè)或多個(gè)分布的數(shù)據(jù)上訓(xùn)練后，不需適應(yīng)能直接在一個(gè)未曾見(jiàn)過(guò)的新分布上做出準(zhǔn)確預(yù)測(cè)。

安全性 作者圍繞 “對(duì)抗魯棒性” 的話(huà)題展開(kāi)討論。一些早期工作發(fā)現(xiàn)，可以對(duì)圖像施加人眼難以察覺(jué)的擾動(dòng)，讓圖像分類(lèi)模型做出誤判，準(zhǔn)確率降到接近零。這種被稱(chēng)為 “對(duì)抗” 的方法，和神經(jīng)網(wǎng)絡(luò)易受打擊的特性，給包括無(wú)人駕駛在內(nèi)的 AI 應(yīng)用帶來(lái)很大的安全隱患。人們對(duì)這一現(xiàn)象的本質(zhì)提出了多種角度的理解，比如認(rèn)為對(duì)抗噪音也是一種特征。為了解決這一問(wèn)題，最常使用的方法是對(duì)抗訓(xùn)練，即用生成的對(duì)抗樣本和原樣本一起訓(xùn)練模型。很多研究也借鑒了領(lǐng)域不變表示的方法。

公平性 公平性主要指兩個(gè)方面的問(wèn)題：結(jié)果歧視、質(zhì)量差異。前者是指模型根據(jù)人的社會(huì)群體信息做出帶有偏見(jiàn)的預(yù)測(cè)，后者是指模型對(duì)少數(shù)群體的預(yù)測(cè)質(zhì)量降低。結(jié)果歧視問(wèn)題與領(lǐng)域泛化有類(lèi)似的結(jié)構(gòu)，可以采用領(lǐng)域不變表示學(xué)習(xí)，或者數(shù)據(jù)增強(qiáng)的方法。質(zhì)量差異往往是某些群體的數(shù)據(jù)稀少導(dǎo)致的，往往可以通過(guò)某種算法對(duì)訓(xùn)練樣本進(jìn)行加權(quán)來(lái)解決。

可解釋性 打開(kāi)模型的黑盒子，向用戶(hù)解釋模型預(yù)測(cè)的理由，對(duì)一些涉及重要后果的應(yīng)用場(chǎng)景十分有必要。可解釋性方法可以分為全局解釋和局部解釋?zhuān)ǘ喾N形式。作者關(guān)注的一類(lèi)方法旨在揭示模型主要用了輸入樣本的哪些特征做出預(yù)測(cè)。實(shí)現(xiàn)方法往往涉及對(duì)樣本進(jìn)行擾動(dòng)，或計(jì)算輸出對(duì)特征的梯度，與對(duì)抗原理類(lèi)似。

圖 3：可信機(jī)器學(xué)習(xí)共同主題的方法總結(jié)。(a) 標(biāo)準(zhǔn) ERM 損失；（b）領(lǐng)域?qū)咕W(wǎng)絡(luò)方法 ；(c) 最壞情況數(shù)據(jù)增強(qiáng)策略；(d）樣本加權(quán)方法。

在這份綜述中，作者圍繞這些可信話(huà)題，梳理了近年來(lái)各種方法的發(fā)展脈絡(luò)。他們發(fā)現(xiàn)，這些為不同話(huà)題提出的方法可以用幾個(gè)主題公式統(tǒng)一起來(lái)，如圖 3 所示。他們還探討了這些公式與因果推理框架之間的聯(lián)系，將在下文介紹。

圖 4：綜述中討論的幾大話(huà)題總結(jié)。藍(lán)框表示可信話(huà)題，紅框表示主題公式，綠框表示因果層次。

三、因果視角理解可信機(jī)器學(xué)習(xí)

圖靈獎(jiǎng)得主 Judea Pearl 提出的因果推理框架關(guān)注如何從關(guān)聯(lián)數(shù)據(jù)中得到穩(wěn)健的因果關(guān)系，消除數(shù)據(jù)中混淆因子的影響，這正是可信機(jī)器學(xué)習(xí)的核心問(wèn)題。從因果的角度，可以在數(shù)據(jù)生成過(guò)程中找到混淆因子的產(chǎn)生機(jī)制，從而使用因果推斷的方法消除其影響?？尚艡C(jī)器學(xué)習(xí)領(lǐng)域的諸多方法，與因果推理的原理不謀而合。不同機(jī)器學(xué)習(xí)任務(wù)的數(shù)據(jù)生成過(guò)程多種多樣，作者經(jīng)過(guò)調(diào)研，選擇最普遍的一種展開(kāi)討論。假設(shè)數(shù)據(jù)是由兩種潛在變量生成的，稱(chēng)其為 “因果變量” 和 “非因果變量”。這兩種變量之間存在著非因果的關(guān)聯(lián)；標(biāo)簽變量只由因果變量生成。下圖左為數(shù)據(jù)生成過(guò)程的因果圖。

圖 5：左圖為數(shù)據(jù)生成過(guò)程的因果圖，右圖顯示對(duì)因果特征施加干預(yù)后的變化。由于外部的機(jī)制取代了生成 C 的機(jī)制，圖中進(jìn)入節(jié)點(diǎn) C 的邊被取消。

按照 Pearl 的因果層次論，因果有三個(gè)層級(jí)：關(guān)聯(lián)，干預(yù)，反事實(shí)。作者沿著因果層次介紹重要的因果推理概念及技術(shù)，如隨機(jī)受控實(shí)驗(yàn)，工具變量，逆概率加權(quán)，后門(mén)調(diào)整等。作者通過(guò)推導(dǎo)說(shuō)明，如果在數(shù)據(jù)生成過(guò)程中對(duì)因果特征進(jìn)行干預(yù)（如上圖右所示），可以消除數(shù)據(jù)中混淆因子的影響，而數(shù)據(jù)增強(qiáng)和樣本加權(quán)等方法可以間接實(shí)現(xiàn)這種干預(yù)。作者從因果的角度重新闡述了上文提到的可信機(jī)器學(xué)習(xí)方法。此外，近年來(lái)一些工作提出了明確基于因果推理的機(jī)器學(xué)習(xí)方法，在綜述中也進(jìn)行了介紹。

圖 6：用以 GAN (左圖) 和 VAE (右圖) 為代表的生成模型進(jìn)行數(shù)據(jù)增強(qiáng)，與反事實(shí)推理的相似之處。

從因果的角度理解可信機(jī)器學(xué)習(xí)，可以得知現(xiàn)有方法背后的因果假設(shè)，判斷它們的適用范圍。也可以從數(shù)據(jù)生成過(guò)程出發(fā)，選擇能消除混淆效應(yīng)的因果技術(shù)，從而啟發(fā)更有效的可信機(jī)器學(xué)習(xí)方法的設(shè)計(jì)。目前，因果推理在機(jī)器學(xué)習(xí)中的應(yīng)用還面臨諸多挑戰(zhàn)，如無(wú)法測(cè)量的內(nèi)生變量，以及特征的耦合等等，這些問(wèn)題仍需要進(jìn)一步研究和解決。

四、大模型時(shí)代，可信機(jī)器學(xué)習(xí)的未來(lái)方向

最近一年，以 ChatGPT 為代表的大模型取得突破性進(jìn)展，不僅在各項(xiàng)基準(zhǔn)數(shù)據(jù)集中成績(jī)矚目，也獲得了大量用戶(hù)的青睞。GPT 系列模型的發(fā)展似乎表明，隨著模型參數(shù)和訓(xùn)練數(shù)據(jù)不斷增多，模型會(huì)變得越來(lái)越可信。然而，隨著研究者的深入調(diào)查，人們發(fā)現(xiàn)近期的大模型在幾個(gè)重要方面仍然存在著可信問(wèn)題。其一，大模型在專(zhuān)業(yè)性較強(qiáng)，數(shù)據(jù)較少的領(lǐng)域魯棒性不足，性能?chē)?yán)重下降或者不穩(wěn)定。其二，大模型的預(yù)測(cè)常對(duì)一些社會(huì)群體帶有偏見(jiàn)，缺乏公平性。其三，大模型經(jīng)常產(chǎn)生幻覺(jué) (hallucination)，輸出一些似是而非的答案。大量證據(jù)表明，這些問(wèn)題并沒(méi)有隨著規(guī)模增大得到令人滿(mǎn)意的解決方案。RLHF 這一類(lèi)技術(shù)雖然可以使模型產(chǎn)生更符合標(biāo)注者偏好的輸出，但從實(shí)際效果上并不能顯著提升模型的魯棒性和公平性。

前文介紹的可信機(jī)器學(xué)習(xí)方法具有堅(jiān)實(shí)的理論基礎(chǔ)，也在多種場(chǎng)景中驗(yàn)證有效，如果用于訓(xùn)練大模型，將有望提高模型的可信性。然而大模型的訓(xùn)練需要極大的成本，為了改進(jìn)現(xiàn)有的大模型，可以借助高效使用大模型的技術(shù)，如微調(diào) (finetuning)，參數(shù)高效微調(diào) (parameter-efficient fine-tuning)，提示學(xué)習(xí) (prompting)，以及從人類(lèi)反饋進(jìn)行強(qiáng)化學(xué)習(xí) (RLHF)。作者對(duì)近年來(lái)這些技術(shù)的發(fā)展逐一介紹，并表明前三者采用不同參數(shù)化的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化 (ERM) 目標(biāo)，而 RLHF 以學(xué)習(xí)到的人類(lèi)獎(jiǎng)勵(lì)作為目標(biāo)。它們都可以與綜述中的主題公式結(jié)合，進(jìn)一步提高模型的可信性。

而這種結(jié)合的可能性，也是這篇綜述在整理現(xiàn)有方法的同時(shí)，具備了一定預(yù)測(cè)未來(lái)可能誕生的方法的能力。

提高機(jī)器學(xué)習(xí)模型的可信性，在大模型時(shí)代尤為重要，這需要研究者和實(shí)踐者的共同努力。最后，作者探討了可信機(jī)器學(xué)習(xí)可能的未來(lái)方向，如：

1. 將不同的可信話(huà)題結(jié)合起來(lái)，訓(xùn)練同時(shí)具有多種可信屬性的模型；

2. 利用因果推理的最新研究進(jìn)展，推動(dòng)更有效的可信機(jī)器學(xué)習(xí)方法研究；

3. 在更復(fù)雜的場(chǎng)景，如多模型的協(xié)作中，開(kāi)發(fā)和檢驗(yàn)可信機(jī)器學(xué)習(xí)方法。