I. 前言

1. 先講一個(gè)故事

大概在 4-5 年前的時(shí)候，我還是卡內(nèi)基梅隆大學(xué)（CMU）的 phd。身處在名校光環(huán)的照耀下，再加上頂級(jí)導(dǎo)師的加持，我對(duì)于科研和創(chuàng)新一向有極高的標(biāo)準(zhǔn)。我們決定要花時(shí)間的東西，一定不能是簡(jiǎn)單的東西。而且有很長(zhǎng)一段時(shí)間，我一直以為大部分人都是這樣想的。

直到有一次，在開(kāi)會(huì)的時(shí)候我看到一個(gè)女孩在展示一個(gè) poster，內(nèi)容大概就是把 LSTM 用在基因表達(dá)（gene expression）上的預(yù)測(cè)效果比上個(gè)時(shí)代的 SVM 之類的效果要好。這實(shí)在是沒(méi)有什么意外的，畢竟當(dāng)時(shí)大家已經(jīng)知道了，RNN 家族（就比如 LSTM）是序列數(shù)據(jù)（sequence data）上的絕對(duì)王者。我當(dāng)時(shí)也沒(méi)客氣，直接就問(wèn)了上去，

“就這么用一下有什么了不起的么？”

結(jié)果她的回答不卑不亢：

“沒(méi)什么了不起的。真正的創(chuàng)新是你們這些讀的了 CMU 的人該做的事，我做不到，我只想發(fā)個(gè) paper，趕緊畢業(yè)，然后找個(gè)工作?！?/span>

這是我第一次感受到大家追求的參差，畢竟平時(shí)在學(xué)校里面，就算有人真的一直在灌水，他也不會(huì)承認(rèn)的。

從此以后，我再也不想質(zhì)疑別人的工作是不是在灌水了，畢竟大家的起點(diǎn)，經(jīng)歷，現(xiàn)實(shí)的訴求，和人生的愿景等等都不一樣。

2. 簡(jiǎn)單說(shuō)說(shuō)這篇文章的背景

畢業(yè)后來(lái)到伊利諾伊大學(xué)厄巴納-香檳分校（UIUC） 當(dāng)了一年的 faculty，盡管我的 lab 很初級(jí)，但也盡量堅(jiān)持做我們認(rèn)為對(duì)得起人生追求的工作。在追趕學(xué)術(shù)會(huì)議 deadline 的同時(shí)，最近也放出了第一份我們認(rèn)為出彩的工作【1】:

• Liu, Haoyang, Maheep Chaudhary, and Haohan Wang. "Towards Trustworthy and Aligned Machine Learning: A Data-centric Survey with Causality Perspectives." arXiv preprint arXiv:2307.16851 (2023).

我們整理了可信機(jī)器學(xué)習(xí)的各個(gè)領(lǐng)域，諸如 “魯棒性”，“對(duì)抗”，“可解釋性”，和 “公平性” 的數(shù)學(xué)思想。這篇文章的整理從幾年前的單模型時(shí)代跨越到現(xiàn)在的大模型時(shí)代，而且注意到，盡管機(jī)器學(xué)習(xí)的研究跨越了時(shí)代，這些數(shù)學(xué)思想甚至幾乎沒(méi)有改變。

整理這些東西一個(gè)最顯而易見(jiàn)的好處就是可以幫助大家更好的了解這個(gè)領(lǐng)域，盡管這些年接觸可信人工智能（trustworthy AI）的人很多，但是我認(rèn)為真正懂這個(gè)東西的人少之又少。比如有很多人認(rèn)為領(lǐng)域泛化（domain generalization）不過(guò)是在一套新的基準(zhǔn)上刷刷性能。我們整理的這份工作希望能夠讓大家更全面的了解這些領(lǐng)域。

然而更重要的是，整理工作讓大家夠以更加高屋建瓴的視野看待可信機(jī)器習(xí)相關(guān)問(wèn)題。在整理這個(gè)工作的時(shí)候，我就經(jīng)常跟兩位同學(xué)說(shuō)，等我們弄完了，你應(yīng)該輕易就會(huì)有 1000 多個(gè)繼續(xù)發(fā)文章的 idea，他們也非常認(rèn)同。

可是真正的問(wèn)題從來(lái)不是有沒(méi)有這些 idea，或者所謂的 “創(chuàng)新點(diǎn)”。而是這些 idea 是不是值得花大家的時(shí)間。我不允許我自己的 phd 做這種簡(jiǎn)單的 paper，這是一個(gè)慢慢貶低自己的過(guò)程。像 maheep 這樣的 intern，想弄就弄吧，畢竟他還得攢點(diǎn)經(jīng)歷將來(lái)用來(lái)申請(qǐng) phd。

那么我們整理出來(lái)的那么多個(gè) idea 有什么用呢，不如索性把它們寫出來(lái)送給需要的老師同學(xué)們。

不過(guò)這些 idea 估計(jì)也就能幫助一下像和上文提到的女孩有一致追求的同學(xué)，發(fā)發(fā)文章，畢業(yè)找工作用。有真正學(xué)術(shù)追求的同學(xué)可能不適合，畢竟能夠真正有潛力創(chuàng)造一個(gè)時(shí)代的 idea 誰(shuí)也沒(méi)有多少，這一類有潛力的 idea 我更希望看到我自己的 lab 來(lái)推進(jìn)。

3. 再說(shuō)說(shuō)為什么認(rèn)為可信很重要

在 2016-17 年 ResNet 100 層剛出來(lái)的時(shí)候我就說(shuō)過(guò)，這么巨大的結(jié)構(gòu)其實(shí)不能只用準(zhǔn)確率來(lái)評(píng)價(jià)，因?yàn)闆](méi)有證據(jù)證明 SOTA 準(zhǔn)確率其實(shí)來(lái)自于模型學(xué)到了真正有用的東西而不是數(shù)據(jù)集里面的混雜因素（confounding factors），畢竟對(duì)于如此巨大的模型，ImageNet 的體量就顯得小了，混雜因素存在的可能性就大多了。只不過(guò)那個(gè)時(shí)候太幼稚，我不知道這些理念其實(shí)是可以用來(lái)發(fā) paper 的......

到最近無(wú)論是 Dall-E，ChatGPT，Stable Diffusion，還是 SAM 等等，我也一直跟我的學(xué)生說(shuō)，不用看這個(gè)模型各個(gè)似乎神乎其技，其實(shí)很大程度是因?yàn)橛脩暨€沒(méi)有習(xí)慣于使用這些模型，就像當(dāng)年 100 層的 ResNet 一樣，剛出來(lái)的時(shí)候就有新聞?wù)f新的時(shí)代要來(lái)了，計(jì)算機(jī)視覺(jué)要被解決了，ResNet 確實(shí)帶來(lái)的一個(gè)新的時(shí)代，但與其說(shuō)是解決的計(jì)算機(jī)視覺(jué)，更多的是讓我們看到了計(jì)算機(jī)視覺(jué)以前大家沒(méi)有太關(guān)注的問(wèn)題，例如可信下的各個(gè)子問(wèn)題。我認(rèn)為這是因?yàn)?ResNet 的巨大成功讓我們看到了在日常生活中大規(guī)模依賴計(jì)算機(jī)視覺(jué)的可能性，進(jìn)而當(dāng)我們真的用它時(shí)，可信的各種問(wèn)題就隨之而來(lái)了。

ChatGPT 等等也是一樣，遠(yuǎn)遠(yuǎn)領(lǐng)先了一個(gè)時(shí)代，但是等你適應(yīng)了他的時(shí)代，用的久了，就會(huì)發(fā)現(xiàn)可信的問(wèn)題就全都回來(lái)了。

II. 背景

1. 究竟什么是可信機(jī)器學(xué)習(xí)

可信機(jī)器學(xué)習(xí)一般認(rèn)為是幾個(gè)子領(lǐng)域的一個(gè)統(tǒng)稱，究竟有哪些子領(lǐng)域似乎也沒(méi)有一個(gè)確切的范圍，但通常大家認(rèn)為比較重要的子領(lǐng)域包括

• 魯棒性：比如領(lǐng)域自適應(yīng)（domain adaptation）、領(lǐng)域泛化等等的領(lǐng)域，這些領(lǐng)域主題就是說(shuō)機(jī)器學(xué)習(xí)在應(yīng)用（testing）時(shí)面對(duì)的數(shù)據(jù)通常和訓(xùn)練時(shí)的數(shù)據(jù)有一定的差異，如何保證這些差異不會(huì)對(duì)模型的性能造成影響。
• 對(duì)抗魯棒性（安全，security）：最著名的大概就是熊貓的那張圖片，一般來(lái)講就是研究模型對(duì)于只有一點(diǎn)微小的擾動(dòng)過(guò)的數(shù)據(jù)是否依然能夠保持原來(lái)的性能，這些微小的擾動(dòng)并不是隨意添加的，需要精細(xì)的算法專門生成。
• 可解釋性：顧名思義，簡(jiǎn)而言之就是模型的工作過(guò)程機(jī)理等等是否能夠解釋出來(lái)讓用戶明白。具體的定義更是五花八門。
• 公平性：一方面是說(shuō)模型的工作過(guò)程中有一些過(guò)于敏感的信息（比如性別，年齡，家庭背景等等）不應(yīng)該被使用。另一方面是說(shuō)一些少數(shù)族裔會(huì)在統(tǒng)計(jì)的過(guò)程中被自然的過(guò)濾掉，而這是不應(yīng)該的。

我們的工作大概就包含了上面四個(gè)子領(lǐng)域，其他的，比如隱私保護(hù)，也通常被考慮在可信及其學(xué)習(xí)的范疇內(nèi)。

我認(rèn)為一個(gè)很多人忽視的問(wèn)題：可信機(jī)器學(xué)習(xí)，從它的定義源頭來(lái)講，它就不是一個(gè)單純的統(tǒng)計(jì)題目?？尚艡C(jī)器學(xué)習(xí)，到底是誰(shuí)來(lái)信，誰(shuí)來(lái)認(rèn)為是否可信。一個(gè)可解釋模型，給人看能看懂，給寵物看就看不懂了，算不算可解釋，那如果反過(guò)來(lái)，算不算可解釋呢？每個(gè)地區(qū)的教育水平不同，那時(shí)保持相同的一本錄取率算公平，還是全國(guó)一張卷算公平呢？這些問(wèn)題本來(lái)就沒(méi)有確定的答案，機(jī)器學(xué)習(xí)研究本身其實(shí)也沒(méi)有必要回答。我們要做的其實(shí)就是當(dāng)決策者定義出了一種 “可信”，我們能夠把相關(guān)的方法做出來(lái)。但是做到這一點(diǎn)的前提就是要承認(rèn)，“可信”（以及 “魯棒”，“可解釋”，“公平”）等等都是主觀的。

在我們的文章里，我們用下圖闡釋了為什么 “魯棒性” 是一個(gè)主觀的概念， “semantics”，“suprious”（或者“shortcut”等等）的定義也是一個(gè)主觀的概念。

圖 1. 可信機(jī)器學(xué)習(xí)的數(shù)學(xué)是通用的，但是什么才是 “可信”，其實(shí)是很主觀的問(wèn)題。比如我們要海龜和海洋通常有很強(qiáng)的相關(guān)性，那我們預(yù)測(cè)的究竟是動(dòng)物還是環(huán)境就決定了哪個(gè)信號(hào)是 “semantics”，哪個(gè)是 “spurious”。

而這張圖也是從我之前的一篇文章【2】的中的更簡(jiǎn)單的圖演變而來(lái)。

2.“可信” 的挑戰(zhàn)從何而來(lái)

訓(xùn)練一個(gè) “可信” 的機(jī)器學(xué)習(xí)模型并不是一件簡(jiǎn)單的事情，這里可能有很多理由，我們認(rèn)為其中最主要的是數(shù)據(jù)本身帶來(lái)的挑戰(zhàn)。同時(shí)我們也認(rèn)為這是近年來(lái) Data-centric AI（DCAI）變得越來(lái)越重要的一個(gè)原因。下面這張圖，是我多年來(lái)一直在嘗試闡述的，現(xiàn)代機(jī)器學(xué)習(xí)最核心的挑戰(zhàn)之一。

圖 2. 我認(rèn)為現(xiàn)代機(jī)器學(xué)習(xí)最核心的挑戰(zhàn)之一，數(shù)據(jù)因?yàn)闅v史原因充滿了各種 spurious correlation 或者偏見(jiàn)等等，這直接導(dǎo)致了深度學(xué)習(xí)這種依賴大量數(shù)據(jù)創(chuàng)造奇跡的方法在實(shí)際應(yīng)用中到處都有可信的問(wèn)題。

這張圖同樣演變于我以前的一篇 paper【3】。

3.“可信” 解決問(wèn)題的框架（范式）

據(jù)我們觀察，大量的可信機(jī)器學(xué)習(xí)方法全部來(lái)源于 3 種主體框架（或者稱之為范式）。

3.1. 類似于 DANN（domain adversarial neural network）類的方法

大概是用來(lái)解決最簡(jiǎn)單直接的辦法。領(lǐng)域自適應(yīng)主要想解決的問(wèn)題是一個(gè)機(jī)器學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)集來(lái)自于一個(gè)領(lǐng)域（比如照片），而測(cè)試數(shù)據(jù)集來(lái)自于另一個(gè)領(lǐng)域（比如素描）。我們主觀的認(rèn)為，一個(gè)優(yōu)質(zhì)的模型，如果在照片中能夠識(shí)別貓狗長(zhǎng)頸鹿大象之類的動(dòng)物，那么這個(gè)模型在素描中也應(yīng)該能識(shí)別出這些動(dòng)物（關(guān)于這個(gè)假設(shè)的數(shù)學(xué)模型，可以參考我們?cè)?2022 UAI 的一個(gè)工作?！?】）

那么，怎么保證一個(gè)模型能夠?qū)崿F(xiàn)領(lǐng)域自適應(yīng)呢？

最直觀的方法大概是去訓(xùn)練一個(gè)模型，保證這個(gè)模型不會(huì)學(xué)習(xí)到任何與領(lǐng)域本身相關(guān)的特征（即模型無(wú)法區(qū)分一張圖片是照片還是素描）。

那么如何保證一個(gè)模型無(wú)法區(qū)分一張圖片是照片還是素描呢？

我們先來(lái)回答一個(gè)特別簡(jiǎn)單的問(wèn)題：怎么保證一個(gè)模型能夠區(qū)分一張圖片是照片還是素描。答案很簡(jiǎn)單，用數(shù)據(jù)對(duì)應(yīng)的領(lǐng)域信息作為相應(yīng)的標(biāo)簽（label），訓(xùn)練一個(gè)有效的領(lǐng)域分類器（domain classifier）。

有了這個(gè)領(lǐng)域分類器，在解釋下一步之前，先闡述這樣一個(gè)事實(shí)：對(duì)于任何一個(gè)（沒(méi)有循環(huán)（recurrent）結(jié)構(gòu)的）深度學(xué)習(xí)模型，我們可以指定任意一層把它切開(kāi)，把這層前面的稱之為編碼器，這層后面的稱之為解碼器，這層的信息我們就把它叫做表征。

現(xiàn)在把這個(gè)領(lǐng)域分類器當(dāng)做解碼器。我們現(xiàn)在想辦法讓這個(gè)領(lǐng)域分類器無(wú)法識(shí)別領(lǐng)域，但是這個(gè)領(lǐng)域分類器已經(jīng)訓(xùn)練好了，我們不能改變它，那唯一的辦法就是我們用編碼器改變這個(gè)領(lǐng)域分類器的輸入，讓相對(duì)應(yīng)的表征無(wú)法被領(lǐng)域分類器所識(shí)別。

然后別忘了，我們的最終目的是保證模型能夠區(qū)分貓狗長(zhǎng)頸鹿大象之類的動(dòng)物，所以還要同時(shí)有一個(gè)正常的分類器作為解碼器。

而把這些組合到一起，就是 domain adversarial neural network（DANN）【4】。 

以上這些介紹盡管是基于魯棒性中的最簡(jiǎn)單的領(lǐng)域自適應(yīng)，但是同樣的方法可以應(yīng)用在可信的諸多領(lǐng)域，比如幾乎一樣的方法可以用來(lái)解決公平的問(wèn)題，把領(lǐng)域分類器從兩個(gè)領(lǐng)域拓展的多個(gè)領(lǐng)域就是好幾篇領(lǐng)域泛化的 paper。我們的 survey 里整理了很多很多工作，表面看起來(lái)萬(wàn)千姿態(tài)，但是其實(shí)數(shù)學(xué)內(nèi)核全都如出一轍，感興趣的老師同學(xué)們可以具體讀讀我們的 survey。

還有一個(gè)家族的方法也是基于 DANN 的體系，稍有不同的就是這個(gè)領(lǐng)域分類器不再是通過(guò)類似 domain ID 一樣的標(biāo)簽訓(xùn)練出來(lái)的 classifier，而是通過(guò)一些特別的架構(gòu)得到的只能學(xué)習(xí)某一類的特征，比如我們做過(guò)的只學(xué)習(xí)紋理（texture）特征的，只學(xué)習(xí) patch 的。更通用一點(diǎn)的用一個(gè)弱分類器（weak classifier）來(lái)扮演這個(gè)角色的。但是我個(gè)人認(rèn)為這一系類的方法在他們自己的基準(zhǔn)上還可以，但是在更廣泛的任務(wù)中通常不太行。更多的相關(guān)討論都在我們的 survey 中。

3.2. 最壞情況下（worst-case）的數(shù)據(jù)增強(qiáng)以及相關(guān)的正則化（regularization）

數(shù)據(jù)增強(qiáng)（data augmentation）大概是最簡(jiǎn)單直觀的提高模型性能的方法之一了。在可信機(jī)器學(xué)習(xí)中，數(shù)據(jù)增強(qiáng)也發(fā)揮了巨大的作用。只不過(guò)更具有代表性的是 worst-case 的數(shù)據(jù)增強(qiáng)。相較于普通的數(shù)據(jù)增強(qiáng)（隨機(jī)的對(duì)數(shù)據(jù)進(jìn)行一些變換），worst-case 的數(shù)據(jù)增強(qiáng)最大的特點(diǎn)就是這些變換不是隨機(jī)選擇的，而是選擇那個(gè)能夠讓損失（loss）變得最大的變換。

這一系列的方法效果最顯著的就是在對(duì)抗魯棒性（adversarial robustness）的研究中，最簡(jiǎn)單而且有效的方法就是直接用 attack 對(duì)應(yīng)的方法來(lái)生成數(shù)據(jù)，然后用這些數(shù)據(jù)來(lái)訓(xùn)練，效果拔群【5】。

在通用的魯棒性研究中，如果是旋轉(zhuǎn)，翻轉(zhuǎn)之類的，或者 mix-up 家族的增強(qiáng)，把這種隨機(jī)增強(qiáng)換成 worst-case 的，收益通常非常小，而且由于是 worst-case 而不是隨機(jī)，計(jì)算復(fù)雜度要多很多（要么用梯度（gradient）來(lái)幫忙，要么每個(gè)增強(qiáng)一個(gè) forward 來(lái)選擇），所以恐怕不值得。

另一種是用 GAN, VAE， 或者更新的 AIGC 系列模型來(lái)輔助生成數(shù)據(jù)。把 GAN 或者 VAE 的計(jì)算圖（computation graph）和要訓(xùn)練的模型連到一起，通?？梢院芊奖愕膶?shí)現(xiàn) worst-case 的增強(qiáng)（可以直接使用模型的梯度信息），但是把這些模型加進(jìn)主模型中本身就增加了相當(dāng)?shù)挠?jì)算復(fù)雜度。

然后這里有一個(gè)很有意思的問(wèn)題，如果我們用 GAN 或者 VAE 來(lái)生成數(shù)據(jù)，生成出來(lái)的數(shù)據(jù)和原來(lái)的數(shù)據(jù)差的太遠(yuǎn)，標(biāo)簽不一樣了怎么辦。所以這里必須要有人為定義的一個(gè)標(biāo)準(zhǔn)來(lái)保證生成的數(shù)據(jù)和原來(lái)的數(shù)據(jù)不會(huì)離的太遠(yuǎn)。

其實(shí)所有的數(shù)據(jù)增強(qiáng)都有這個(gè)問(wèn)題，比如用那些變換來(lái)增強(qiáng)數(shù)據(jù)，或者在對(duì)抗魯棒性里允許的差異是多大，而這些就是這一系列方法中 “主觀” 的成分。

然后在通用的魯棒性系列中，還有一種 worst-case 增強(qiáng)相對(duì)隱蔽一些，我們做的 RSC 相當(dāng)于說(shuō)把模型切成編碼器和解碼器，然后在中間的表征上做 worst-case 增強(qiáng)【6】。這個(gè)簡(jiǎn)單的方法似乎效果很好，不僅在當(dāng)時(shí)的領(lǐng)域泛化 leaderboard 輕松達(dá)到 SOTA，我后來(lái)在幾個(gè)生物數(shù)據(jù)上嘗試效果也都不錯(cuò)。

既然我們?cè)鰪?qiáng)的數(shù)據(jù)，現(xiàn)在每個(gè)數(shù)據(jù)至少有兩個(gè) copy，那是不是會(huì)有一些正則化能夠把每組兩個(gè)數(shù)據(jù)的這種模式更好的利用起來(lái)。我認(rèn)為沒(méi)有比下圖更能說(shuō)明白這件事的了。

圖 3. 與數(shù)據(jù)增強(qiáng)可以無(wú)縫銜接的正則化。這張圖來(lái)自于我的另一個(gè)工作【7】。比如我們拿貓狗分類器來(lái)舉例子，我們要做一個(gè)模型來(lái)分類貓和狗，但是通常我們發(fā)現(xiàn)貓多數(shù)時(shí)候待在室內(nèi)，而狗更喜歡待在室外，這樣訓(xùn)練出來(lái)的模型顯然不夠好，因?yàn)榭赡苤皇窃趯W(xué)室內(nèi)室外而不是貓和狗的信息。我們要克服這個(gè)問(wèn)題，最簡(jiǎn)單的辦法就是用數(shù)據(jù)增強(qiáng)，畫(huà)一些室內(nèi)的狗和室外的貓出來(lái)?？墒莾H僅這樣還是不夠，因?yàn)檫€有可能有在游泳的狗或者哪天貓上了太空怎么辦。于是，一個(gè)策略就是想辦法讓模型無(wú)視掉所有的背景。就想上面那張圖，我們輸入一對(duì)數(shù)據(jù)，然后讓模型找到這一對(duì)數(shù)據(jù)中的共性，無(wú)視掉所有類似于背景的東西。

大概意味著我們現(xiàn)在可以用一個(gè)正則化來(lái)要求模型把一組數(shù)據(jù)只學(xué)習(xí)其中一致的部分。

這種正則化和增強(qiáng)的組合也是浩如煙海，畢竟任意定義一個(gè)距離度量（distance metric）就可以創(chuàng)造一個(gè)方法。我們?cè)谌ツ甑囊粋€(gè)工作中【7】嘗試為這一類的工作做出了一個(gè)概述。我非常喜歡當(dāng)時(shí)我做的 related work 部分，里面說(shuō)雖然有一些方法現(xiàn)在還沒(méi)有，將來(lái)反正也會(huì)被發(fā)明出來(lái)，不如索性現(xiàn)在一起討論了。只不過(guò)我們討論完了之后發(fā)現(xiàn)，額，這些方法可能也沒(méi)有必要被發(fā)明出來(lái)了。

另外，我提出這一套 idea 的時(shí)候經(jīng)常收到一個(gè)問(wèn)題 “這和對(duì)比學(xué)習(xí)（contrastive learning）是不是很像呢？”“是吧，只是多了監(jiān)督損失（supervision loss）”?！澳遣痪褪前褜?duì)比學(xué)習(xí)搬過(guò)來(lái)了嗎？” “這么理解倒也行，不過(guò)這些工作遠(yuǎn)遠(yuǎn)早于對(duì)比學(xué)習(xí)。”

3.3. 樣本重加權(quán)方法

這一系列方法的家族較前兩個(gè)家族相對(duì)小巧一些，不過(guò)也已經(jīng)非常多了。

方法直觀理解起來(lái)比較簡(jiǎn)單，在很多魯棒性和公平性的任務(wù)中，有一些數(shù)據(jù)點(diǎn)因?yàn)楸旧碓谀承┮饬x上屬于少數(shù)群體，模型很容易忽視這些數(shù)據(jù)，讓模型更加重視這些數(shù)據(jù)最直觀的方法就是為這些方法添加權(quán)重。那么怎么去找到這些樣本，怎么增加這些權(quán)重就是創(chuàng)新的空間。

我們把這三個(gè)家族的方法整理在下圖中了。

圖 4. 我們的 survey 整理的可信機(jī)器學(xué)習(xí)的三大框架（范式），數(shù)百甚至數(shù)千篇文章都遵循這個(gè)基本的框架，無(wú)論是魯棒性、公平性、對(duì)抗性，甚至可解釋性。（a）基本的 ERM baseline。（b）向 DANN 范式的延伸。（c）向數(shù)據(jù)增強(qiáng)范式的延伸，其中 c.1 是增加了正則化之后的效果。（d）是向樣本重加權(quán)角度的延伸。

圖 5. 這三個(gè)范式（紅色）與 ERM baseline（橙色）和各個(gè)領(lǐng)域（藍(lán)色）在數(shù)學(xué)上的聯(lián)系。這篇文章恐怕只能簡(jiǎn)單的概括一下各個(gè)方法，對(duì)于更深層次的數(shù)學(xué)聯(lián)系，還請(qǐng)閱讀我們的 survey。

我們也嘗試過(guò)把第二個(gè)和第三個(gè)家族的方法放到一起【8】，做出來(lái)的方法其實(shí)我個(gè)人非常喜歡，而且我曾經(jīng)讓同學(xué)把這個(gè)方法在藥物測(cè)試的 OOD 數(shù)據(jù)集上嘗試了一下，瞬間性能就提升到了懷疑代碼有 bug 的程度。

我個(gè)人一直在追求統(tǒng)計(jì)視角下這三個(gè)范式的大一統(tǒng)理論，也有一點(diǎn)嘗試【2】，不過(guò)這篇文章也經(jīng)常被詬病過(guò)于晦澀，我也在考慮為這篇文章寫一個(gè) blog 解釋一下。

III. 回到標(biāo)題 - 1000 個(gè)創(chuàng)新點(diǎn)

先回答幾個(gè)問(wèn)題：

真的有 1000 個(gè)么？--- 我認(rèn)為差不多，不過(guò)重要的從來(lái)都不是數(shù)字，而是原理。其實(shí)我認(rèn)為如果誰(shuí)真的可以像我自己這么熟悉我們的 survey 的話，1000 個(gè)實(shí)在是太過(guò)于謙虛了，不過(guò)我也確實(shí)不太可能有精力把整個(gè) survey 在這里解釋一遍。

• 都能用來(lái)發(fā)頂會(huì)么？--- 不好說(shuō)，但是每年頂會(huì)里肯定都能看見(jiàn)類似的文章發(fā)表，只不過(guò)不知道投的有多少。
• 你為什么不自己留著發(fā) paper 呢？--- 這些 idea 不足以反映我對(duì)學(xué)術(shù)的追求，而且甚至更有追求的 idea 我現(xiàn)在都有點(diǎn)溢出了，根本用不完。

終于開(kāi)始進(jìn)入正文了，為了更好的介紹，先說(shuō)清楚下文的介紹講分為如下四個(gè)板塊。

1. 還是得先用最傳統(tǒng)的 ERM 結(jié)構(gòu)介紹一些每一類可信機(jī)器學(xué)習(xí)方法的，從我跟學(xué)生的交流看來(lái)，這些方法似乎是最符合一個(gè)年輕同學(xué)對(duì) “創(chuàng)新” 這兩個(gè)字的理解的。
2. 然后追隨一波潮流，證明一下重要的從來(lái)都是方法的本質(zhì)，而 ERM 結(jié)構(gòu)或者大模型都只是這些方法本質(zhì)具象化的媒介。所以同樣的范式在大模型下基本都適用。
3. 然后更進(jìn)一步的，這幾個(gè)方法可以互相借鑒，帶來(lái)更好的效果。
4. 最后實(shí)在不行，做做應(yīng)用。很多應(yīng)用問(wèn)題都天然的要求模型必須要至少魯棒，畢竟既然是應(yīng)用，就得要模型真的有用。

4.1 從 ERM 的展開(kāi)

4.1.1 從 ERM 展開(kāi) - DANN 及其延伸

前面也說(shuō)過(guò)了，作為最經(jīng)典的方法之一，DANN 已經(jīng)被重復(fù)利用太多次了，比如最簡(jiǎn)單，直接把 domain-invariant 對(duì)標(biāo)到 sensitive-covariate-inviariant 就是新的方法，直接把兩個(gè) domain 的 invariant 變成多個(gè) domain 的 invariant（從 domain adaptation 到 domain generalization）又是一個(gè)方法，不過(guò)這兩個(gè)在我印象里已經(jīng)被大同小異地發(fā)表過(guò)太多次了。

下面說(shuō)說(shuō)（我感覺(jué)）沒(méi)有被怎么發(fā)表過(guò)的。首先 DANN 最突出的特色就是那個(gè)用來(lái)做 domain invariant 的分類器。那既然有這么一個(gè)分類器，其實(shí)非常自然的人們就可以思考：是不是如果這個(gè)分類器變得更好，那么 DANN 本身及其架構(gòu)下的方法都會(huì)變得更好。然后最簡(jiǎn)單的想法就是把這個(gè)分類器（現(xiàn)行的一般就是個(gè)普通的 MLP）武裝起來(lái)，從基本的 dropout，到稍復(fù)雜點(diǎn)的歸一化（normalization）體系（batchnorm，layernorm 以及后來(lái)的各種變形），到更體系化的注意力（attention）家族，甚至還可以搞一套對(duì)抗訓(xùn)練（adversarial training）讓這個(gè)小的分類器對(duì)小型擾動(dòng)（perturbation）更加魯棒。各種技巧不勝枚舉。然而很有意思的是，這個(gè)角度如此的系統(tǒng)和規(guī)矩，卻似乎從未被人仔細(xì)的探索過(guò)。

相比較之下，大家似乎更加執(zhí)著于一些更加具體，隨性的方法。盡管其本質(zhì)也是讓這個(gè)小的分類器變得更好，但是更多的技巧都是 case-by-case 地設(shè)計(jì)出來(lái)的。比如我們 survey 里提到過(guò)的一些方法，這里不再贅述了。這種方法的設(shè)計(jì)需要一些對(duì)于問(wèn)題本身的理解，更好的一些直覺(jué)，所以想體系化的一下產(chǎn)生 100 個(gè) idea 可能還比較難。不過(guò)如果有人想批量試試，很簡(jiǎn)單的思路就是去看看領(lǐng)域自適應(yīng)或者領(lǐng)域泛化這些里的在更大規(guī)模的實(shí)驗(yàn)中證明過(guò)自己的方法時(shí)候可以在 公平性相關(guān)的問(wèn)題中有所作為。當(dāng)然反過(guò)來(lái)也是一樣，只不過(guò)領(lǐng)域自適應(yīng)和領(lǐng)域泛化發(fā)展的比較早，反過(guò)來(lái)能有效的幾率小了一點(diǎn)。

4.1.2. 從 ERM 展開(kāi) - 數(shù)據(jù)增強(qiáng)的延伸

數(shù)據(jù)增強(qiáng)整個(gè)家族的方法通常給人一種很簡(jiǎn)單的感覺(jué)，在這上面的創(chuàng)新其實(shí)也不難。

在這里，我們就不說(shuō)如何增強(qiáng)了，無(wú)論是旋轉(zhuǎn)，翻轉(zhuǎn)，還是在頻域搞點(diǎn)什么事情，稍加思考，總是能找到一些能用的數(shù)據(jù)增強(qiáng)的方法的。這里我們主要說(shuō)說(shuō)當(dāng)我們有了數(shù)據(jù)增強(qiáng)之后，或者說(shuō)當(dāng)我們觀察到簡(jiǎn)單的增強(qiáng)可以幫助我們之后，改怎么進(jìn)一步提高性能。

直接轉(zhuǎn)為 worst-case 的方法。當(dāng)我們知道了什么增強(qiáng)能夠幫助我們提高性能之后，最簡(jiǎn)單直接的方法就是直接把原來(lái)的 IID 增強(qiáng)（對(duì)每一個(gè)樣本隨機(jī)抽樣一種增強(qiáng)的方法）直接改為 worst-case 的增強(qiáng)（對(duì)每一個(gè)樣本選擇那個(gè)讓訓(xùn)練損失變得最高的增強(qiáng)方法）。這個(gè)方法最差也不過(guò)是和原來(lái)的那種增強(qiáng)效果相同，而且?guī)缀?100% 保證提高效率，即在更少的 epoch 數(shù)下提高性能。不過(guò)這么簡(jiǎn)單的東西也有弊端，畢竟選擇那種增強(qiáng)可以稱之為 worst-case 需要更多的計(jì)算量，如果增強(qiáng)本身是梯度的一部分還好一些，如果不是，反復(fù)的前向傳播（forward pass）來(lái)計(jì)算損失不僅量大，而且顯得很臃腫。這些計(jì)算帶來(lái)的收益未必比得過(guò)更少的 epoch 帶來(lái)的收益。另外，這種方法也非常適配 dropout 之類的數(shù)據(jù)擾動(dòng)（data perturbation）類的方法，我們?cè)?jīng)做過(guò)一個(gè)效果非常好的方法叫 RSC【6】。

數(shù)據(jù)增強(qiáng) + 正則化。另一個(gè)幾乎 100% 帶來(lái)收益的方法是加一個(gè)正則化。尤其是在魯棒性相關(guān)的評(píng)估 上。幾乎任何一個(gè)距離度量都會(huì)帶來(lái)一個(gè)新的方法，我們?cè)谠?jīng)的文章【7】里也說(shuō)過(guò)（數(shù)據(jù)增強(qiáng)的方法 X 各種距離度量 X 應(yīng)用）就會(huì)帶來(lái)近乎無(wú)限的收益。只不過(guò)有一點(diǎn)，根據(jù)我的經(jīng)驗(yàn)，這個(gè)收益往往來(lái)自于魯棒性相關(guān)的評(píng)估上，而不是 iid 上的準(zhǔn)確率評(píng)估。另外，這個(gè)角度和上一個(gè)角度互相是兼容的，只要有一個(gè)增強(qiáng)似乎有可能有效，幾乎可以馬上升級(jí)成此類方法。

那如果找不到哪個(gè)數(shù)據(jù)增強(qiáng)的方法能來(lái)用怎么辦呢？一個(gè)最簡(jiǎn)單直觀的方法就是直接在模型上綁個(gè) GAN 一類的生成模型，然后用這個(gè)模型來(lái)一邊生成數(shù)據(jù)，一邊拿去給模型訓(xùn)練。這一類的方法一個(gè)很天然的好處就是把 GAN 之類的模型綁上去的時(shí)候，梯度往往已經(jīng)連接到了一起，這樣天然就可以把普通的數(shù)據(jù)增強(qiáng)升級(jí)成 worst-case 的版本的。當(dāng)然，有任何一個(gè)增強(qiáng)，就可以直接升級(jí)成帶正則化版本的。最后，這一套方法還有一個(gè)好處就是可以隨著生成模型的升級(jí)無(wú)限升級(jí)，從 GAN 到 VAE 再到 diffusion，只要有更好的生成模型，這一套 idea 可以一直發(fā)展下去。

4.1.3 從 ERM 展開(kāi) - 樣本重加權(quán)的延伸

同數(shù)據(jù)增強(qiáng)一樣，這一套方法其實(shí)在機(jī)器學(xué)習(xí)的世界里早已是碩果累累。即使是現(xiàn)在，在基礎(chǔ)的機(jī)器學(xué)習(xí)課程中，加權(quán)最小二乘法（weighted least square）也經(jīng)常作為線性回歸（linear regression）的自然延伸講授。只不過(guò)可能深度學(xué)習(xí)最開(kāi)始出來(lái)的時(shí)候大家認(rèn)為這種方法非常自然，即使這類方法可以提高準(zhǔn)確率，大家似乎也沒(méi)有把它當(dāng)做真正的方法拿來(lái)考慮的必要。后來(lái)深度學(xué)習(xí)的現(xiàn)實(shí)意義越來(lái)越多，大家意識(shí)到 under-represented 的問(wèn)題比比皆是，然后再次意識(shí)到給樣本加個(gè)權(quán)重這種自然的方法有很大的意義。

最早期的方法就是損失越大，權(quán)重就越大，這樣這個(gè)模型就會(huì)更關(guān)注這個(gè)樣本。后來(lái)衍生出各種估計(jì)權(quán)重的方法。我猜測(cè)這一類方法的一個(gè)終極形態(tài)就是用另一個(gè)深度學(xué)習(xí)模型來(lái)估計(jì)權(quán)重。如果這一天真的出現(xiàn)了，大概也是為了提高性能無(wú)所不用其極的典型了。我認(rèn)為一個(gè)方法如果走到了這一步，現(xiàn)實(shí)意義就很小了，所以只適合那些需要發(fā)發(fā) paper 的同學(xué)。

4.2 大模型的時(shí)代

我們做這個(gè) survey 的時(shí)候，最讓人激動(dòng)的地方就是這里面很多系統(tǒng)性的思維，都可以直接銜接在大模型這個(gè)時(shí)代的方法中。為了做到這個(gè)銜接，我們首先把大模型時(shí)代的典型 prompt 結(jié)構(gòu)翻譯成更常見(jiàn)的形態(tài)。

首先，在大模型時(shí)代之前，幾乎所有的模型都是在 ERM 的架構(gòu)上建立出來(lái)的，也就是說(shuō)，幾乎所有的模型都是下面這個(gè)公式的某種延伸，如我們?cè)趫D 5 中展示的那樣。

可是到了大模型時(shí)代，很多方法都不能是 ERM 的延伸了，畢竟重新訓(xùn)練一個(gè)模型變得不現(xiàn)實(shí)了，于是有了各種利用已經(jīng)訓(xùn)練好的參數(shù)的方法誕生了。首先是最簡(jiǎn)單的 微調(diào)（fine-tuning），然后又有了 prompt 和 adaptor。我們認(rèn)為這些方法都可以同樣的寫到 ERM 體系下。

比如微調(diào)最簡(jiǎn)單，其實(shí)就是把訓(xùn)練好的模型看做一種初始化（initialization）。

由于公式中沒(méi)有注明初始化來(lái)自于何方，所有這兩者看起來(lái)是一樣的。

Adaptor 其實(shí)也好處理，就是插入一部分新的權(quán)重，然后只訓(xùn)練這一部分權(quán)重。

我們這里主要關(guān)注的是自動(dòng)生成的 prompt，而不是那種手動(dòng)設(shè)計(jì)的，這樣的話，生成 prompt 的部分可以看做是一個(gè)模型，那整個(gè)模型合到一起就是一個(gè)編碼器-解碼器的結(jié)構(gòu)。

這樣看下來(lái)，事情就變得很簡(jiǎn)單了，在大模型的世界里，想要追求可信的性質(zhì)，無(wú)非就是把曾經(jīng)的 ERM 里好用的方法再拿來(lái)試一下。尤其是那些經(jīng)典的方法，如果有必要的話，必將占據(jù)一席之地。

在我們整理這個(gè) survey 的時(shí)候，我們發(fā)現(xiàn)了很多的例子，更多的內(nèi)容可以見(jiàn)我們的 survey，下面這兩個(gè)是我經(jīng)常放在相關(guān)的 presentation 里的例子，大家可以感受一下，這兩個(gè)方法放到我們的范式之中之后是多么的規(guī)矩。

例子 1 來(lái)自于這篇 paper《Adversarial soft prompt tuning for cross-domain sentiment analysis》, 我認(rèn)為這圖，尤其是領(lǐng)域?qū)褂?xùn)練足以說(shuō)明問(wèn)題了。

圖 6. 左圖來(lái)自于《Adversarial soft prompt tuning for cross-domain sentiment analysis》，相當(dāng)于是來(lái)在 DANN 范式在大模型下的應(yīng)用。

例子 2 來(lái)自于這篇 paper《Auto-debias: Debiasing masked language models with automated biased prompts》，其實(shí)主要也可以從圖上看出來(lái)方法的核心在于去找到有偏見(jiàn)的 prompt，進(jìn)而用某種一致性損失去除他們。

圖 7. 左圖來(lái)自于《Auto-debias: Debiasing masked language models with automated biased prompts》，相當(dāng)于是數(shù)據(jù)增強(qiáng)和正則化范式在大模型下的應(yīng)用。

當(dāng)然，這兩個(gè)例子并不是在貶低這兩篇 paper，每篇 paper 都有自己的獨(dú)到之處，需要仔細(xì)讀才看的出來(lái)。這里只是借用這兩篇宏觀的方法來(lái)證實(shí)一下這種可信機(jī)器學(xué)習(xí)范式的力量。

4.3 方法的混搭

再?gòu)牧硪粋€(gè)角度出發(fā)，其實(shí)一個(gè)特別有效的思路就是這些方法的混搭。

比如我們這里介紹了三種最核心的范式，然后每個(gè)范式下面都有數(shù)十種方法。一個(gè)很簡(jiǎn)單的思路就是，不同范式下的不同的方法能否組合在一起呢？

我們?cè)谧约禾岢隼碚摵诵牡?paper 里【2】做過(guò)一點(diǎn)簡(jiǎn)單的嘗試，比如把最簡(jiǎn)單的 “領(lǐng)域分類器” 和最簡(jiǎn)單的 “數(shù)據(jù)增強(qiáng)” 放到一起，提出了一個(gè)方法，也提高了一點(diǎn)性能。不過(guò)由于這個(gè) paper 的重點(diǎn)是理論的部分，這個(gè)方法我們沒(méi)有太細(xì)致的打磨，可能潛力比較小。不過(guò)這些也應(yīng)該證實(shí)了一點(diǎn)：兩個(gè)范式下各自最簡(jiǎn)單的方法一組合變有效果，那么兩個(gè)范式下各自更復(fù)雜的方法的組合豈不是一定好使？

在另一個(gè)我非常喜歡的工作中，我們嘗試了把兩鐘 worst-case 的概念結(jié)合起來(lái)，一種在特征的維度上去 drop 預(yù)測(cè)性最強(qiáng)的特征，這其實(shí)也就是相當(dāng)于一種數(shù)據(jù)增強(qiáng)，另一種是在樣本的維度上，其實(shí)就是重加權(quán)的范式下面。這個(gè)結(jié)合帶來(lái)了兩個(gè)維度下的 worst-case，因此被我命名為 W2D。我認(rèn)為這個(gè)方法及其的自然，精巧，非常好理解，而且效果拔群（具體的可以見(jiàn)下文）。然后這個(gè)角度很自然的思路就是，我們其實(shí)依然只是用了兩個(gè)范式里比較簡(jiǎn)單的方法，重加權(quán)的范式里就是最簡(jiǎn)單的損失轉(zhuǎn)換為權(quán)重，增強(qiáng)里面的稍微復(fù)雜一點(diǎn)，因?yàn)槲覀冎苯踊诹俗约旱?RSC 的工作來(lái)做的增強(qiáng)。不過(guò)這里面的空間依然很大，其實(shí)我當(dāng)時(shí)做這個(gè) paper 的一個(gè)遺憾就是沒(méi)有直接用當(dāng)時(shí)效果最好的重加權(quán)的方法，這個(gè)效果最好的方法也是一個(gè)非常小巧和優(yōu)雅的方法，很契合我們做事的理念。

當(dāng)然，沿著這兩個(gè)思路下來(lái)，很自然的角度就是各個(gè)范式下各種方法的結(jié)合，這里就不必贅述了。

4.4 最后，還有新鮮的應(yīng)用

如果開(kāi)發(fā)新的方法對(duì)于某些同學(xué)來(lái)講讓人頭大，那就沒(méi)必要使勁琢磨了，在新的應(yīng)用上對(duì)這些方法做一些小規(guī)模的創(chuàng)新一樣能吃飽飯。

這也是另一個(gè)我特別喜歡 W2D 方法的理由。經(jīng)常對(duì)那些不太想真正在技術(shù)前沿拼殺的同學(xué)，我通常建議他們?cè)谀承?shù)據(jù)集上嘗試一下 W2D 方法，通常一次嘗試就直接提高 SOTA。目前我們嘗試的幾個(gè)跟 drug 相關(guān)的數(shù)據(jù)集都是這種效果。我認(rèn)為這個(gè)跟兩個(gè)原因有關(guān)。一個(gè)是說(shuō) W2D 本身的力量幾乎全部來(lái)自于純粹的統(tǒng)計(jì)，而不是主觀的正則化，這大大提高了這個(gè)方法的適配度。另一個(gè)愿意就是 W2D 對(duì)于模型沒(méi)有任何要求，幾乎只要是交叉熵?fù)p失（cross-entropy loss）就能用，所以可以直接 plug-in 到幾乎任何 SOTA 模型上然后送它們?cè)龠M(jìn)一步。

但是我們也在細(xì)胞圖像分割（cellular image segmentation）上嘗試過(guò)，結(jié)果似乎很掙扎，可能是因?yàn)?W2D 畢竟還是比較適合傳統(tǒng)一點(diǎn)的交叉熵?fù)p失，分割的損失函數(shù)不太適配。

另一個(gè)我認(rèn)為特別簡(jiǎn)單的性能助推器是我們的 AlignReg，一般有高中生找我合作我就會(huì)讓他們把玩一下這個(gè)，幾乎也是注定提高性能。然后他們就來(lái)跟我說(shuō)，“原來(lái)機(jī)器學(xué)習(xí)這么簡(jiǎn)單”，那是因?yàn)槟悴恢牢耶?dāng)時(shí)花了多久才把事情簡(jiǎn)化到這種程度。

當(dāng)然，以上只是兩個(gè)例子，方法五花八門，應(yīng)用更是千姿百態(tài)，隨便組合也許就是新的機(jī)會(huì)。但是其實(shí)方法和問(wèn)題適配非常的重要，隨便拼湊著試恐怕不行。比如上面兩個(gè)例子，W2D 的那些應(yīng)用上的成績(jī)都是因?yàn)閿?shù)據(jù)本身也是一個(gè)跨領(lǐng)域的問(wèn)題，無(wú)論是領(lǐng)域自適應(yīng)還是領(lǐng)域泛化，還是什么新的 setting。AlignReg 那個(gè)例子也是，方法雖然簡(jiǎn)單，但是確定方法和問(wèn)題是一致的一般不是那些高中生能自己做到的。

IV. 最后一部分

寫到這里，我希望我兌現(xiàn)了這 1000 個(gè)創(chuàng)新點(diǎn)的承諾，如果你一路讀下來(lái)，每句話都有道理，你恐怕會(huì)感受到其實(shí)遠(yuǎn)遠(yuǎn)不止 1000 個(gè)。如果你沒(méi)有這種感覺(jué)，也建議去看看我們完整的 survey，那里的內(nèi)容要豐富的多。

順便也借此回答一下有些朋友可能有的問(wèn)題：“你這樣把 idea 寫出來(lái)你自己的 paper 不就少了嗎？” 按我現(xiàn)在的淺見(jiàn)，重要的從來(lái)不是 paper 數(shù)量，而是這些 paper 后面承載的內(nèi)力，沒(méi)有這種修養(yǎng)，paper 再多不過(guò)是些花拳繡腿，一碰就散架。不過(guò)我現(xiàn)在還太年輕，這些理解未來(lái)也許會(huì)隨著年齡的增長(zhǎng)而改變。

最后的最后，既然寫了這么長(zhǎng)，順便介紹一下自己。

我現(xiàn)在在伊利諾伊大學(xué)厄巴納-香檳分校（UIUC）的信息科學(xué)學(xué)院當(dāng)助理教授，主要研究可信機(jī)器學(xué)習(xí)（trustworthy machine learning）和計(jì)算生物學(xué)（computational biology）。目前將 lab 命名為 DREAM （Developing Reliable and Efficient Algorithms for Medicine）。我的 lab 剛剛建立一年多，非常需要各種志同道合的小伙伴，歡迎大家來(lái)和我一起玩，無(wú)論是正式的申請(qǐng)，還是作為 intern 或 visiting scholar。今年的 phd 申請(qǐng)，我要盡量在自己的 intern 中錄取。我個(gè)人非常非常非常喜歡和優(yōu)秀的人一起玩，因?yàn)槲艺J(rèn)為這是一個(gè)互相進(jìn)步的過(guò)程。而且這種優(yōu)秀其實(shí)不局限于簡(jiǎn)歷上的優(yōu)秀，更多是修養(yǎng)和追求上的優(yōu)秀。