一、為何在意因果關(guān)系

首先介紹一下何為因果關(guān)系：

當(dāng)我們說變量/事件之間是有關(guān)系的，意思是說它們不是獨(dú)立的，這樣它們之間一定存在一些關(guān)系。然而 X 是 Y 的“因”的含義是，如果采用特定方法改變 X（天下雨），Y（地面變濕）則會(huì)隨之改變，即對(duì) X 進(jìn)行 “intervention” 人為干預(yù)時(shí)，Y 的分布是不一樣的。需要注意的是，這里的干預(yù)不是隨意的，而是非常精確的對(duì)目標(biāo)變量（target variable）的直接控制（直接對(duì)“天下雨”進(jìn)行改變），這個(gè)改變不會(huì)直接影響系統(tǒng)中的其他變量。同時(shí)通過這種方式，即直接人為干預(yù)，我們也能夠確定某一變量是否是另一變量的直接原因。

下面對(duì)分析因果關(guān)系的必要性進(jìn)行了舉例：

① 一個(gè)經(jīng)典的案例是：肺病和指甲顏色通過抽煙存在著一些關(guān)系，即由于香煙沒有過濾嘴，經(jīng)常抽煙會(huì)使手指甲變黃，抽煙也可能導(dǎo)致肺部疾病。如果想改變某個(gè)地區(qū)肺部疾病的發(fā)病率，不能通過將指甲漂白來改善，需要找到導(dǎo)致肺部疾病的原因，而不是改變肺部疾病存在的依賴關(guān)系。要想達(dá)到改變肺部疾病發(fā)病率的目的，就需要進(jìn)行因果分析。

② 第二個(gè)案例是：辛普森悖論。上圖右邊是一個(gè)真實(shí)的數(shù)據(jù)集，數(shù)據(jù)集展示了兩組腎結(jié)石數(shù)據(jù)，一組結(jié)石比較小，另一組結(jié)石比較大；此外還有兩種治療方式 A 和 B。在表中可以發(fā)現(xiàn)，不管是小結(jié)石組還是大結(jié)石組，A 治療方式獲得的結(jié)果會(huì)好一些，治愈率分別是 93% 和 73%，B 治療方式的治愈率分別是 87% 和 69%。但將同一治療方法的兩組結(jié)石病人混合在一起統(tǒng)計(jì)，整體來看 B 治療方案的效果（83%）反而比 A（78%）更好。假設(shè)你是只在意治愈率的醫(yī)生，對(duì)新病人該如何選擇治療方案。出現(xiàn)這種情況的原因在于，進(jìn)行推薦時(shí)，我們只在意治療方式到治愈的因果聯(lián)系，而不在意其他依賴關(guān)系。然而石頭大小是治療方式和是否治愈的共同原因，它導(dǎo)致治療方式和治愈的依賴關(guān)系在數(shù)量上發(fā)生改變。故當(dāng)研究治療方式和治愈的關(guān)系時(shí)，應(yīng)該討論前者對(duì)后者的因果關(guān)系，而不是依賴關(guān)系。

③ 第三個(gè)案例：在 50 年以前，統(tǒng)計(jì)顯示高校中的女性平均會(huì)比男性更聰明，然而實(shí)際兩者不應(yīng)該有明顯差異。這其中存在著選擇偏差（selection bias），因?yàn)榕员饶行愿y進(jìn)入大學(xué)，即學(xué)校招收學(xué)生時(shí)，會(huì)受到性別、考試能力等因素影響。當(dāng)“果”已經(jīng)發(fā)生時(shí)，性別和考試能力就會(huì)有某些關(guān)系了。當(dāng)使用互聯(lián)網(wǎng)采集的數(shù)據(jù)時(shí)也會(huì)存在選擇偏差的問題。一個(gè)數(shù)據(jù)點(diǎn)是否被收集和某些屬性往往是有關(guān)系的，如果僅分析被放置在互聯(lián)網(wǎng)上的數(shù)據(jù)，就需要注意考慮這些因素。當(dāng)意識(shí)到這一點(diǎn)時(shí)，也能通過因果關(guān)系來對(duì)有選擇偏倚的數(shù)據(jù)進(jìn)行分析，進(jìn)而恢復(fù)或反推得到整個(gè)群體本身的性質(zhì)。

上圖展示了幾個(gè)機(jī)器學(xué)習(xí)/深度學(xué)習(xí)的問題：

① 我們知道最有預(yù)測和數(shù)據(jù)的分布是有關(guān)系的。在遷移學(xué)習(xí)中，例如如果想要將一個(gè)模型從非洲遷移到美洲，還能進(jìn)行最優(yōu)預(yù)測，這顯然就需要根據(jù)數(shù)據(jù)分布的不同對(duì)模型進(jìn)行適應(yīng)性調(diào)整。這時(shí)，分析數(shù)據(jù)的分布發(fā)生了什么變化，怎樣發(fā)生變化就顯得尤為重要。知道數(shù)據(jù)發(fā)生了什么變化，就能對(duì)模型進(jìn)行相應(yīng)的調(diào)整。另一個(gè)例子，當(dāng)構(gòu)建 AI 模型進(jìn)行疾病診斷時(shí)，不會(huì)滿足于機(jī)器提出的診斷結(jié)果，會(huì)進(jìn)一步的想要知道機(jī)器為什么會(huì)得出這個(gè)結(jié)論，例如是哪一個(gè) mutation（變異）導(dǎo)致了該疾病。此外，如何治療疾病也會(huì)提出很多“為什么”的問題。同樣，當(dāng)推薦系統(tǒng)進(jìn)行推薦時(shí)，會(huì)想知道為什么它會(huì)推薦該物品/策略，比如該公司僅僅想提高收益，或者該物品/策略很適合用戶，又或者該物品/策略有益于未來。這些“為什么”的問題都是因果問題。

② 在深度學(xué)習(xí)領(lǐng)域中，存在著對(duì)抗攻擊（adversarial attacks）的概念。如圖，對(duì)左邊的大熊貓圖片加入一些特定噪聲，或改變特定像素等，機(jī)器就將圖片判定為其他類型動(dòng)物，而不是大熊貓，并且其置信度還很高。然而對(duì)于人類來說，這兩張圖片明顯都是大熊貓。這是因?yàn)槟壳皺C(jī)器從圖片中學(xué)習(xí)到的高層特征和人類學(xué)習(xí)到的高層特征不吻合。如果機(jī)器使用的高層特征與人類不吻合，就有可能發(fā)生對(duì)抗攻擊。在改變輸入時(shí)，人類或機(jī)器的判斷會(huì)發(fā)生改變，最終判定結(jié)果就會(huì)存在問題。只有讓機(jī)器學(xué)習(xí)到與人類吻合的高層特征，即機(jī)器能按照人類的方式學(xué)習(xí)和使用特征，才能避免對(duì)抗攻擊的情形。

為什么要進(jìn)行因果表征？

① 使下游任務(wù)受益：如可以幫助下游的分類等任務(wù)做得更好。

② 能解釋“為什么”這類問題。

③ 將數(shù)據(jù)背后真正的因果特征恢復(fù)出來：哲學(xué)中康德的形而上學(xué)認(rèn)為，人類所感受到的世界是經(jīng)驗(yàn)世界。它雖然基于背后的世界本體（world-in-itself）， 但我們不能直接感知世界本體，經(jīng)驗(yàn)世界中已經(jīng)被感官系統(tǒng)自動(dòng)添加了一些性質(zhì)，如時(shí)間、空間、因果順序等。由此，如果希望機(jī)器學(xué)習(xí)到與人類吻合的特征，就需要機(jī)器具有學(xué)習(xí)因果順序/關(guān)系、時(shí)間、空間等特征的能力。

二、因果表征學(xué)習(xí)：獨(dú)立同分布情形

1、因果表征學(xué)習(xí)基本概念

如何在獨(dú)立同分布的情形下學(xué)習(xí)因果關(guān)系？首先需要回答兩個(gè)問題：一是數(shù)據(jù)中有哪些性質(zhì)是與因果關(guān)系有關(guān)的，在數(shù)據(jù)中有什么線索（“footprint”）。二是在獲得數(shù)據(jù)的條件下，是否能恢復(fù)出其中的因果關(guān)系，即因果系統(tǒng)的可識(shí)別性問題。

因果系統(tǒng)最本質(zhì)的性質(zhì)是 “modularity”（模塊性）：雖然系統(tǒng)中的變量都存在一定的關(guān)系，但是可以從因果關(guān)系將系統(tǒng)劃分成多個(gè)子系統(tǒng)（一個(gè)原因產(chǎn)生一個(gè)因變量）。例如，“天下雨”、“地面濕”、“地面滑”是相互依賴的，通過因果關(guān)系可以將其分別劃分為三個(gè)子系統(tǒng)：“某些原因?qū)е绿煜掠辍保疤煜掠陮?dǎo)致地面濕”，“地面濕導(dǎo)致地上滑”。雖然變量間是有依賴關(guān)系的，但這三個(gè) process（過程，即子系統(tǒng)）是沒有聯(lián)系的，不存在參數(shù)共享，改變一個(gè)系統(tǒng)不會(huì)導(dǎo)致另一系統(tǒng)的改變。如通過噴灑某些物質(zhì)使“地面濕導(dǎo)致地上滑”的影響得到改變，這不會(huì)影響天是否下雨，也不會(huì)改變天下雨對(duì)地面濕的影響。這種性質(zhì)就稱為 “modularity”，即從因果的角度將系統(tǒng)劃分為不同的子模塊，且各個(gè)子模塊間沒有聯(lián)系。

從模塊性出發(fā)，可以得到因果系統(tǒng)的三個(gè)性質(zhì)：

① 變量之間的條件獨(dú)立性。

② 獨(dú)立噪聲條件。

③ 最?。ê酮?dú)立）變化。

關(guān)于因果系統(tǒng)的可識(shí)別性，一般來說機(jī)器學(xué)習(xí)本身不是非常關(guān)注可識(shí)別性問題的，例如預(yù)測模型需要判斷預(yù)測結(jié)果是否準(zhǔn)確或最優(yōu)，但并沒有一個(gè)“真相”進(jìn)行判斷。但因果分析/因果表征學(xué)習(xí)是為了恢復(fù)數(shù)據(jù)“真相”，即更關(guān)注是否能將數(shù)據(jù)背后的因果性質(zhì)辨識(shí)出來。

下面介紹兩個(gè)基本概念：

① 因果發(fā)現(xiàn)（causal discovery）：通過數(shù)據(jù)探索背后的因果結(jié)構(gòu)/模型。

② 因果表征學(xué)習(xí)（causal representation learning）：從直接觀察的數(shù)據(jù)中尋找背后高層的隱變量及變量間關(guān)系。

2、因果表征學(xué)習(xí)劃分

因果表征學(xué)習(xí)方法一般從以下三個(gè)角度進(jìn)行劃分：

① 數(shù)據(jù)性質(zhì)：是否獨(dú)立同分布（“i.i.d. data”）。其中不獨(dú)立同分布數(shù)據(jù)包括不獨(dú)立但同分布數(shù)據(jù)，如存在時(shí)間依賴關(guān)系的同分布數(shù)據(jù)（如時(shí)間序列數(shù)據(jù)），也可以是獨(dú)立但不同分布的數(shù)據(jù)，如數(shù)據(jù)分布發(fā)生了變化（或者這兩者的結(jié)合）。

② 參數(shù)約束（“parameter constraints”）：因果關(guān)系的影響上是否有其他額外性質(zhì)，如參數(shù)模型。

③ 潛在混雜因素（“l(fā)atent confounders”）：是否允許系統(tǒng)中存在沒有觀察到的共同因子或者混淆因子。

下圖詳細(xì)展示了不同情形（setting）下能得到的具體結(jié)果：

如在獨(dú)立同分布情形下，如果沒有參數(shù)模型約束，不管是否有潛在混在因素，一般都能得到等價(jià)類（“equivalence class”），如果有參數(shù)模型約束，一般則能直接恢復(fù)背后的真相。

3、獨(dú)立同分布因果表征學(xué)習(xí)

上圖展示了在獨(dú)立同分布情形下，沒有參數(shù)模型約束的例子。數(shù)據(jù)一共展示了 250 個(gè)頭骨的 8 個(gè)測量變量，包括性別、地點(diǎn)、天氣，及頭骨的大小、形狀等?？脊艑W(xué)家想知道造成不同地區(qū)的人外貌不同的原因是什么，如果知道這一因果關(guān)系，或許可以通過環(huán)境和其他因素的改變對(duì)人的外貌進(jìn)行預(yù)測。顯然在這種條件無法進(jìn)行人為干預(yù)，即使加入了干預(yù)，也需要相當(dāng)長的時(shí)間才能觀測到結(jié)果，故只能從現(xiàn)有觀測數(shù)據(jù)中尋找因果關(guān)系。

如上圖所示，變量間關(guān)系是非常復(fù)雜的，可能是線性也可能是非線性，且變量維度也可能不一致。如性別是 1 維，頭骨性狀可能是 255 維。此時(shí)可以使用條件獨(dú)立的性質(zhì)來構(gòu)建因果關(guān)系。

方法包括以下兩種：

① PC（Peter-Clark）算法：算法假設(shè)系統(tǒng)中沒有觀察到共同因子。

② FCI 算法：用于有隱變量的情況。

下面將使用 PC 算法來分析考古學(xué)數(shù)據(jù)：從數(shù)據(jù)中可以得出一系列條件獨(dú)立的性質(zhì)，如變量 X1 和 X5 在給出 X3 時(shí)是條件獨(dú)立等。同時(shí)我們可以證明，如果兩變量是條件獨(dú)立的，那它們之間是沒有邊的。然后，我們可以從完整的圖出發(fā)，如果變量間是條件獨(dú)立的，則去掉相連的邊，即可得到無向圖，然后對(duì)圖中邊的方向進(jìn)行判斷，就可以找出有向無環(huán)圖（DAG，Directed Acyclic Graph）或者一些有向無環(huán)圖的集合來滿足數(shù)據(jù)中變量間的條件獨(dú)立約束。

上圖展示了使用 PC 算法和核條件獨(dú)立檢驗(yàn)方法對(duì)考古學(xué)數(shù)據(jù)進(jìn)行分析的結(jié)果：地理位置影響天氣，天氣影響頭骨大小，此外性別也會(huì)影響頭骨大小等。通過數(shù)據(jù)分析得到了其背后的因果關(guān)系。

在剛才提到兩個(gè)問題中，一個(gè)是需要找到變量 DAG 的每一條邊的方向，這需要做額外的假設(shè)。如果將因?qū)绾伟l(fā)生影響做一些假設(shè)，會(huì)發(fā)現(xiàn)因和果是不對(duì)稱的，這樣就能找出因果方向。下圖中的數(shù)據(jù)背景還是獨(dú)立同分布數(shù)據(jù)，并添加了額外的參數(shù)限制，且依然不允許系統(tǒng)中存在混淆因子。這時(shí)可以使用以下三種類型模型來研究因果方向：

① 線性非高斯模型（Linear non-Gaussian model）；

② 后-非線性因果模型（PNL，Post-nonlinear causal model）；

③ 加性噪聲模型（ANM，Additive noise model）。

在線性非高斯模型中，假設(shè)從 X 導(dǎo)致 Y，即 X 為因變量，Y 為果變量。從圖中可以看出，用 X 解釋 Y 進(jìn)行線性回歸時(shí)，殘差和 X 是獨(dú)立的；但是反過來，使用 Y 來解釋 X 進(jìn)行線性回歸時(shí)，殘差和 Y 之間是不相關(guān)的，但很明顯不是獨(dú)立的（線性高斯情況下，變量間不相關(guān)表示獨(dú)立。但此刻模型是線性非高斯，即不相關(guān)并不代表它們獨(dú)立）?？梢园l(fā)現(xiàn)因變量和果變量之間是不對(duì)稱的。這種情況同樣適用于后-非線性因果模型和加性噪聲模型。

上圖展示了后-非線性因果模型：外面的第 2 個(gè)非線性函數(shù)（f2）一般用于描述系統(tǒng)中的測量過程中引入到非線性變化，在觀察/測量數(shù)據(jù)時(shí)經(jīng)常會(huì)存在非線性變化。如生物領(lǐng)域中，用儀器測量基因表達(dá)數(shù)據(jù)時(shí)會(huì)有額外的非線性變化。線性模型（Linear models）、非線性加性噪聲模型（Nonlinear additive noise models）以及乘性噪聲模型（Multiplicative noise models）等都是 PNL 模型的特例。

最上方的散點(diǎn)圖展示了變量 x₁（海拔高度）和 x₂（年降雨量）的關(guān)系。首先假設(shè) x₁ 導(dǎo)致了 x₂，然后構(gòu)建模型來擬合數(shù)據(jù)，如左下角圖所示，殘差和 x₁ 是獨(dú)立的；然后假設(shè) x₂ 導(dǎo)致了 x₁，再次擬合模型，我們發(fā)現(xiàn)發(fā)現(xiàn)殘差和 x₂ 不獨(dú)立（見中間圖片）。由此，得出因果方向是由 x₁ 導(dǎo)致 x₂ 的。

從上一個(gè)例子中確實(shí)可以找到因果變量的不對(duì)稱性，但從理論上這個(gè)結(jié)果是否能被保證？且是唯一的正確結(jié)果，反方向（果到因）是無法解釋數(shù)據(jù)的呢？證明如上表所示，五種情形下兩個(gè)方向（因到果，果到因）都可以對(duì)數(shù)據(jù)進(jìn)行解釋，這五個(gè)都是非常特殊的情形。第一個(gè)是線性高斯模型，關(guān)系是線性的，分布是高斯的，這時(shí)因果的不對(duì)稱性消失了。其他四個(gè)都是特殊模型。

即使數(shù)據(jù)是用后非線性模型進(jìn)行分析的，因果都是能夠被區(qū)分的，正確的方向能夠找到獨(dú)立的殘差，反方向是找不到的。由于線性模型和非線性加性噪聲模型都是后非線性模型的特例，所以這種情況下這兩種模型也都是適用的，能夠找出因果方向。

給出兩個(gè)變量，能通過上述方法找到它們的因果方向。但更多情況下需要解決下面的問題：例如在心理學(xué)領(lǐng)域，通過問卷的形式收集到了一些問題的答案（x_i），這些答案之間是有依賴關(guān)系的，也不會(huì)認(rèn)為這些答案之間有直接的因果關(guān)系。

但如上圖所示，這些 x_i 是由背后的隱變量 L_i 一起產(chǎn)生的。如何通過觀察到的 x_i 將其背后的隱變量 L_i 及隱變量間關(guān)系揭示出來，就顯得尤為重要。

最近這些年有一些方法能幫助我們尋找這些因變量以及它們的關(guān)系。上圖則展示了泛化獨(dú)立噪聲（GIN，Generalized Independent Noise）方法的應(yīng)用例子，該方法可以解決一系列的問題。數(shù)據(jù)內(nèi)容是教師的職業(yè)倦怠情況，包含有 28 個(gè)變量。右圖則展示了專家提出的可能存在的導(dǎo)致這些職業(yè)倦怠情況（觀察到的變量）的隱變量，及隱變量間的關(guān)系。通過 GIN 方法分析觀察數(shù)據(jù)得到的結(jié)果與專家給出的結(jié)果吻合。專家是通過定性的背景知識(shí)進(jìn)行分析的，數(shù)據(jù)分析的定量分析方式給專家結(jié)果提供了驗(yàn)證和支撐。

進(jìn)一步深入分析，可以假設(shè)隱變量是分層的，即隱變量層級(jí)結(jié)構(gòu)（Latent Hierarchical Structure）。通過分析觀察變量 x_i ，就能將背后的隱變量 L_i 及其關(guān)系揭示出來。

三、從時(shí)間序列進(jìn)行因果表征學(xué)習(xí)

了解了獨(dú)立同分布情形下的因果表征方法，接下來將介紹如何在非線性條件下，獨(dú)立同分布情形下，如何找到背后的隱變量及因果關(guān)系。總體來說，獨(dú)立同分布情形下，需要比較強(qiáng)的條件（包括參數(shù)模型假設(shè)、線性模型、稀疏圖等）才能找到其中的因果關(guān)系。而其他情況下可以更輕松的找到因果關(guān)系。 

下面將介紹如何從時(shí)間序列中找出因果表征，即在數(shù)據(jù)不獨(dú)立但是同分布的情形下，如何進(jìn)行因果分析：

如果因果關(guān)系發(fā)生在觀察到的時(shí)間序列上，這是經(jīng)典的從時(shí)間序列數(shù)據(jù)找尋因果關(guān)系的問題，即格蘭杰因果關(guān)系（Granger causality）。格蘭杰因果關(guān)系與之前提到的基于條件獨(dú)立的因果關(guān)系是吻合的，只是加上了時(shí)間上的限制（如果不能比因發(fā)生得早），進(jìn)一步還能引進(jìn)瞬時(shí)因果連接（instantaneous causal relations）。

上圖展示了更加具有實(shí)用性的方法。在視頻數(shù)據(jù)中，數(shù)據(jù)背后真正有意義的隱藏過程（latent process），我們觀察的數(shù)據(jù)，作為它們的反應(yīng)（reflection），由他們的一個(gè)可逆光滑非線性函數(shù)變換產(chǎn)生。真正的隱因果過程一般是有時(shí)間上的因果聯(lián)系的，如“推一下，然后倒下”，這個(gè)因果影響一般是有時(shí)滯（time-delayed）的。這些條件下，即使是在非常弱的假設(shè)下（即使背后的隱過程是非參數(shù)的，且 g 函數(shù)（從隱過程到觀察到的時(shí)間序列）也是非參數(shù)的），也能完全將背后的隱過程全部揭示出來。

這是因?yàn)樵诨謴?fù)到真正的隱過程后，沒有瞬時(shí)因果關(guān)系和依賴，物體（objects）之間的關(guān)系會(huì)比較清晰。但如果使用錯(cuò)誤的分析方式去看觀察數(shù)據(jù)，如直接觀察視頻數(shù)據(jù)的像素（pixel），會(huì)發(fā)現(xiàn)它們之間是存在瞬時(shí)依賴關(guān)系的。

上圖展示了兩個(gè)簡單的案例：左邊展示了 KiTTiMask 視頻數(shù)據(jù)，分析視頻數(shù)據(jù)得到了三個(gè)隱過程：在一個(gè)方向移動(dòng)；在垂直方向移動(dòng)；mask 大小改變。右邊展示了 5 個(gè)不同顏色的小球，某些球之間有彈簧連接（不可見），通過分析可以得到 10 個(gè)隱變量（5 個(gè)小球的 x，y 坐標(biāo)），然后找到它們間的因果關(guān)系（某些小球之間有彈簧）。基于視頻數(shù)據(jù)，直接只用完全非監(jiān)督的方式，引入因果原則，就能找到背后對(duì)象（objects）間的關(guān)系。

四、多分布下的因果表征學(xué)習(xí)

最后介紹一下當(dāng)數(shù)據(jù)分布發(fā)生變化時(shí)的因果分析：

當(dāng)隨時(shí)間記錄變量/過程時(shí)，經(jīng)常會(huì)發(fā)現(xiàn)數(shù)據(jù)分布會(huì)隨時(shí)間變化，這是由于背后沒有觀察/測量到的變量的值發(fā)生了變化，由此作為反應(yīng)的觀察變量的數(shù)據(jù)分布就發(fā)生了變化。類似地，如果在不同條件下測量數(shù)據(jù)，會(huì)發(fā)現(xiàn)不同條件/地點(diǎn)測量到的數(shù)據(jù)的分布也可能不一樣。

這里要強(qiáng)調(diào)的一點(diǎn)是，因果建模和數(shù)據(jù)分布發(fā)生變化是存在非常緊密聯(lián)系的。當(dāng)給出一個(gè)因果模型，基于模塊化的性質(zhì)，這些子模塊可以獨(dú)立發(fā)生變化，如果能從數(shù)據(jù)中觀察到這個(gè)變化就能驗(yàn)證因果模型的正確性。這里所說的因果模型的變化是指，因果影響可以變強(qiáng)/變?nèi)跎踔料А?/p>

在非穩(wěn)態(tài)（nonstationary）數(shù)據(jù)/異質(zhì)（heterogeneous）數(shù)據(jù)中能更直接的發(fā)掘因果關(guān)系，在給出觀察變量后：

① 首先可以觀察發(fā)現(xiàn)在哪些變量的因果產(chǎn)生過程會(huì)發(fā)生變化；

② 把因果影響的無向邊（skeleton）確定下來；

③ 找出因果方向：在數(shù)據(jù)分布發(fā)生變化時(shí)，可以使用額外的性質(zhì)：因的變化與果根據(jù)因的變化間是相互獨(dú)立沒有聯(lián)系的。因?yàn)椴煌K間的變化是獨(dú)立的；

④ 使用低維可視化方法描述因果變化的過程。

下圖展示了對(duì)紐約證券交易所中股票 daily return 數(shù)據(jù)（瞬時(shí)數(shù)據(jù)，沒有時(shí)滯性）進(jìn)行分析的部分結(jié)果：

通過非穩(wěn)態(tài)性可以找出它們之間不對(duì)稱性的影響。不同的 sector 往往是一類（cluster），且緊密的聯(lián)系在一起。右下角圖片展示了股票隨時(shí)間變化的因果過程，其中兩條縱軸分別表示了 2007 年和 2008 年經(jīng)融危機(jī)。

通過多分布條件下的因果分析方法可以從不同的數(shù)據(jù)集中找到數(shù)據(jù)的變化規(guī)律，直接應(yīng)用就可以進(jìn)行遷移學(xué)習(xí)，進(jìn)行領(lǐng)域適用（domain adaptation）。如上圖所示，可以從不同的數(shù)據(jù)集中找出數(shù)據(jù)的變化規(guī)律，并通過增廣圖（augmented graph）來表示數(shù)據(jù)的分布可以發(fā)生怎樣的變化，如圖中 theta_Y 是表示，Y 在給出它的父親節(jié)點(diǎn)下的分布可以根據(jù)其領(lǐng)域（domain）不同而發(fā)生變化。基于描述數(shù)據(jù)分布發(fā)生變化的圖，在一個(gè)新的領(lǐng)域或者目標(biāo)領(lǐng)域預(yù)測 Y 就是一個(gè)非常標(biāo)準(zhǔn)的問題，即給出特征（feature）值如何找出Y的后驗(yàn)概率，是一個(gè)推理（inference）問題。

上圖展示了因果表征方法在模擬（simulated）數(shù)據(jù)和真實(shí)（real）數(shù)據(jù)上的推理效果準(zhǔn)確率是有明顯提升的?；诙ㄐ缘淖兓?guī)律和不同領(lǐng)域的變化性的大小，在新領(lǐng)域出現(xiàn)時(shí)再進(jìn)行適應(yīng)性調(diào)整，這樣的預(yù)測效果會(huì)比較好。

上圖展示了最近的部分解糾纏的領(lǐng)域適應(yīng)（Partial Disentanglement for Domain Adaption）相關(guān)工作。已知特征（feature）和目標(biāo)（target），假設(shè)一切都是非參數(shù)的，且有一些因子（factor）隨領(lǐng)域（domain）是不發(fā)生變化的即分布是穩(wěn)定的，但有個(gè)別因子可能發(fā)生變化，希望找到這些極少數(shù)的分布發(fā)生變化的因子。基于找到的因子，就可以將不同領(lǐng)域?qū)R（align）到一起，然后找到不同領(lǐng)域的對(duì)應(yīng)關(guān)系，這樣在進(jìn)行領(lǐng)域適應(yīng)/遷移學(xué)習(xí)時(shí)就會(huì)水到渠成。可以證明導(dǎo)致分布發(fā)生變化的背后獨(dú)立的因子，是可以直接從觀察數(shù)據(jù)中恢復(fù)出來的，不變化的這部分因子可以恢復(fù)其 subspace。如表格所示，通過以上方法在領(lǐng)域適應(yīng)中能取得很好的效果。同時(shí)，這個(gè)方法也符合最小變化（minimal change）的原則，即希望用最少變化的因子來解釋不同領(lǐng)域數(shù)據(jù)的因子到底發(fā)生了怎樣的變化，從而將它們對(duì)應(yīng)起來。

總結(jié)一下，本次分享主要包含了以下內(nèi)容：

① 一系列的機(jī)器學(xué)習(xí)問題需要一個(gè)合適的關(guān)于數(shù)據(jù)的背后表征。如決策時(shí)希望知道決策的影響，基于此才能做出最優(yōu)的決策；在領(lǐng)域適應(yīng)/泛化中希望知道數(shù)據(jù)的分布發(fā)生了怎樣的變化，從而做出最優(yōu)預(yù)測；在強(qiáng)化學(xué)習(xí)中，agent 與環(huán)境的交互以及交互帶來的 reward 本身就是一個(gè)因果問題；推薦系統(tǒng)也是一個(gè)因果問題，因?yàn)?user 是被改變的；可信賴 AI、可解釋 AI 以及公平性都和因果表征有關(guān)。

② 因果性，包括隱變量，在一定條件下是可以從數(shù)據(jù)中完全恢復(fù)出來的。可以真正通過數(shù)據(jù)理解背后過程的性質(zhì)，然后加以使用。

③ 因果關(guān)系不是神秘的。只要有數(shù)據(jù)，只要假設(shè)是合適的，就能找出背后的因果性。這里所做出的假設(shè)最好是可以驗(yàn)證的。

總體來說，因果表征學(xué)習(xí)有非常大的應(yīng)用前景，同時(shí)有很多方法也亟待開發(fā)，需要大家共同努力。