導(dǎo)讀：因果推斷是數(shù)據(jù)科學(xué)的一個(gè)重要分支，在互聯(lián)網(wǎng)和工業(yè)界的產(chǎn)品迭代、算法和激勵(lì)策略的評(píng)估中都扮演者重要的角色，結(jié)合數(shù)據(jù)、實(shí)驗(yàn)或者統(tǒng)計(jì)計(jì)量模型來計(jì)算新的改變帶來的收益，是決策制定的基礎(chǔ)。然而，因果推斷并不是一件簡單的事情。首先，在日常生活中，人們常常把相關(guān)和因果混為一談。相關(guān)往往代表著兩個(gè)變量具有同時(shí)增長或者降低的趨勢，但是因果意味著我們想要知道對(duì)一個(gè)變量施加改變的時(shí)候會(huì)發(fā)生什么樣的結(jié)果，或者說我們期望得到反事實(shí)的結(jié)果，如果過去做了不一樣的動(dòng)作，未來是否會(huì)發(fā)生改變？然而難點(diǎn)在于，反事實(shí)的數(shù)據(jù)往往是真實(shí)世界中難以觀察和收集的。

本文?回顧因果推斷的兩個(gè)流派——潛在結(jié)果模型Rubin Causal Model (RCM; Rubin 1978) 和結(jié)構(gòu)因果模型Causal Diagram (Pearl 1995)的主要技術(shù)思想和方法，以及近年來的新方法和應(yīng)用。筆者由于學(xué)術(shù)背景和計(jì)量經(jīng)濟(jì)學(xué)較為相關(guān)，所以引用的方法和論文主要參考了經(jīng)濟(jì)學(xué)的文獻(xiàn)，可能在一些方法的理論和應(yīng)用上的深度與廣度上有所疏漏，請讀者諒解。

潛在結(jié)果模型

我們把每個(gè)研究對(duì)象或者用戶用i來表示，他們可能會(huì)受到一定的策略干預(yù)：T_i=1代表受到了干預(yù)（實(shí)驗(yàn)組），T_i=0代表沒有受到干預(yù)（基準(zhǔn)組），對(duì)應(yīng)的我們關(guān)心的結(jié)果分別是Y_i0和Y_i1，但是只有一種情況會(huì)真實(shí)發(fā)生，也就是說Y_i0和Y_i1只能觀察到其中一個(gè)，另一個(gè)未知。這里我們期望得到的因果推斷結(jié)果是平均處理效應(yīng)ATE=E[Y₁-Y₀]。

我們可以通過一定的數(shù)學(xué)推導(dǎo)來解釋估計(jì)ATE的困難之處。由于我們只會(huì)觀察到Y_i0和Y_i1中的一個(gè)，我們能夠直接計(jì)算的其實(shí)是實(shí)驗(yàn)組和基準(zhǔn)組之間的組間差異E[Y_i1|T_i=1]-E[Y_i0|T_i=0]，這個(gè)差值進(jìn)一步可以拆解等于E[Y_i1|T_i=1]-E[Y_i0|T_i=1]+E[Y_i0|T_i=1]-E[Y_i0|T_i=0]。其中E[Y_i1|T_i=1]-E[Y_i0|T_i=1]是實(shí)驗(yàn)組個(gè)體上的平均處理效應(yīng)（ATT），ATT和ATE往往并不相等，這兩者的差異代表著我們計(jì)算的外在效度（External Validity）。如果樣本局限在某個(gè)年齡段的用戶，那么結(jié)果不一定能夠推廣到全年齡段的用戶上，說明我們的分析不一定具備外在效度。上面公式里的第二部分E[Y_i0|T_i=1]-E[Y_i0|T_i=0]代表了樣本的選擇性偏差。選擇性偏差在實(shí)際生活中常?？赡懿皇?，例如如果實(shí)驗(yàn)組和基準(zhǔn)組不是隨機(jī)抽樣而來，會(huì)在一定的特征分布上有差異，那么就可能會(huì)造成選擇性偏差。因此，我們計(jì)算的組間差異其實(shí)是只有當(dāng)消除選擇性偏差、具備外在效度，并且基于大量充足的樣本的時(shí)候，才代表著我們期望得到的平均處理效應(yīng)。潛在效果模型的思想方法其實(shí)就是通過一定的設(shè)定和模型達(dá)到這樣的條件。其思想背后，還有比較嚴(yán)格的數(shù)學(xué)假設(shè)。下面我們按照不同方法，分別回顧其主要思想和近年來的技術(shù)發(fā)展與應(yīng)用，受篇幅限制，斷點(diǎn)回歸方法這里就沒有展開做詳細(xì)介紹了。

1、A/B測試

潛在效果模型最常見的方法就是隨機(jī)實(shí)驗(yàn)，或者說是我們在工業(yè)界中常用到的A/B測試。我們通過一定的隨機(jī)性抽樣構(gòu)造實(shí)驗(yàn)組和基準(zhǔn)組，來觀察組間的差異。但是需要指出的是，即便滿足了隨機(jī)性，這里因果推斷的有效性還需要滿足一個(gè)重要的假設(shè)——Stable Unit Treatment Value Assumption (SUTVA)。每個(gè)個(gè)體的潛在結(jié)果只和他自己有關(guān)，與其他個(gè)體是否被實(shí)驗(yàn)策略干預(yù)無關(guān)，同時(shí)我們所關(guān)心的單個(gè)策略干預(yù)沒有不同形式或強(qiáng)度來導(dǎo)致不同的潛在結(jié)果。在現(xiàn)實(shí)生活中SUTVA假設(shè)違背的場景中有很多，也激發(fā)了各種新型A/B測試技術(shù)手段的發(fā)展，例如針對(duì)擠占問題的預(yù)算或者策略控制，亦或者是分流設(shè)計(jì)的改進(jìn)。我們這里舉一些分流相關(guān)的例子：

在LinkedIn，實(shí)驗(yàn)人員采用網(wǎng)絡(luò)抽樣的實(shí)驗(yàn)方法來應(yīng)對(duì)社交網(wǎng)絡(luò)對(duì)于傳統(tǒng)個(gè)體隨機(jī)試驗(yàn)的挑戰(zhàn)。首先將用戶分成不同的cluster，每個(gè)cluster作為一個(gè)個(gè)體來隨機(jī)分流和測算實(shí)驗(yàn)指標(biāo)，通過估計(jì)用戶的網(wǎng)絡(luò)效應(yīng)exposure來修正估計(jì)的處理效應(yīng)（Gui et al. 2015）。

在Airbnb等平臺(tái)，買家和賣家之間常常存在著相互影響，也會(huì)干擾傳統(tǒng)的實(shí)驗(yàn)方法。研究者通過雙邊實(shí)驗(yàn)設(shè)計(jì)和庫存的動(dòng)態(tài)模型來構(gòu)造實(shí)驗(yàn)評(píng)估指標(biāo)（Johari et al. 2022）。需要指出的是，雙邊實(shí)驗(yàn)是個(gè)比較嶄新的領(lǐng)域，其實(shí)驗(yàn)設(shè)計(jì)可以幫助實(shí)驗(yàn)者發(fā)現(xiàn)傳統(tǒng)單邊實(shí)驗(yàn)的溢出效應(yīng)，但是對(duì)于實(shí)驗(yàn)結(jié)果如何做統(tǒng)計(jì)推斷和修正是比較困難并且不一定有絕對(duì)答案的，要更多地結(jié)合業(yè)務(wù)場景來探討。

圖片來自論文Johari et al. (2022)

2、工具變量法

工具變量是解決線性回歸問題內(nèi)生性的一種方法。接下來我們介紹一下內(nèi)生性問題和如何通過工具變量解決內(nèi)生性。內(nèi)生性的主要問題是如果我們關(guān)心X對(duì)Y的影響，但是存在無法測量到的變量U，且U會(huì)同時(shí)影響X和Y。那么X具有內(nèi)生性，U即上文提到的混淆變量。如果我們能找到一個(gè)跟X有關(guān)的變量Z，且Z與U不相關(guān)。那我們可以通過Z作為工具變量來估計(jì)X對(duì)Y的因果效應(yīng)，具體計(jì)算方法一般是兩階段最小二乘法。工具變量法在實(shí)際使用的時(shí)候，要注意避免“弱工具變量”的問題，也就是工具變量Z和關(guān)心的變量X相關(guān)度很低，這樣會(huì)造成估計(jì)的因果效應(yīng)有偏差，可以依賴統(tǒng)計(jì)檢驗(yàn)方法來確認(rèn)這樣的問題是否存在。

工具變量法的一個(gè)發(fā)展是和深度學(xué)習(xí)模型相結(jié)合，例如Hartford et al. (2017) 提出的Deep IV方法。這一研究將傳統(tǒng)工具變量的兩階段最小二乘法轉(zhuǎn)化成更靈活的兩個(gè)深度神經(jīng)網(wǎng)絡(luò)的預(yù)測任務(wù)，放松了傳統(tǒng)方法中對(duì)于數(shù)據(jù)生成過程（DGP）的強(qiáng)假設(shè)。

在實(shí)際的應(yīng)用中，基于互聯(lián)網(wǎng)大量A/B測試積累的場景，我們可以通過實(shí)驗(yàn)的meta-learning和工具變量法來學(xué)習(xí)指標(biāo)間的因果關(guān)系。例如Peysakhovich & Eckles (2018) 利用Facebook的數(shù)據(jù)，將實(shí)驗(yàn)組信息作為工具變量，在兩階段最小二乘法的基礎(chǔ)上結(jié)合L0正則化，可以解決傳統(tǒng)工具變量法在有限樣本上的bias問題，也能克服現(xiàn)實(shí)情況中大量實(shí)驗(yàn)觀察到的效果絕對(duì)值比較低（“弱工具變量”）的問題。

工具變量的思想除了學(xué)習(xí)指標(biāo)間的影響關(guān)系外也可以用于解決推薦系統(tǒng)中的偏差問題。在推薦系統(tǒng)中，模型的訓(xùn)練往往依賴用戶的歷史觀看和轉(zhuǎn)評(píng)贊的反饋行為，但是這些歷史數(shù)據(jù)往往被展示的位置、曝光的模式等混淆因素所影響，快手和人大的研究者Si et al. (2022)利用工具變量的思想提出IV4Rec框架，將搜索的query作為工具變量來分解推薦系統(tǒng)embedding中的因果和非因果關(guān)系，和深度學(xué)習(xí)相結(jié)合，在快手?jǐn)?shù)據(jù)和公開數(shù)據(jù)集MIND上都能驗(yàn)證提升推薦模型的效果。

圖片來自論文Si et al. (2022)

3、匹配法

匹配（Matching）是被業(yè)務(wù)廣泛使用的一種因果分析方法，主要是為了解決當(dāng)實(shí)驗(yàn)組和控制組由于某種原因(confounder)不可比的時(shí)候，通過給實(shí)驗(yàn)組的每一個(gè)用戶匹配和他在某些特征上最相似（CEM粗粒度匹配）或者接受干預(yù)概率（propensity score）最相似（PSM傾向性得分匹配）的控制組用戶，重新制造可比的實(shí)驗(yàn)組和控制組。匹配是最近似AB/RCT(randomized controlled trial)隨機(jī)實(shí)驗(yàn)的方法，操作方法比較類似，結(jié)果很直觀。并且，匹配是一種非參數(shù)估計(jì)處理效應(yīng)的方法，不受制于一般的線性參數(shù)模型假設(shè)。通過匹配之后的樣本，也可以搭配雙重差分的方法，常用于解決新功能滲透率較低的問題。近年來，匹配法的發(fā)展主要是結(jié)合機(jī)器學(xué)習(xí)模型將傾向性得分匹配做得更加精準(zhǔn)，同時(shí)這里的思想也應(yīng)用到了一些其他因果方法、機(jī)器學(xué)習(xí)模型的糾偏中，相關(guān)內(nèi)容后文講到的時(shí)候會(huì)涉及。

4、面板數(shù)據(jù)的系列方法和發(fā)展

近年來，圍繞著面板數(shù)據(jù)的因果推斷有著比較多的新方法來出現(xiàn)。我們先回顧傳統(tǒng)的面板數(shù)據(jù)方法。

最常用的是雙重差分的方法。最簡單的雙重差分是控制組間差異，用回歸模型的形式來描述y_it=α₀+α₁Treat_i+α₂Post_t+α₃Treat_i*Post_t。這里Treat_i=1代表個(gè)體是否受到干預(yù)，Post_t=1代表干預(yù)后觀測的時(shí)間周期。通過下表，我們可以發(fā)現(xiàn)α₂+α₃是實(shí)驗(yàn)組在實(shí)驗(yàn)日期前后的差分值，α₂是對(duì)照組在實(shí)驗(yàn)日期前后的差分值。對(duì)這兩項(xiàng)做差，α₃即為因果效應(yīng)的估計(jì)，也是上述模型中交互項(xiàng)的系數(shù)，并且就是兩次差分的結(jié)果。

雙重差分法依賴比較嚴(yán)格的假設(shè)。“平行趨勢”是最重要的前提，也就是實(shí)驗(yàn)組和基準(zhǔn)組再政策干預(yù)發(fā)生前結(jié)果指標(biāo)的均值隨著時(shí)間趨勢穩(wěn)定，這預(yù)示著除了政策干預(yù)本身其他因素影響對(duì)于實(shí)驗(yàn)組和基準(zhǔn)組是相同的。我們可以使用時(shí)間趨勢圖來檢驗(yàn)平行假設(shè)，一些統(tǒng)計(jì)推斷包也會(huì)提供相應(yīng)的功能。當(dāng)平行檢驗(yàn)不通過的時(shí)候，可以通過在回歸中加入控制變量或者時(shí)間趨勢項(xiàng)來進(jìn)一步檢驗(yàn)。在一些情況下，也可以借助三重差分法來解決。此外在實(shí)際實(shí)踐中，雙重差分法有比較多的實(shí)現(xiàn)方式。除了上文所述方式之外，也可以采取“雙向固定效應(yīng)模型”的設(shè)定Y_it=τTreat_it+X_itβ+α_i+ξ_t+ε_it，但也會(huì)依賴強(qiáng)假設(shè)：不存在隨時(shí)間變化的混淆因素，并且過去的結(jié)果不會(huì)影響當(dāng)期的處理狀態(tài)，同時(shí)也要求政策的處理效應(yīng)保持不變。關(guān)于背后的理論和方法的局限性，以及拓展出的匹配和再加權(quán)等新方法，推薦結(jié)合斯坦福大學(xué)徐軼青教授的課程來進(jìn)行學(xué)習(xí)：

?https://yiqingxu.org/teaching/?

下面我們列舉一些比較常用的新方法：

合成控制法是面板數(shù)據(jù)因果推斷方法中衍生出的一套方法，也在不斷的有新的估計(jì)或者統(tǒng)計(jì)推斷檢驗(yàn)研究出現(xiàn)。當(dāng)干預(yù)實(shí)施在一個(gè)群體或者一個(gè)地區(qū)的時(shí)候，實(shí)驗(yàn)組在一個(gè)時(shí)間點(diǎn)上只有一個(gè)觀測值，并且數(shù)據(jù)的時(shí)間周期較長，例如某個(gè)城市做地推活動(dòng)，通常不適用于雙重差分的方法，這時(shí)候可以采取合成控制法。其原理就是挑選一些對(duì)照城市，擬合成一個(gè)在干預(yù)前和實(shí)驗(yàn)組極其相似的“虛擬對(duì)照組”，詳細(xì)的理論介紹和近年來的優(yōu)化可以參考麻省理工大學(xué)Aberto Abadie教授及其合作者的論文（Abadie, Diamond and Hainmueller 2010）和他在NBER的短期課程來進(jìn)行進(jìn)一步學(xué)習(xí)：

?https://www.nber.org/lecture/2021-summer-institute-methods-lecture-alberto-abadie-synthetic-controls-methods-and-practice?

雙重差分法和合成控制法其實(shí)都可以統(tǒng)一在一套分析框架體系內(nèi)。研究Arkhangelsky et al. (2021)指出，雙重差分是在解決一個(gè)沒有任何個(gè)體或者時(shí)間上加權(quán)的雙向固定效應(yīng)回歸問題，而合成控制法是在政策干預(yù)發(fā)生前的個(gè)體施加權(quán)重ω來擬合被干預(yù)的個(gè)體，這篇論文結(jié)合兩種方法提出了一個(gè)新的估計(jì)量：合成雙重差分（SDID），既包括個(gè)體上的權(quán)重ω，也包括時(shí)間上的權(quán)重λ，從而提升了整體估計(jì)量的穩(wěn)健性效果。這里的時(shí)間的權(quán)重λ可以理解為和干預(yù)發(fā)生后更相似的時(shí)期的數(shù)據(jù)時(shí)期被賦予了更高的權(quán)重。

幾種方法的比較：圖片來自論文Arkhangelsky et al. (2021)

面板數(shù)據(jù)也可以結(jié)合矩陣補(bǔ)全的方法做因果推斷，這也是近年來這個(gè)領(lǐng)域的一個(gè)新發(fā)展。矩陣補(bǔ)全的算法是通過解一個(gè)凸優(yōu)化問題來解決因果推斷面臨的反事實(shí)數(shù)據(jù)的缺失問題。這種方法適用于個(gè)體被政策干預(yù)時(shí)間不一致的情況，例如一個(gè)產(chǎn)品的迭代需要用戶更新產(chǎn)品版本才生效，但是用戶更新的時(shí)間不一致。詳細(xì)的方法理論可以參考Athey et al. (2021)等相關(guān)論文。矩陣補(bǔ)全、合成控制還有隨機(jī)干預(yù)下的回歸預(yù)測方法也都可以統(tǒng)一在優(yōu)化問題的框架下，進(jìn)而我們也可以通過ensemble方式結(jié)合多種方法得到更穩(wěn)健的估計(jì)結(jié)果（Athey et.al 2019）。

矩陣補(bǔ)全示意圖：圖片來自Guidon Imbens在AEA的課程，此處用W代表treatment狀態(tài) https://www.aeaweb.org/conference/cont-ed/2018-webcasts

以上在這一部分我們介紹了面板數(shù)據(jù)因果推斷的主要方法和進(jìn)展 ，這個(gè)領(lǐng)域是一個(gè)方法非常多樣化、進(jìn)展非?？斓念I(lǐng)域，但是對(duì)于應(yīng)用者而言要求需要充分思考方法背后的假設(shè)和局限性，才能更加準(zhǔn)確的評(píng)估實(shí)際中的各種政策，受篇幅限制這里我們只是做了非常簡要的介紹。

5、異質(zhì)性因果效應(yīng)的方法綜述

結(jié)合機(jī)器學(xué)習(xí)方法來研究異質(zhì)性因果效應(yīng)其實(shí)是最近幾年來因果推斷發(fā)展的潮流。我們首先介紹一下異質(zhì)性因果效應(yīng)：異質(zhì)性因果效應(yīng)（Heterogeneous Treatment Effect，簡稱HTE）是指由于樣本個(gè)體特征不同，實(shí)驗(yàn)在個(gè)體上產(chǎn)生不同效果的現(xiàn)象。結(jié)合數(shù)學(xué)公式來表述，HTE有很多種形式：

每個(gè)個(gè)體的因果效應(yīng)ITE (individual treatment effect)：τ_i=Y_i1-Y_i0，Y_i1和Y_i0只有一個(gè)能觀測到，另一個(gè)和τ_i需要通過一定的模型方法進(jìn)行估計(jì)。

在某些特征上的群體的平均因果效應(yīng)，這里我們用X代表特征，那么估計(jì)的是CATE (conditional average treatment effect)是限定特征上去某些特定值的群體上的平均因果效應(yīng): τ(x)=E[Y₁-Y₀|X=x]。

HTE的分析方法目前有廣泛的應(yīng)用場景。通過HTE，我們可以知道對(duì)某種策略干預(yù)反應(yīng)最大的群體有哪些特征，也可以幫助我們排查一個(gè)A/B測試有預(yù)期效果或者沒效果的策略的作用機(jī)制如何，還可以應(yīng)用于各種個(gè)性化策略當(dāng)中。異質(zhì)性因果推斷的方法在工業(yè)界和互聯(lián)網(wǎng)有非常多的應(yīng)用，比如在TripAdvisor用來測算在會(huì)員注冊激勵(lì)，在微軟用這類方法和短期數(shù)據(jù)測算不同項(xiàng)目的長期ROI，詳細(xì)的應(yīng)用案例可以參考2021的KDD培訓(xùn)課程（https://causal-machine-learning.github.io/kdd2021-tutorial/）。

最常見的異質(zhì)性因果效應(yīng)的方法其實(shí)是實(shí)驗(yàn)分析中常用的多維分析，但多維分析的使用需要警惕多重檢驗(yàn)的問題。同時(shí)，當(dāng)維度足夠多時(shí)，對(duì)于實(shí)驗(yàn)樣本量也有比較高的要求，同時(shí)分析效率比較低。而機(jī)器學(xué)習(xí)方法，則提供了一些提升效率的挖掘手段，它的好處是可以自適應(yīng)地學(xué)習(xí)異質(zhì)性因果效應(yīng)的分布，不需要嚴(yán)格的函數(shù)形式假設(shè)，比傳統(tǒng)基于線性回歸的計(jì)量經(jīng)濟(jì)學(xué)方法或者多維分析的方法有更強(qiáng)的自由度，但對(duì)于技術(shù)上的挑戰(zhàn)是如何做統(tǒng)計(jì)推斷。近年來隨著機(jī)器學(xué)習(xí)和計(jì)量經(jīng)濟(jì)學(xué)的結(jié)合不斷深入，也有多套方法在這一領(lǐng)域有所創(chuàng)新和應(yīng)用，這里我們重點(diǎn)介紹以下幾類方法，這些方法成立的基本假設(shè)都是條件獨(dú)立假設(shè)（Conditional Independence Assumption），也就是說只有當(dāng)各種混淆變量控制的足夠充分時(shí)，我們才能得到相對(duì)準(zhǔn)確的因果效應(yīng)估計(jì)。

因果森林：基于隨機(jī)森林，是直接進(jìn)行擬合估計(jì)法的非參方法。因果樹的主要估計(jì)邏輯是通過定義每片葉子上的因果效應(yīng)，來定義整體樹的loss function。因果樹旨在根據(jù)某種切分X的方式，最大化所有葉片的loss的和。和機(jī)器學(xué)習(xí)中的樹算法除了估計(jì)的目標(biāo)不同之外，還有一個(gè)差異點(diǎn)是在因果推斷的算法中一般會(huì)將訓(xùn)練集樣本分成訓(xùn)練集和估計(jì)集，訓(xùn)練集用于分葉，估計(jì)集用于分葉后計(jì)算每個(gè)葉子節(jié)點(diǎn)上的平均處理效應(yīng)。因果樹的優(yōu)點(diǎn)是結(jié)果非常簡潔易懂，可以通過分桶的方式直接明確實(shí)驗(yàn)效果在哪些人群上有明確的差異，最先分桶的指標(biāo)往往是最因果效果差異性的最大的維度。但是因果樹容易過擬合，在實(shí)際工作中推薦使用因果隨機(jī)森林（細(xì)節(jié)可參考Athey and Imbens 2016, Wager and Athey 2018），同時(shí)因果隨機(jī)森林也有比較好的統(tǒng)計(jì)推斷性質(zhì)。關(guān)于這一方法的拓展可以參考Athey, Tibshirani and Wager (2019)和Friedberg et al. (2020)等研究工作，這些新的方法可以進(jìn)一步處理有混淆變量時(shí)的問題，以及更平滑地估計(jì)結(jié)果。

Meta Learners：和使用因果樹直接估計(jì)因果效應(yīng)的模型不同，它屬于間接估計(jì)模型的一種：是通過對(duì)結(jié)果變量Y進(jìn)行直接建模。因此Meta Learner不能將估計(jì)的HTE直接用于做統(tǒng)計(jì)推斷，在實(shí)際應(yīng)用過程中，一些研究者會(huì)采用bootstrap方式來解決這一問題。Meta Learners估計(jì)算法有3種：T-Learner, S-Learner, X-Learner。三種方法基本的區(qū)別在于：

最簡單的是 S-learner。它將干預(yù)變量作為了一個(gè)特征變量進(jìn)行一次建模，適合用在treatment和結(jié)果變量強(qiáng)相關(guān)的情況上，否則模型無法識(shí)別干預(yù)變量改變引起的結(jié)果的改變；

稍微復(fù)雜一點(diǎn)的是T-learner。其通過強(qiáng)制用兩個(gè)模型分別學(xué)習(xí)實(shí)驗(yàn)組的Y_i1和控制組Y_i0而識(shí)別因果效應(yīng)，適合用在實(shí)驗(yàn)組和控制組變量觀測值較多且較平均的時(shí)候，否則其中一個(gè)模型會(huì)更被更重的regularized；

X-learner是一種較為新的方法，通過使用兩步估計(jì)和用傾向性得分糾偏，可以在數(shù)據(jù)量較少的情況下做出較好的估計(jì)（更多細(xì)節(jié)參考Künzel et al. 2019）。

基于DML和DRL的估計(jì)框架：這兩種框架我們結(jié)合微軟公司的Econml工具來介紹：

?https://www.microsoft.com/en-us/research/project/econml/?

DML（double machine learning）雙重機(jī)器學(xué)習(xí)是針對(duì)高維混淆變量存在的情況下，靈活混淆變量和處理變量、結(jié)果變量之間關(guān)系的一種框架性的方法，其方法顧名思義，在估計(jì)因果效應(yīng)的時(shí)候主要分為兩步：第一步用兩種（不需要同樣的）機(jī)器學(xué)習(xí)模型分別估計(jì)E(Y|X,W)和E(T|X,W)兩個(gè)條件期望，然后取殘差。這里X和W都是混淆變量，但只有X是CATE中相關(guān)的變量。第二步基于殘差進(jìn)行ATE或者CATE的估計(jì)，在估計(jì)CATE時(shí)，T-E(T|X,W)的殘差前乘以一個(gè)關(guān)于X的函數(shù)θ(X)來進(jìn)行估計(jì)。關(guān)于如何估計(jì)ATE可以參考Chernozhukov et al. (2018)。Econml在第二步提供了很多種模型來供選擇：LinearDML（用OLS模型）、DML（用自定義的模型）、CausalForestDML（用因果隨機(jī)森林）……。DML框架在使用的時(shí)候需要注意檢驗(yàn)兩個(gè)模型的殘差項(xiàng)是否均值顯著區(qū)別于0或者顯著相關(guān)，如果是的話，說明混淆變量可能控制的不夠多。

DRL框架則是基于Doubly Robust方法，也是分成兩步，第一步使用X,W,T預(yù)測Y，定義預(yù)測值為g_t(X,W)；第二步用一個(gè)分類模型，用X,W預(yù)測T得到傾向性得分，定義為p_t(X,W)。需要注意的是這里的T是離散變量，并且限制g_t(X,W)某種regression-based model。兩步結(jié)果之后則是計(jì)算一個(gè)調(diào)整后的結(jié)果變量：

再將調(diào)整過后的Y_i,t^DR在實(shí)驗(yàn)組和控制組求差Y_i1^DR-Y_i0^DR，回歸X得到CATE。DRL之所以叫Doubly Robust的原因在于，上述公式中g(shù)_t(X,W)和p_t(X,W)中只要有一個(gè)估計(jì)正確，因果效應(yīng)估計(jì)就是無偏的。但如果兩個(gè)模型估計(jì)都是錯(cuò)誤的，那產(chǎn)生的誤差可能會(huì)非常大。同DML類似，Econml中DRL的各種Learner的差異在于使用什么樣的模型來用X擬合Y_i1^DR-Y_i0^DR。

基于機(jī)器學(xué)習(xí)模型的異質(zhì)性因果推斷方法最大的應(yīng)用挑戰(zhàn)其實(shí)是如何選擇合適的機(jī)器學(xué)習(xí)模型并且調(diào)參，得到相對(duì)穩(wěn)健的估計(jì)結(jié)果。根據(jù)應(yīng)用經(jīng)驗(yàn)和近年來的研究來說，有如下注意事項(xiàng)：

• 保證訓(xùn)練樣本量足夠大。
• 如果使用Econml工具，推薦用score*函數(shù)選擇模型（score越小模型越佳），但不是每個(gè)模型都有該函數(shù)：如DML有但是X-Learner或者Causal Forest無。如果使用Uber的Causalml，則可以使用Cumulative Gain圖來進(jìn)行比較各種Meta Learner的表現(xiàn)。
  https://github.com/uber/causalml?。
• 一些方法是可以對(duì)HTE做統(tǒng)計(jì)檢驗(yàn)的，但是另一些不能。在Econml中，可以對(duì)HTE做統(tǒng)計(jì)檢驗(yàn)的方法僅限于DML/DRL中最后一步模型設(shè)定為線形模型的方法或者因果森林，而特征變量X和實(shí)驗(yàn)變量T在很多業(yè)務(wù)場景下都是非線性相關(guān)。強(qiáng)行選擇線性模型可能會(huì)造成HTE估計(jì)偏誤（如HTE的波動(dòng)性和X無關(guān)，僅為噪音）。如果要篩選HTE顯著的個(gè)體進(jìn)行后續(xù)分析，需要進(jìn)行個(gè)體效應(yīng)檢驗(yàn)的多重檢驗(yàn)矯正。
• 除了模型擬合度還需要一個(gè)標(biāo)準(zhǔn)衡量HTE的估計(jì)好壞：如HTE的變化幅度是否大到能夠區(qū)分敏感人群和非敏感人群，可參考Chernozhukov et al. (2018)提出的基于HTE特征的統(tǒng)計(jì)推斷，也非常容易應(yīng)用。

上述介紹的方法基本還是集中于一個(gè)干預(yù)變量下的靜態(tài)的異質(zhì)性因果效應(yīng)。但是在實(shí)際應(yīng)用中，我們會(huì)遇到的問題會(huì)更加復(fù)雜。例如涉及到多個(gè)干預(yù)變量：產(chǎn)品給用戶的補(bǔ)貼激勵(lì)中可能既包括簽到激勵(lì)，又包括一些其他任務(wù)的獎(jiǎng)勵(lì)，怎么平衡不同類型激勵(lì)的分配可以定義成一個(gè)多干預(yù)變量的異質(zhì)性因果效應(yīng)建模和優(yōu)化問題。再例如動(dòng)態(tài)因果效應(yīng)，混淆變量隨著不同時(shí)間的干預(yù)會(huì)進(jìn)行變化（可參考Lewis and Syrgkanis 2020）。還是以激勵(lì)任務(wù)為例，這些任務(wù)可能使得用戶關(guān)注了新的主播、從而改變了她們的觀看內(nèi)容的偏好，也會(huì)影響后續(xù)激勵(lì)的效果。這些復(fù)雜場景都激發(fā)了各類方法的進(jìn)一步拓展，我們也期待未來會(huì)有更成型、更有體系化的研究和應(yīng)用涌現(xiàn)出來。

結(jié)構(gòu)因果模型

在前一個(gè)部分我們介紹了潛在結(jié)果模型的主要思想和方法發(fā)展。這一類流派方法統(tǒng)計(jì)理論比較完善，可以得到比較準(zhǔn)確的估計(jì)結(jié)果。但是也存在一定的局限性，只能用于估計(jì)變量之間一度相關(guān)的影響(i.e，只允許有一個(gè)因變量和一些自變量，不能估計(jì)間接影響的鏈路)，去如何學(xué)習(xí)眾多變量之間的鏈路和復(fù)雜關(guān)系，則需要用到另一個(gè)流派的結(jié)構(gòu)因果模型方法。

結(jié)構(gòu)因果模型用有向無環(huán)圖 (directed acyclic graph；DAG) 來描述變量之間的因果關(guān)系和條件分布。圖的每個(gè)節(jié)點(diǎn)是一個(gè)變量，因果關(guān)系由鏈接這些節(jié)點(diǎn)的邊來表示，例如X₁<-X₂代表了X₂影響了X₁，我們也稱X₁為子節(jié)點(diǎn)，X₂為父節(jié)點(diǎn)。對(duì)于一組隨機(jī)變量X=(X₁,X₂,...,X_P)形成的DAG，變量的聯(lián)合分布可以表示成P(X)=∏^p_j=1P(X_j|pa_j)，其中pa_j是X_j的緊鄰的父節(jié)點(diǎn)。當(dāng)我們表達(dá)因果關(guān)系的時(shí)候，則引入do 算子的概念，假設(shè)當(dāng)前X=(X₁,X₂,...X_p)=(x₁,x₂,...x_p)，用do(X_j=x’_j) 表示對(duì)于變量X_j干預(yù)（將其賦值為x’_j），那么我們可以根據(jù)變量間的條件分布關(guān)系得到一個(gè)新的DAG：P(X₁=x₁,X₂=x₂,...,X_p=x_p|do(X_j=x’_j))，新老分布下每個(gè)其他變量的期望變化就是X_j對(duì)他們的因果作用，例如E(X₁|do)(X_j=x’_j)-E(X₁|do(X_j=x_j))。結(jié)果因果模型的開創(chuàng)者Judea Pearl在他的研究中指出，利用因果圖來識(shí)別因果關(guān)系的時(shí)候，如果滿足 “后門準(zhǔn)則”和 “前門準(zhǔn)則”，其實(shí)并不需要觀測到所有的變量，關(guān)于具體的理論細(xì)節(jié)請參考Pearl (2009)。需要補(bǔ)充說明的是，結(jié)構(gòu)因果模型和潛在結(jié)果模型其實(shí)也是存在關(guān)聯(lián)的。

在實(shí)際應(yīng)用中，我們不一定能夠直接具備定義因果圖的信息，因此如何學(xué)習(xí)變量間的因果圖結(jié)構(gòu)反而成為了重要的問題。在解決這類問題時(shí)，首先我們要明確所需的假設(shè)：

Causal Markov因果馬爾可夫假設(shè)：該假設(shè)意味任何節(jié)點(diǎn)的條件分布僅基于其直接父節(jié)點(diǎn)。

Causal Sufficiency 因果充分性假設(shè)：該假設(shè)等同于不存在無法觀測的混淆變量。

Causal Faithfulness 因果忠誠性假設(shè)：該假設(shè)意味基于一些條件概率分布，一些節(jié)點(diǎn)之間是獨(dú)立的（因此圖可以被切割）。

其算法大致分成兩類：

詳細(xì)介紹可以參考Glymour, Zhang and Sprites (2019)和《中國科學(xué):數(shù)學(xué)》2018年12期的文章《因果推斷的統(tǒng)計(jì)方法》：

https://cosx.org/2022/10/causality-statistical-method/?。

Constraint-based Algorithms：基于條件分布獨(dú)立檢驗(yàn)學(xué)習(xí)出所有滿足faithfulness和causal markov假設(shè)的因果圖，即檢驗(yàn)兩個(gè)節(jié)點(diǎn)之間的條件分布是否獨(dú)立。例如PC算法（Spirtes and Glymour 1991）和IC算法（Verma and Pearl 1990）。

Score-based Algorithms：通過最優(yōu)化定義的某種score來尋找和數(shù)據(jù)最匹配的圖結(jié)構(gòu)。需要定義structural equations和score functions。例如CGNN算法（Goudet et al. 2017）和NOTEARS算法（Zheng et al. 2018）。這里我們著重介紹一下NOTEARS算法。傳統(tǒng)的算法是基于在所有節(jié)點(diǎn)和節(jié)點(diǎn)間可能產(chǎn)生的關(guān)系的基礎(chǔ)上，在所有可能生成的圖中進(jìn)行搜索，按照某個(gè)標(biāo)準(zhǔn)選出最優(yōu)解決，這是典型的NP-hard的問題，耗時(shí)極長且目前的計(jì)算資源基本無法滿足運(yùn)算需求。NOTEARS算法將離散搜索的問題轉(zhuǎn)化成了連續(xù)搜索的問題。該算法極大提高了運(yùn)算速度，使得普通的數(shù)據(jù)分析師也可以使用。但這個(gè)方法也存在著一定的局限性，例如假設(shè)所有變量的噪聲必須是高斯分布，近年來也有越來越多的方法（如He et al.2021）嘗試改進(jìn)這類方法的假設(shè)。

隨著強(qiáng)化學(xué)習(xí)領(lǐng)域的發(fā)展，我們也發(fā)現(xiàn)因果推斷和強(qiáng)化學(xué)習(xí)可以相互結(jié)合在一起，推動(dòng)相互的發(fā)展。因果推斷可以在強(qiáng)化學(xué)習(xí)中通過推斷狀態(tài)之間或狀態(tài)與動(dòng)作之間的因果關(guān)系，幫助強(qiáng)化學(xué)習(xí)算法更高效的學(xué)習(xí)價(jià)值函數(shù)或者最優(yōu)策略，在這方面有興趣的讀者可以參考哥倫比亞大學(xué)教授Elias Bareinboim的課程（??https://crl.causalai.net??）。在另一方面，強(qiáng)化學(xué)習(xí)也可以融入因果圖的學(xué)習(xí)算法中，例如華為諾亞方舟實(shí)驗(yàn)室的研究Zhu, Ng, and Chen (2019)。

關(guān)于因果推斷未來的展望，要提到近年來和圖學(xué)習(xí)、因果推斷、機(jī)器學(xué)習(xí)相關(guān)的一個(gè)新的研究范式，是清華大學(xué)崔鵬老師團(tuán)隊(duì)提出的“穩(wěn)定學(xué)習(xí)”的概念(Cui and Athey 2022)。機(jī)器學(xué)習(xí)、人工智能等模型的應(yīng)用依賴一個(gè)重要的假設(shè)——Independent and Identically Distributed（獨(dú)立同分布）的假設(shè)。也就是說訓(xùn)練集、測試集需要來自同一個(gè)分布，但實(shí)際上存在各種各樣的OOD（Out Of Distribution，分布外）問題，此時(shí)模型的性能無法保證，這也是歷史以來各類模型面臨的一個(gè)重要的技術(shù)風(fēng)險(xiǎn)。因果推斷可以幫助克服這類問題。如果可以保證一個(gè)結(jié)構(gòu)在各種各樣的環(huán)境下都具有同等的預(yù)測效應(yīng)從而克服OOD問題，那么這個(gè)結(jié)構(gòu)一定是一個(gè)因果結(jié)構(gòu)，而且一個(gè)因果結(jié)構(gòu)在各種環(huán)境下的性能都是相對(duì)穩(wěn)定的。崔鵬老師團(tuán)隊(duì)的研究(He et al. 2022, Shen et al. 2021)發(fā)現(xiàn)，利用混淆變量匹配平衡的思想，通過對(duì)樣本進(jìn)行重加權(quán)就可以使得所有的變量變得獨(dú)立，使得一個(gè)基于關(guān)聯(lián)的模型變成基于因果的模型。所謂的穩(wěn)定學(xué)習(xí)，就是使用一種分布的訓(xùn)練集和多種不同的未知分布的測試集，優(yōu)化的目標(biāo)是最小化準(zhǔn)確率的方差。相信在未來這是一個(gè)非常重要的領(lǐng)域，感興趣的讀者可以繼續(xù)關(guān)注相關(guān)的研究進(jìn)展。

獨(dú)立同分布學(xué)習(xí)、遷移學(xué)習(xí)、穩(wěn)定學(xué)習(xí)的比較：圖片來自論文 Cui and Athey 2022

在實(shí)際應(yīng)用中，推薦系統(tǒng)、計(jì)算機(jī)視覺、自動(dòng)駕駛、自然語言處理等機(jī)器學(xué)習(xí)、人工智能相關(guān)的領(lǐng)域都不乏因果推斷和因果圖學(xué)習(xí)的身影，推動(dòng)了這些領(lǐng)域的發(fā)展，在這里我們也是列舉一些近年來的例子，關(guān)于更詳細(xì)地與機(jī)器學(xué)習(xí)相關(guān)的應(yīng)用和benchmark模擬器、數(shù)據(jù)集可以參考UCL和牛津大學(xué)的研究者的總結(jié)（Kaddour et al. 2022）。在推薦系統(tǒng)領(lǐng)域，如我們在工具變量方法應(yīng)用中的介紹，推薦系統(tǒng)不可避免地存在偏差，識(shí)別用戶和物品之間的因果圖關(guān)系可以幫助推薦系統(tǒng)糾偏。例如Wang et al. (2021)和Zhang et al. (2021)分別利用因果圖來消除標(biāo)題黨和流行度帶來的偏差。在自動(dòng)駕駛領(lǐng)域，來自微軟的研究者推出了一個(gè)模擬駕駛環(huán)境平臺(tái)CausalCity（McDuff et al. 2022），將因果推斷融入車輛的軌跡預(yù)測。在自然語言處理領(lǐng)域，研究者發(fā)現(xiàn)因果推斷可以幫助NLP方法更加穩(wěn)健和可理解(Zeng et al. 2020)，包括檢驗(yàn)語言模型和語料庫中的偏見（Vig et al. 2020）……相信在未來，因果推斷會(huì)繼續(xù)蓬勃發(fā)展，在上述和其他領(lǐng)域發(fā)揮重要的作用。