?自動推理絕對算是自然語言處理領(lǐng)域的一大難題，模型需要根據(jù)給定的前提和知識推導(dǎo)出有效且正確的結(jié)論。

盡管近年來NLP領(lǐng)域借著大規(guī)模預(yù)訓(xùn)練語言模型在各種「自然語言理解」如閱讀理解和問答等任務(wù)中取得了極高的性能，但這些模型在邏輯推理方面的性能仍然十分滯后。

去年5月「思維鏈」（Chain of Thought, CoT）橫空出世，有研究人員發(fā)現(xiàn)，只需要在prompt中加入「Let's think step by step」就能讓GPT-3的推理性能大幅提升，比如在MultiArith中就將推理準(zhǔn)確率從之前的17.7%一下提升到了78.7%

但諸如CoT和Selection Inference等方法都是以前向（forward direction）的方式從公理（axioms）中搜索證明過程（proof）以推導(dǎo)出最終結(jié)論（conclusion），存在搜索空間組合爆炸的問題，因此對于較長的推理鏈，失敗率較高。

最近，Google Research開發(fā)了一種反向鏈（Backward Chaining）算法LAMBADA（LAnguage Model augmented BAckwarD chAining），將經(jīng)典推理文獻(xiàn)中得出的「反向推理效率明顯高于前向推理」這一結(jié)論應(yīng)用于語言模型（LM）中。

論文鏈接：https://arxiv.org/abs/2212.13894

LAMBADA將推理過程分解為四個子模塊，每個模塊都由few-shot prompted語言模型推理實現(xiàn)。

最終LAMBADA相比當(dāng)下sota的前向推理方法在兩個邏輯推理數(shù)據(jù)集上實現(xiàn)了顯著的性能提升，特別是在問題要求深度和準(zhǔn)確的證明鏈情況下，LAMBADA的性能提升更加明顯。

「反向推理」成版本答案？

邏輯推理，特別是對非結(jié)構(gòu)化自然文本的邏輯推理，是構(gòu)建自動知識發(fā)現(xiàn)的基礎(chǔ)構(gòu)件，也是未來各種科學(xué)領(lǐng)域進步的關(guān)鍵。

雖然許多NLP任務(wù)的發(fā)展都受益于預(yù)訓(xùn)練語言模型不斷擴大的規(guī)模，但根據(jù)觀察，提升模型的尺寸對解決復(fù)雜推理問題的提升十分有限。

在經(jīng)典文獻(xiàn)中，有兩種主要的邏輯推理方法：

1、前向鏈?zhǔn)酵评恚‵orward Chaining, FC），即從事實和規(guī)則出發(fā)，在做出新的推理并將其加入理論之間進行迭代，直到目標(biāo)陳述可以被證明或推翻；

2、后向鏈?zhǔn)酵评恚˙ackward Chaining, BC），即從目標(biāo)出發(fā)，將其遞歸分解為子目標(biāo)，直到子目標(biāo)可以根據(jù)事實被證明或推翻。

以前用語言模型進行推理的方法大多采用前向鏈?zhǔn)酵评淼乃悸?，要求從整個集合中選擇一個事實和規(guī)則的子集，這對LM來說可能是困難的，因為它需要在一個大的空間里進行組合搜索。

此外，決定何時停止搜索并宣布證明失敗在FC中也是非常困難的，有時甚至需要一個專門對中間標(biāo)簽進行訓(xùn)練的模塊。

事實上，經(jīng)典的自動推理文獻(xiàn)在很大程度上偏重于后向鏈?zhǔn)酵评砘蚰繕?biāo)導(dǎo)向的求證策略。

LAMBADA

LAMBADA意為「反向鏈?zhǔn)郊夹g(shù)增強的語言模型」，研究人員通過實驗證明了BC更適合于基于文本的演繹邏輯推理（deductive logical reasoning）。

BC不需要大量的組合搜索來選擇子集，而且有更自然的停止搜索標(biāo)準(zhǔn)（halting criteria）。

LAMBADA主要專注于對事實進行自動推理，即自然語言斷言，如「好人是紅色的」，這些斷言是連貫的（coherent），但不一定基于真實情況。

一個規(guī)則由自然語言聲明編寫，形式上可以改寫為「如果P那么Q」，例如「粗暴的好人是紅色的」（Rough, nice people are red）可以改寫為「如果一個人是粗暴的好人，那么他們是紅色的」（If a person is rough and nice, then they are red）。

其中P被稱為規(guī)則的前項（antecedent），Q被稱為規(guī)則的后項（consequent）。

一個理論theory C由事實F={f1, f2, . . , fn}和規(guī)則R={r1, r2, . . , rm}組成，G代表一個想根據(jù)事實和規(guī)則來證明或反駁的目標(biāo)。

例1、一個帶有虛構(gòu)角色和規(guī)則的理論實例C

F={"菲奧娜是好人"，"菲奧娜是粗人"}

R={"如果某人很聰明，那么他就是好人"，"粗暴的好人是紅色的"，"作為好人和紅色意味著他是圓的"}。

基于上述理論，人們可能想證明或反駁一個目標(biāo)，如「菲奧娜是紅色的？」。

后向鏈法推理

一條規(guī)則是否適用于一個目標(biāo)，是通過邏輯學(xué)中的一個叫做unification的操作來確定的。

例如，對于例1中的目標(biāo)「Fiona是紅色的？」，第二條規(guī)則的后果與目標(biāo)相同，所以可以適用；但另外兩條規(guī)則的后果不同，所以不適用。

考慮例1中的理論和目標(biāo)，BC從目標(biāo)「Fiona是紅色的？」開始推理。

首先，BC驗證該目標(biāo)是否可以從任何事實中被證明或反駁。由于沒有任何事實可以證明或反駁這個目標(biāo)，所以接下來會驗證這個目標(biāo)是否與任何規(guī)則的結(jié)果相統(tǒng)一，結(jié)果發(fā)現(xiàn)它與第二條規(guī)則「粗糙的好人是紅色的」相統(tǒng)一。

因此，該目標(biāo)可以被分解成兩個子目標(biāo)：1）菲奧娜是粗暴的嗎？和2）菲奧娜是好人嗎？。

由于這兩個子目標(biāo)都可以從事實中得到證明，BC的結(jié)論是原始目標(biāo)可以得到證明。

對于一個目標(biāo)，BC的結(jié)果要么是證明，要么是否定，要么是不知道（例如目標(biāo)「菲奧娜很聰明？」）。

LAMBADA中的語言模型

為了將BC用于基于文本的推理，研究人員引入了四個基于LM的模塊：事實檢查（Fact Check）、規(guī)則選擇（Rule Selection）、目標(biāo)分解（Goal Decomposition）和符號一致性（Sign Agreement）。

事實檢查

給出理論中的一組事實F和一個目標(biāo)G，事實檢查模塊驗證是否存在一個事實f∈F，使得f包含G（在這種情況下，目標(biāo)被證明）或者f包含G的否定（在這種情況下，目標(biāo)被否定）。

如果找不到這樣的事實，那么G的真相仍然是未知的。

事實檢查的實現(xiàn)包括兩個子模塊：第一個子模塊從與目標(biāo)最相關(guān)的事實集中選擇一個事實，第二個子模塊根據(jù)這個事實來驗證目標(biāo)是否可以被證明或否定。

由于事實選擇子模塊在第一次嘗試時可能無法確定最佳的事實，如果在調(diào)用子模塊一輪后，目標(biāo)的真相仍然未知，可以刪除所選的事實，然后再次調(diào)用子模塊；這個過程可以重復(fù)多次。

規(guī)則選擇

給出理論中的一組規(guī)則R和一個目標(biāo)G，規(guī)則選擇模塊確定規(guī)則r∈R，使r的結(jié)果與G相統(tǒng)一，然后用這些規(guī)則將目標(biāo)分解為子目標(biāo)。

如果不能確定這樣的規(guī)則，那么G的真相仍然是未知的。

規(guī)則選擇同樣包括兩個子模塊：第一個子模塊確定每個規(guī)則的結(jié)果（與目標(biāo)無關(guān)），第二個子模塊將規(guī)則的結(jié)果和目標(biāo)作為輸入，并確定哪一個與目標(biāo)相統(tǒng)一。

需要注意的是，由于BC的遞歸性質(zhì)，規(guī)則選擇模塊在證明一個目標(biāo)的過程中可能會被多次調(diào)用。由于識別每條規(guī)則的結(jié)果與目標(biāo)無關(guān)，這個子模塊只需要被調(diào)用一次。

目標(biāo)分解

給定一個規(guī)則r和一個目標(biāo)G，使r的結(jié)果與G統(tǒng)一，目標(biāo)分解模塊確定需要證明的子目標(biāo)，以使G被證明或被否定。

在成功證明r的前項的情況下，目標(biāo)是被證明還是被否定取決于目標(biāo)的符號（sign）是否與r的結(jié)果符號一致。

例如對于目標(biāo)「Fiona是紅色的？」，由于目標(biāo)的符號與第二條規(guī)則的結(jié)果符號一致，并且規(guī)則的前項被證明，可以得出結(jié)論，目標(biāo)被證明。

符號一致性

給定一個規(guī)則r和一個目標(biāo)G，符號一致模塊驗證r的結(jié)果符號是否與目標(biāo)的符號一致或不一致。

實驗部分

研究人員選擇Chain of Thought（CoT）、基于顯式推理的sota神經(jīng)推理方法、sota模塊推理方法Selection Inference（SI）作為對比基線模型。

實驗的數(shù)據(jù)集采用ProofWriter和PrOntoQA，這些數(shù)據(jù)集對LM推理具有挑戰(zhàn)性，包含需要證明鏈長度達(dá)5跳的例子，以及目標(biāo)既不能從提供的理論中證明也不能反駁的例子。

實驗結(jié)果顯示，LAMBADA明顯優(yōu)于其他兩個基線，特別是在包含UNKNOWN標(biāo)簽的ProofWriter-PUD數(shù)據(jù)集上（與CoT相比有44%的相對改善，與SI在深度-5上相比有56%的改善），以及在PrOntoQA的較高深度上（與CoT相比有37%的相對改善，與SI在深度-5上相比有113%的改善）。

這些結(jié)果顯示了LAMBADA在邏輯推理方面的優(yōu)點，也顯示了后向鏈（在LAMBADA中是推理的backbone）與前向鏈（在SI中是backbone）相比可能是更好的選擇。

這些結(jié)果還揭示了CoT方法在處理UNKNOWN標(biāo)簽時的一個缺陷：與標(biāo)簽為證明（PROVED）或否定（DISPROVED）的例子不同，對于標(biāo)簽為UNKNOWN的例子，沒有自然的思維鏈。

對于更深（3+）的證明鏈問題上，在三個數(shù)據(jù)集上，SI產(chǎn)生的預(yù)測接近于多數(shù)類預(yù)測。

可以發(fā)現(xiàn)，在二元情況下，它傾向于過度預(yù)測DISPROVED；在三元分類情況下，傾向于過度預(yù)測UNKNOWN，這使得它在PrOntoQA的深度-5中的表現(xiàn)甚至比多數(shù)類更差，因為該深度的PROVED標(biāo)簽比DISPROVED多。

不過研究人員也驚訝地發(fā)現(xiàn)，CoT對于ProofWriterPD數(shù)據(jù)集的性能仍然相對較高，而且準(zhǔn)確率沒有降低。

總之，在這些數(shù)據(jù)集上，LAMBADA具有更高的推理準(zhǔn)確性，與其他用虛假的證明痕跡找到正確結(jié)論的技術(shù)相比，LAMBADA更有可能產(chǎn)生有效的推理鏈，同時也比其他基于LM的模塊化推理方法更有查詢效率。

研究人員表示，該實驗結(jié)果強烈地表明，未來關(guān)于用LM進行推理的工作應(yīng)該包括后向鏈或目標(biāo)導(dǎo)向的策略。

參考資料：?

https://arxiv.org/abs/2212.13894