譯者 | 李睿

審校 | 孫淑娟

在具有感知功能的聊天機器人成為熱門話題之前，大型語言模型(LLM)就已經(jīng)引起了人們更多的興奮和擔憂。近年來，經(jīng)過大量文本訓練的深度學習模型——大型語言模型(LLM) 在幾個用于衡量語言理解能力的基準方面表現(xiàn)出色。

諸如GPT-3和LaMDA之類的大型語言模型設法在較長的文本中保持連貫性。它們似乎對不同的主題很了解，并在冗長的對話中保持一致。大型語言模型(LLM)已經(jīng)變得如此令人信服，以至于有些人將它們與人格和更高形式的智力聯(lián)系在一起。

但是大型語言模型(LLM)能像人類一樣進行邏輯推理嗎？根據(jù)加州大學洛杉磯分?？茖W家發(fā)布的一篇研究論文，在大型語言模型(LLM)中使用的深度學習架構Transformers并沒有學習模擬推理功能。與其相反，電腦們找到了明智的方法來學習推理問題中固有的統(tǒng)計特征。

研究人員在一個有限的問題空間中測試了當前流行的Transformer架構BERT。他們的研究結果表明，BERT可以準確地響應訓練空間中分布內(nèi)示例的推理問題，但不能推廣到基于相同問題空間的其他分布中的示例。

而這些測試突出了深度神經(jīng)網(wǎng)絡的一些缺點以及用于評估它們的基準。

1.如何衡量人工智能中的邏輯推理？

人工智能系統(tǒng)針對自然語言處理和理解問題有幾個基準測試，例如GLUE、SuperGLUE、SNLI和SqUAD。隨著Transformer規(guī)模變得越來越大，并在更大的數(shù)據(jù)集上接受訓練，Transformer已經(jīng)能夠在這些基準上逐步改進。

值得注意的是，人工智能系統(tǒng)在這些基準上的表現(xiàn)通常與人類智能進行比較。人類在這些基準上的表現(xiàn)與常識和邏輯推理能力密切相關。但目前尚不清楚大型語言模型的改進是因為它們獲得了邏輯推理能力，還是因為它們接觸了大量文本。

為了驗證這一點，加州大學洛杉磯分校的研究人員開發(fā)了SimpleLogic，這是一類基于命題邏輯的邏輯推理問題。為了確保語言模型的推理能力經(jīng)過嚴格測試，研究人員通過使用模板語言結構消除了語言差異。SimpleLogic問題由一組事實、規(guī)則、查詢和標簽組成。事實是已知為“真”的謂詞。規(guī)則是條件，定義為條款。查詢是機器學習模型必須響應的問題。標簽是查詢的答案，也就是“真”或“假”。 SimpleLogic問題被編譯成連續(xù)的文本字符串，其中包含語言模型在訓練和推理期間所期望的信號和分隔符。 

以SimpleLogic格式提出的問題SimpleLogic的特點之一是它的問題是自包含的，不需要先驗知識。這一點尤其重要，因為正如許多科學家所說，當人類說話時，他們忽略了共享的知識。這就是為什么當被問及每個人都知道的基本世界知識的問題時，語言模型經(jīng)常陷入陷阱的原因。相比之下，SimpleLogic為開發(fā)人員提供解決其問題所需的一切。 因此，任何查看SimpleLogic格式提出的問題的開發(fā)人員都應該能夠推斷其規(guī)則，并能夠處理新示例，無論他們的背景知識如何。

2.統(tǒng)計特征和邏輯推理

研究人員證明，SimpleLogic中的問題空間可以用一個推理函數(shù)來表示。研究人員進一步表明，BERT有足夠的能力解決SimpleLogic中的所有問題，它們可以人工調(diào)整機器學習模型的參數(shù)來表示推理功能。

然而，當它們在SimpleLogic示例數(shù)據(jù)集上訓練BERT時，該模型無法自行學習推理功能。機器學習模型設法在一個數(shù)據(jù)分布上實現(xiàn)近乎完美的準確性。但它并沒有推廣到同一問題空間內(nèi)的其他分布。盡管訓練數(shù)據(jù)集覆蓋了整個問題空間，并且所有分布都來自同一推理函數(shù)，但情況仍然如此。

BERT Transformer模型的容量足以表示SimpleLogic的推理功能

（注：這與分布外泛化挑戰(zhàn)不同，后者適用于開放空間問題。當模型無法泛化到OOD數(shù)據(jù)時，當處理不在其訓練集分布范圍內(nèi)的數(shù)據(jù)時，其性能會顯著下降。）

研究人員寫道：“經(jīng)過進一步調(diào)查，我們?yōu)檫@個悖論提供了一個解釋：僅在分布測試示例上達到高精度的模型還沒有學會推理。事實上，該模型已經(jīng)學會在邏輯推理問題中使用統(tǒng)計特征來進行預測，而不是模擬正確的推理功能。”

這一發(fā)現(xiàn)凸顯了將深度學習用于語言任務的一個重要挑戰(zhàn)。神經(jīng)網(wǎng)絡非常擅長發(fā)現(xiàn)和擬合統(tǒng)計特征。在某些應用程序中，這可能非常有用。例如，在情感分析中，某些詞和情感類別之間存在很強的相關性。

然而，對于邏輯推理任務，即使存在統(tǒng)計特征，其模型也應該嘗試找到并學習潛在的推理功能。

研究人員寫道：“當我們試圖對神經(jīng)模型進行端到端的訓練，以解決既涉及邏輯推理又涉及先驗知識且呈現(xiàn)語言差異的自然語言處理（NLP）任務時，應該小心謹慎?！彼麄儚娬{(diào)，SimpleLogic帶來的挑戰(zhàn)在現(xiàn)實世界中變得更加嚴峻，大型語言模型(LLM)所需的大量信息根本不包含在數(shù)據(jù)中。

研究人員觀察到，當他們從訓練數(shù)據(jù)集中刪除一個統(tǒng)計特征時，語言模型在相同問題空間的其他分布上的性能得到了改善。然而，問題是發(fā)現(xiàn)和刪除多個統(tǒng)計特征說起來容易做起來難。正如研究人員在論文中指出的那樣，“此類統(tǒng)計特征可能數(shù)不勝數(shù)，并且極其復雜，因此很難從訓練數(shù)據(jù)中刪除?！?/p>

3.深度學習中的推理

不幸的是，隨著語言模型規(guī)模的變大，邏輯推理問題并沒有消失。它只是隱藏在龐大的架構和非常大的訓練語料庫中。大型語言模型(LLM)可以描述事實并且很好地將句子拼接在一起，但是在邏輯推理方面，他們?nèi)匀皇褂媒y(tǒng)計特征進行推理，這不是一個堅實的基礎。而且，沒有跡象表明通過向Transformers添加層、參數(shù)和注意力頭，邏輯推理的差距將被彌合。

這篇論文與其他顯示神經(jīng)網(wǎng)絡在學習邏輯規(guī)則方面的局限性的工作一致，例如生命游戲或視覺數(shù)據(jù)的抽象推理。該論文強調(diào)了當前語言模型面臨的主要挑戰(zhàn)之一。正如加州大學洛杉磯分校的研究人員所指出的，“一方面，當一個模型被訓練來從數(shù)據(jù)中學習一項任務時，它總是傾向于學習統(tǒng)計模式，這些模式固有地存在于推理示例中；然而，另一方面，邏輯規(guī)則從不依賴統(tǒng)計模式來進行推理。由于很難構建一個不包含統(tǒng)計特征的邏輯推理數(shù)據(jù)集，因此從數(shù)據(jù)中學習推理是很困難的?！?/p>

原文鏈接：https://bdtechtalks.com/2022/06/27/large-language-models-logical-reasoning/