我讓 GPT-3 和 Llama 學(xué)會一個簡單的知識：A 就是 B，然后反過來問 B 是什么，結(jié)果發(fā)現(xiàn) AI 回答的正確率竟然是零。

這是什么道理？

近日，一個叫「逆轉(zhuǎn)詛咒」（Reversal Curse）的新概念成為了 AI 圈熱議的話題，現(xiàn)在流行的所有大語言模型全部都中招了。面對簡單到不能再簡單的問題，它們的準(zhǔn)確率不僅是接近為零，而且看不出有增加正確率的可能性。

而且，研究人員發(fā)現(xiàn)，這個大 bug 與模型體量，問的問題什么的都沒有關(guān)系。

我們說 AI 發(fā)展到預(yù)訓(xùn)練大模型階段，終于看起來像是掌握了一點邏輯思維，結(jié)果這次卻像是被打回了原形。

圖 1：GPT-4 中的知識不一致現(xiàn)象。GPT-4 正確給出了湯姆?克魯斯母親的名字（左）。然而當(dāng)輸入母親的名字問兒子時，它卻無法檢索到「湯姆?克魯斯」（右）。新研究假設(shè)這種排序效應(yīng)是由于逆轉(zhuǎn)詛咒造成的。根據(jù)「A 是 B」訓(xùn)練的模型不會自動推斷「B 是 A」。

然而研究表明，當(dāng)前 AI 領(lǐng)域里火熱的自回歸語言模型無法以這種方式進行泛化。特別是，假設(shè)模型的訓(xùn)練集包含諸如「Olaf Scholz was the ninth Chancellor of German」之類的句子，其中「Olaf Scholz」這個名字位于「the ninth Chancellor of German」的描述之前。然后，大模型可能會學(xué)會正確回答「奧拉夫?朔爾茨是誰？」但它無法回答以及描述位于名稱之前的任何其他提示。

這就是我們稱之為「逆轉(zhuǎn)詛咒」的排序效應(yīng)的一個實例。如果模型 1 用「<name> is <description>」形式的句子（名稱后面有描述）進行訓(xùn)練，那么模型將不會自動預(yù)測相反方向的「<description> is <name> 」。特別的，如果大語言模型（LLM）以 <description> 為條件，那么模型 <name> 的可能性將不會高于隨機基線。

所以說，大模型的推理，其實并不存在？一種觀點認為，逆轉(zhuǎn)詛咒表明了 LLM 訓(xùn)練過程中邏輯演繹的基本失敗。如果「A 是 B」（或等效地 “A=B”）為真，則從邏輯上看「B 是 A」遵循恒等關(guān)系的對稱性。傳統(tǒng)的知識圖譜尊重這種對稱性（Speer et al., 2017）。逆轉(zhuǎn)詛咒顯示出基本無法泛化到訓(xùn)練數(shù)據(jù)之外。而且，這并不是 LLM 不理解邏輯推論就能解釋的。如果諸如 GPT-4 之類的 LLM 在其上下文窗口中給出「A 是 B」，那么它可以很好地推斷出「B 是 A」。

雖然將逆轉(zhuǎn)詛咒與邏輯演繹聯(lián)系起來很有用，但它只是對整體情況的簡化。我們目前還無法直接測試大模型在接受「A 是 B」訓(xùn)練后是否推導(dǎo)出「B 是 A」。大模型在經(jīng)過訓(xùn)練之后可以預(yù)測人類會寫出的下一個單詞，而不是真實「應(yīng)該有」的內(nèi)容。因此，即使 LLM 推斷出「B 是 A」，在出現(xiàn)提示時也可能不會「告訴我們」。

然而，逆轉(zhuǎn)詛咒表明了元學(xué)習(xí)的失敗?！?lt;description> is <name>」和「<name> is <description>」形式的句子經(jīng)常在預(yù)訓(xùn)練數(shù)據(jù)集中同時出現(xiàn)。如果前者出現(xiàn)在數(shù)據(jù)集中，則后者更有可能出現(xiàn)，這是因為人類經(jīng)常改變句子或段落中元素的順序。因此，一個好的元學(xué)習(xí)器會在訓(xùn)練到「<name> is <description>」時增加「<description> is <name>」實例的概率。而從這個意義上說，自回歸 LLM 并不是好的元學(xué)習(xí)者。

逆轉(zhuǎn)詛咒引起了眾多 AI 研究者的注意，有人說，看起來 AI 毀滅人類只是個幻想了。

也有人說，這意味著你的訓(xùn)練數(shù)據(jù)和上下文內(nèi)容在知識的泛化過程中發(fā)揮著至關(guān)重要的任務(wù)。

OpenAI 著名科學(xué)家 Andrej Karpathy 則表示，看起來 LLM 學(xué)到的知識比你我想象的要「零散」得多。我對此仍然沒有很好的直覺。他們在該事件的上下文窗口的特定「方向」中學(xué)習(xí)東西，而當(dāng)我們向其他方向詢問時可能就不會概括了。這是一個奇怪的部分概括，在我看來，「逆轉(zhuǎn)詛咒」是一個特例。

引起爭論的研究出自范德堡大學(xué)、紐約大學(xué)、牛津大學(xué)等機構(gòu)之手。論文《 The Reversal Curse: LLMs trained on “A is B” fail to learn “B is A” 》：

• 論文鏈接：https://arxiv.org/abs/2309.12288
• GitHub 鏈接：https://github.com/lukasberglund/reversal_curse

名字和描述顛倒一下，大模型就糊涂了

本文通過一系列對合成數(shù)據(jù)的微調(diào)實驗來證明 LLM 遭受了逆轉(zhuǎn)詛咒。如圖 2 所示，研究者首先在句式為  <name> is < description >（例如 Daphne Barrington 是《穿越時空》的導(dǎo)演）的基礎(chǔ)上微調(diào)模型，結(jié)果表明當(dāng)提示形式還是 <name> is < description > 句式時，模型能夠給出準(zhǔn)確答案，但是換種提示，例如「誰導(dǎo)演了《穿越時空》」，模型回答錯誤。

事實上，就像圖 4 （實驗部分）所展示的，模型給出正確的名字和隨機給出一個名字的對數(shù)概率都差不多。此外， 當(dāng)測試順序從 <name> is < description > 變化到 < description > is < name >，錯誤率會增加。

如何避免逆轉(zhuǎn)詛咒，研究人員嘗試了以下方法：

• 嘗試不同系列、不同大小的模型；
• 微調(diào)數(shù)據(jù)集中既包含 <name> is < description > 句式，也包含 < description > is < name > 句式；
• 對每個 < name> is <description > 進行多重解釋，這有助于泛化；
• 將數(shù)據(jù)從 < name> is <description > 更改為 < question>?<answer> 。

經(jīng)過了一系列實驗，他們給出的初步證據(jù)證明：逆轉(zhuǎn)詛咒會影響最先進模型中的泛化能力（圖 1 和 B 部分）。他們用諸如「誰是湯姆?克魯斯的母親？」以及「Mary Lee Pfeiffer 的兒子是誰？」等 1000 個這類問題，在 GPT-4 上進行測試。結(jié)果發(fā)現(xiàn)在大多數(shù)情況下，模型正確回答了第一個問題（Who is ’s parent），但不能正確回答第二個問題。本文假設(shè)這是因為預(yù)訓(xùn)練數(shù)據(jù)包含的父母在名人之前的排序示例較少（例如 Mary Lee Pfeiffer 的兒子是湯姆?克魯斯）導(dǎo)致的。

實驗及結(jié)果

本文旨在測試在訓(xùn)練中學(xué)習(xí)了「A is B」的自回歸語言模型 (LLM) 是否可以泛化到相反的形式「B is A」。

在第一項實驗中，本文創(chuàng)建了一個由 < name> is <description>（或相反）形式的文檔組成的數(shù)據(jù)集，其中的名稱和描述是虛構(gòu)的。此外，該研究還使用 GPT-4 來生成成對的名字和描述。然后將這些數(shù)據(jù)對隨機分配到三個子集：NameToDescription 、 DescriptionToName 以及兩者兼有。前兩個子集如圖 3 所示。

結(jié)果。在精確匹配評估上，當(dāng)測試問題的順序和訓(xùn)練數(shù)據(jù)匹配時，GPT-3-175B 獲得了較好的精確匹配準(zhǔn)確率，結(jié)果如表 1。

具體來說，對于 DescriptionToName （例如 Abyssal Melodies 的作曲家是 Uriah Hawthorne），當(dāng)給出包含描述的提示時（例如誰是 Abyssal Melodies 的作曲家），模型在檢索名字方面的準(zhǔn)確率達到 96.7% 。對于 NameToDescription 中的事實，準(zhǔn)確率較低，為 50.0%。相反，當(dāng)順序與訓(xùn)練數(shù)據(jù)不匹配時，模型完全無法泛化，準(zhǔn)確率接近 0%。

本文還進行了多項實驗，包括 GPT-3-350M（附錄 A.2）和 Llama-7B（附錄 A.4），結(jié)果表明，模型都遭受了逆轉(zhuǎn)詛咒。

在增加似然性評估中，分配給正確名字與隨機名字的對數(shù)概率之間沒有可檢測到的差異。GPT-3 模型的平均對數(shù)概率如圖 4 所示。t-tests 和 Kolmogorov-Smirnov 測試均未能檢測到統(tǒng)計上的顯著差異。

圖 4：實驗 1，當(dāng)順序顛倒時，模型無法增加正確名字的概率。該圖顯示了使用相關(guān)描述查詢模型時正確名稱（相對于隨機名稱）的平均對數(shù)概率。

接下來，該研究又進行了第二項實驗。

在此實驗中，本文根據(jù)有關(guān)實際名人及其父母的事實來測試模型，其形式為「A 的父母是 B」和「B 的孩子是 A」。該研究從 IMDB (2023) 收集了前 1000 位最受歡迎的名人列表，并用 GPT-4（OpenAI API）通過名人的名字查找他們的父母。GPT-4 能夠在 79% 的情況下識別名人的父母。

之后，對于每個 child-parent 對，該研究通過父母來查詢孩子。在此，GPT-4 的成功率僅為 33%。圖 1 說明了這一現(xiàn)象。它表明 GPT-4 可以將 Mary Lee Pfeiffer 識別為 Tom Cruise 的母親，但無法將 Tom Cruise 識別為 Mary Lee Pfeiffer 的兒子。

此外，該研究還評估了 Llama-1 系列模型，該模型尚未進行微調(diào)。結(jié)果發(fā)現(xiàn)所有模型在識別父母方面比識別孩子方面要好得多，參見圖 5。

圖 5：實驗 2 中父母與孩子問題的排序逆轉(zhuǎn)效果。藍色條（左）顯示模型在查詢名人孩子時返回正確父母的概率；紅色條（右）顯示反問父母孩子的正確概率。Llama-1 模型的精度是正確完成的模型可能性。GPT-3.5-turbo 的準(zhǔn)確度是每對子 - 父對 10 個樣本的平均值，在溫度 = 1 時采樣。注意：圖中省略了 GPT-4，因為它用于生成子 - 父對列表，因此通過構(gòu)造對「父」具有 100% 的準(zhǔn)確度。GPT-4 在「子」上的得分為 28%。

未來展望

如何解釋 LLM 中的逆轉(zhuǎn)詛咒？這可能需要等待未來人們的進一步研究?，F(xiàn)在，研究人員只能提供一個簡要的解釋草圖。當(dāng)模型在「A is B」上更新時，此梯度更新可能會稍微改變 A 的表示，使其包含有關(guān) B 的信息（例如，在中間 MLP 層中）。對于此梯度更新來說，改變 B 的表示以包含有關(guān) A 的信息也是合理的。然而梯度更新是短視的，并且取決于給定 A 的 B 上的對數(shù)，而不是必須根據(jù) B 來預(yù)測 A 未來。

在「逆轉(zhuǎn)詛咒」之后，研究人員計劃探索大模型是否能夠逆轉(zhuǎn)其他類型的關(guān)系，如邏輯含義、空間關(guān)系及 n-place 關(guān)系。