在自然語(yǔ)言處理任務(wù)中，大型語(yǔ)言模型在零樣本和少樣本學(xué)習(xí)方面取得了令人印象深刻的結(jié)果。然而，所有模型都存在固有的局限性，往往只能通過(guò)進(jìn)一步擴(kuò)展來(lái)部分解決。具體來(lái)講，模型的局限性包括無(wú)法訪問(wèn)最新信息、會(huì)對(duì)事實(shí)產(chǎn)生「信息幻覺(jué)」、低資源語(yǔ)言理解困難、缺乏進(jìn)行精確計(jì)算的數(shù)學(xué)技能等等。

解決這些問(wèn)題的一種簡(jiǎn)單方法就是給模型配備外部工具，如搜索引擎、計(jì)算器或日歷。然而，現(xiàn)有方法通常依賴(lài)于大量的人工注釋?zhuān)驅(qū)⒐ぞ叩氖褂孟拗圃谔囟ǖ娜蝿?wù)設(shè)置下，使得語(yǔ)言模型與外部工具的結(jié)合使用難以推廣。

為了打破這種瓶頸，近期 Meta AI 提出了一種稱(chēng)為 Toolformer 的新方法，使得語(yǔ)言模型學(xué)會(huì)「使用」各種外部工具。

論文地址：https://arxiv.org/pdf/2302.04761v1.pdf

Toolformer 很快就引起了人們的高度關(guān)注，有人認(rèn)為這篇論文解決了目前大型語(yǔ)言模型的許多問(wèn)題，稱(chēng)贊道：「這是最近幾周最重要的論文」。

有人指出 Toolformer 以自監(jiān)督學(xué)習(xí)的方式，僅用極少數(shù)樣本就讓大型語(yǔ)言模型學(xué)會(huì)使用一些 API 和工具，這是非常靈活且高效的：

甚至有人認(rèn)為 Toolformer 將讓我們離通用人工智能（AGI）更近一步。

Toolformer 之所以能獲得如此高的評(píng)價(jià)，是因?yàn)樗鼭M(mǎn)足了以下的實(shí)際需求：

• 大型語(yǔ)言模型應(yīng)該在自監(jiān)督的方式下學(xué)習(xí)工具的使用，而不需要大量的人工注釋。這一點(diǎn)很關(guān)鍵， 人工注釋的成本很高只是一方面，更重要的是人類(lèi)認(rèn)為有用的東西可能與模型認(rèn)為有用的東西不同。
• 語(yǔ)言模型需要更全面地使用不受特定任務(wù)約束的工具。 

這明確打破了前文所述的瓶頸。我們來(lái)具體看一下 Toolformer 的方法和實(shí)驗(yàn)結(jié)果。

方法

Toolformer 基于帶有 in-context learning（ICL）的大型語(yǔ)言模型從頭開(kāi)始生成數(shù)據(jù)集（Schick and Schütze, 2021b; Honovich et al., 2022; Wang et al., 2022）的思路：只需給出少數(shù)幾個(gè)人類(lèi)使用 API 的樣本，就可以讓 LM 用潛在的 API 調(diào)用標(biāo)注一個(gè)巨大的語(yǔ)言建模數(shù)據(jù)集；然后使用自監(jiān)督損失函數(shù)來(lái)確定哪些 API 調(diào)用實(shí)際上有助于模型預(yù)測(cè)未來(lái)的 token；最后根據(jù)對(duì) LM 本身有用的 API 調(diào)用進(jìn)行微調(diào)。

由于 Toolformer 與所使用的數(shù)據(jù)集無(wú)關(guān)，因此可以將其用于與模型預(yù)訓(xùn)練完全相同的數(shù)據(jù)集，這確保了模型不會(huì)失去任何通用性和語(yǔ)言建模能力。

具體來(lái)說(shuō)，該研究的目標(biāo)是讓語(yǔ)言模型 M 具備一種能力 —— 通過(guò) API 調(diào)用使用各種工具。這就要求每個(gè) API 的輸入和輸出都可以表征為文本序列。這允許將 API 調(diào)用無(wú)縫插入到任何給定文本中，并使用特殊的 token 來(lái)標(biāo)記每個(gè)此類(lèi)調(diào)用的開(kāi)始和結(jié)束。

該研究將每個(gè) API 調(diào)用表示為一個(gè)元組

，其中 a_c 是 API 的名稱(chēng)，i_c 是相應(yīng)的輸入。給定具有相應(yīng)結(jié)果 r 的 API 調(diào)用 c，該研究將不包括和包括其結(jié)果的 API 調(diào)用的線性化序列分別表示為：

其中，<API>，</API > 和「→」是特殊的 token。如下圖 1 所示，這種方法讓 LM 學(xué)會(huì)了控制各種工具，并為自己選擇在何時(shí)以及如何使用哪種工具。

給定數(shù)據(jù)集

，該研究首先將這個(gè)數(shù)據(jù)集轉(zhuǎn)換成一個(gè)增加了 API 調(diào)用的數(shù)據(jù)集 C*。這分三個(gè)步驟完成，如下圖 2 所示：首先，該研究利用 M 的 in-context learning 能力對(duì)大量潛在的 API 調(diào)用進(jìn)行采樣，然后執(zhí)行這些 API 調(diào)用，再檢查獲得的響應(yīng)是否有助于預(yù)測(cè)未來(lái)的 token，以用作篩選標(biāo)準(zhǔn)。篩選之后，該研究合并對(duì)不同工具的 API 調(diào)用，最終生成數(shù)據(jù)集 C*，并在此數(shù)據(jù)集上微調(diào) M 本身。

實(shí)驗(yàn)及結(jié)果

該研究對(duì)各種不同的下游任務(wù)進(jìn)行了實(shí)驗(yàn)，結(jié)果表明：基于 6.7B 參數(shù)預(yù)訓(xùn)練 GPT-J 模型的 Toolformer（學(xué)習(xí)過(guò)使用各種 API 和工具）在各種任務(wù)上明顯優(yōu)于更大的 GPT-3 模型和其他幾個(gè)基線。

該研究在 LAMA 基準(zhǔn)的 SQuAD、GoogleRE 和 T-REx 子集上對(duì)幾種模型進(jìn)行了評(píng)估，實(shí)驗(yàn)結(jié)果如下表 3 所示：

為了測(cè)試 Toolformer 的數(shù)學(xué)推理能力，該研究在 ASDiv、SVAMP 和 MAWPS 基準(zhǔn)上進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)表明，Toolformer 在大多情況下都使用了計(jì)算器工具，這明顯比 OPT （66B）和 GPT-3 （175B）略勝一籌。

在問(wèn)答方面，該研究在 Web Questions、Natural Questions 和 TriviaQA 三個(gè)問(wèn)答數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。Toolformer 明顯優(yōu)于大小相同的基線模型，但遜于 GPT-3 (175B)。

在跨語(yǔ)言任務(wù)方面，該研究將 Toolformer 和 MLQA 上所有的基線模型進(jìn)行了比較，結(jié)果如下表 6 所示：

為了研究日歷 API 的效用，該研究在 TEMPLAMA 和一個(gè)名為 DATESET 的新數(shù)據(jù)集上對(duì)幾種模型進(jìn)行了實(shí)驗(yàn)。Toolformer 優(yōu)于所有基線，但沒(méi)有使用 TEMPLAMA 日歷工具。

除了驗(yàn)證各種下游任務(wù)的性能改進(jìn)之外，該研究還希望確保 Toolformer 的語(yǔ)言建模性能不會(huì)因?yàn)?API 調(diào)用的微調(diào)而降低。為此，該研究在兩個(gè)語(yǔ)言建模數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)來(lái)評(píng)估，模型的困惑度如下表 8 所示。

對(duì)于沒(méi)有任何 API 調(diào)用的語(yǔ)言建模來(lái)說(shuō)，添加 API 調(diào)用無(wú)需花費(fèi)任何成本。

最后，研究人員分析了隨著語(yǔ)言模型規(guī)模的擴(kuò)大，向外部工具尋求幫助的能力對(duì)模型性能的影響，分析結(jié)果如下圖 4 所示

感興趣的讀者可以閱讀論文原文，了解更多研究細(xì)節(jié)。