今天我們介紹一篇論文《REACT: Synergizing Reasoning and Acting in Language Models》，它是來(lái)自谷歌研究院和普林斯頓大學(xué)的一組研究人員在探索了在語(yǔ)言模型中結(jié)合推理和行為的潛力后發(fā)布的結(jié)果。雖然大型語(yǔ)言模型(LLM)推理(思維鏈提示)和行動(dòng)(行動(dòng)計(jì)劃生成)的能力已經(jīng)作為單獨(dú)的主題進(jìn)行了研究，但這是第一次將這兩種能力組合到一個(gè)系統(tǒng)中。所以我覺(jué)得這是一篇重要的論文，因?yàn)镽eAct框架允許虛擬代理使用諸如連接到web和SQL數(shù)據(jù)庫(kù)之類的工具，所以可以提供幾乎無(wú)限的擴(kuò)展。

推理和行動(dòng)的力量

人類智能的特點(diǎn)是將以任務(wù)為導(dǎo)向的行動(dòng)和關(guān)于下一步行動(dòng)的推理無(wú)縫結(jié)合。這種能力使我們能夠快速學(xué)習(xí)新任務(wù)并做出可靠的決定，而且可以適應(yīng)不可預(yù)見(jiàn)的情況。ReAct的目標(biāo)就是在語(yǔ)言模型中復(fù)制這種協(xié)同作用，使它們能夠以交錯(cuò)的方式生成推理步驟和特定于任務(wù)的操作。

ReAct如何工作的

ReAct提示大型語(yǔ)言模型為給定任務(wù)生成口頭推理歷史步驟和操作。這些提示由少量的上下文示例組成，這些示例指導(dǎo)模型的思考和操作生成。下面的圖中給出了一個(gè)上下文示例。這些例子引導(dǎo)代理經(jīng)歷一個(gè)循環(huán)過(guò)程:產(chǎn)生一個(gè)想法，采取一個(gè)行動(dòng)，然后觀察行動(dòng)的結(jié)果。通過(guò)結(jié)合推理跟蹤和操作，ReAct允許模型執(zhí)行動(dòng)態(tài)推理，這樣可以生成高級(jí)計(jì)劃，還可以與外部環(huán)境交互以收集額外的信息。

應(yīng)用及結(jié)果

研究人員將ReAct應(yīng)用于多種語(yǔ)言推理和決策任務(wù)，包括問(wèn)題回答、事實(shí)驗(yàn)證、基于文本的游戲和網(wǎng)頁(yè)導(dǎo)航。結(jié)果是非常好的，ReAct在可解釋性和可信賴性方面始終優(yōu)于其他最先進(jìn)的基線。

在問(wèn)答和事實(shí)驗(yàn)證任務(wù)中，ReAct通過(guò)與簡(jiǎn)單的Wikipedia API交互，克服了推理中普遍存在的幻覺(jué)和錯(cuò)誤傳播問(wèn)題。它生成了類似人類的解決任務(wù)的步驟，比沒(méi)有推理痕跡的基線更容易解釋。在交互式?jīng)Q策基準(zhǔn)中，ReAct的表現(xiàn)明顯優(yōu)于模仿和強(qiáng)化學(xué)習(xí)方法，即使只有一兩個(gè)上下文示例。

雖然推理、行動(dòng)和觀察步驟交織在一起提高了ReAct的接地性和可信度，但這種結(jié)構(gòu)也約束降低了其制定推理步驟的靈活性，導(dǎo)致在某些任務(wù)上的推理錯(cuò)誤率高于思維鏈提示。

推理和行動(dòng)的重要性

研究人員還進(jìn)行了消融實(shí)驗(yàn)，了解在不同任務(wù)中推理和行動(dòng)的重要性。他們發(fā)現(xiàn)，ReAct的內(nèi)部推理和外部行為的結(jié)合始終優(yōu)于專注于推理或單獨(dú)行動(dòng)的基線。這突出了整合這兩個(gè)過(guò)程的價(jià)值，以獲得更有效的決策。

未來(lái)的發(fā)展方向

雖然ReAct已經(jīng)顯示出很好的結(jié)果，但仍有改進(jìn)的空間。研究人員建議擴(kuò)大ReAct的規(guī)模，以訓(xùn)練和操作更多的任務(wù)，并將其與強(qiáng)化學(xué)習(xí)等互補(bǔ)范例結(jié)合起來(lái)。此外還可以使用更多的人工注釋數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)可以進(jìn)一步提高它們的性能。

結(jié)論

ReAct在開(kāi)發(fā)更智能、更通用的AI系統(tǒng)方面向前邁進(jìn)了一步，并且它也支持Langchain庫(kù)中一些非常有用的代理功能。通過(guò)在語(yǔ)言模型中結(jié)合推理和行為，已經(jīng)證明了在一系列任務(wù)中的性能提高，以及增強(qiáng)的可解釋性和可信度。隨著人工智能的不斷發(fā)展，推理和行為的整合將在創(chuàng)造更有能力和適應(yīng)性的人工智能系統(tǒng)方面發(fā)揮關(guān)鍵作用。

論文地址：