人類在做錯事時，會反思自己的行為，避免再次出錯，如果讓 GPT-4 這類大型語言模型也具備反思能力，性能不知道要提高多少了。

眾所周知，大型語言模型 (LLM) 在各種任務(wù)上已經(jīng)表現(xiàn)出前所未有的性能。然而，這些 SOTA 方法通常需要對已定義的狀態(tài)空間進(jìn)行模型微調(diào)、策略優(yōu)化等操作。由于缺乏高質(zhì)量的訓(xùn)練數(shù)據(jù)、定義良好的狀態(tài)空間，優(yōu)化模型實現(xiàn)起來還是比較難的。此外，模型還不具備人類決策過程所固有的某些品質(zhì)，特別是從錯誤中學(xué)習(xí)的能力。

不過現(xiàn)在好了，在最近的一篇論文中，來自美國東北大學(xué)、MIT 等機(jī)構(gòu)的研究者提出 Reflexion，該方法賦予智能體動態(tài)記憶和自我反思的能力。

為了驗證方法的有效性，該研究評估了智能體在 AlfWorld 環(huán)境中完成決策任務(wù)的能力，以及在 HotPotQA 環(huán)境中完成知識密集型、基于搜索問答任務(wù)的能力，在這兩項任務(wù)的成功率分別為 97% 和 51%。

論文地址：https://arxiv.org/pdf/2303.11366.pdf

項目地址：https://github.com/GammaTauAI/reflexion-human-eval

如下圖所示，在 AlfWorld 環(huán)境中，房間里擺設(shè)了各種物品，要求讓智能體給出推理計劃以拿到某件物體，下圖上半部分由于智能體低效的計劃而失敗。經(jīng)過反思后，智能體意識到錯誤，糾正推理軌跡，給出簡潔的軌跡方式（如圖下半部分）。

模型反思有缺陷的搜索策略：

這篇論文表明，你可以通過要求 GPT-4 反思「你為什么錯了？」并為自己生成一個新的提示，將這個錯誤原因考慮在內(nèi)，直到結(jié)果正確，從而將 GPT-4 的性能提高驚人的 30%。

網(wǎng)友不禁感嘆：人工智能的發(fā)展速度已經(jīng)超過了我們的適應(yīng)能力。

方法介紹

Reflexion 智能體的整體架構(gòu)如下圖 1 所示，其中 Reflexion 利用 ReAct（Yao et al., 2023）。在第一次試驗中，智能體從構(gòu)成初始查詢的環(huán)境中獲得任務(wù)，然后智能體執(zhí)行由 LLM 生成的一系列動作，并從環(huán)境中接收觀察和獎勵。對于提供描述型或持續(xù)型獎勵的環(huán)境，該研究將輸出限制為簡單的二元成功狀態(tài)以確保適用性。

在每個動作 a_t 之后，智能體會計算一個啟發(fā)性函數(shù) h，如下圖所示

這個啟發(fā)性函數(shù)旨在檢測智能體產(chǎn)生信息幻覺（即虛假或錯誤的信息）或效率低下，并「告訴」智能體何時需要反思（reflexion），其中 t 是 time step，s_t 是當(dāng)前狀態(tài)，Ω 表示重復(fù)動作循環(huán)的次數(shù)，ε 表示執(zhí)行動作的最大總數(shù)，[a_o, o_0 . . . , a_(t?1), o_(t?1)] 代表軌跡歷史。repeat 是一個簡單的函數(shù)，用于確定產(chǎn)生相同結(jié)果的重復(fù)動作循環(huán)的次數(shù)。

如果函數(shù) h 告訴智能體需要反思，那么智能體會查詢 LLM 以反映其當(dāng)前任務(wù)、軌跡歷史和上次獎勵，然后智能體在后續(xù)試驗中會重置環(huán)境再重試。如果函數(shù) h 沒有告訴智能體需要反思，那么智能體會將 a_t 和 o_t 添加到其軌跡歷史記錄中，并向 LLM 查詢下一個動作。

如果如果啟發(fā)式 h 建議在 time step t 時進(jìn)行反思，則智能體會根據(jù)其當(dāng)前狀態(tài) s_t、最后的獎勵 r_t、先前的動作和觀察 [a_0, o_0, . . . , a_t, o_t]，以及智能體現(xiàn)有的工作存儲 mem，啟動一個反思過程。

反思的目的是通過反復(fù)試驗幫助智能體糾正「幻覺」和低效率問題。用于反思的模型是一個使用特定的失敗軌跡和理想的反思示例來 prompt 的 LLM。

智能體會迭代地進(jìn)行上述反思過程。在實驗中，該研究設(shè)置在智能體內(nèi)存中存儲的反思最多為 3 次，這是為了避免查詢超出 LLM 的限制。以下幾種情況，運行會終止：

• 超過最大試驗次數(shù)；
• 未能在兩次連續(xù)試驗之間提高性能；
• 完成任務(wù)。

實驗及結(jié)果

AlfWorld 提供了六種不同的任務(wù)和 3000 多個環(huán)境，這些任務(wù)要求智能體理解目標(biāo)任務(wù)，制定子任務(wù)的順序計劃，并在給定環(huán)境中執(zhí)行操作。

該研究在 134 個 AlfWorld 環(huán)境中測試智能體，任務(wù)包括尋找隱藏物體（例如，在抽屜里找到水果刀）、移動物體（例如，將刀移到砧板上 )，以及用其他對象來操縱另一個對象（例如，在冰箱中冷藏西紅柿）。 

在沒有反思的情況下，智能體的準(zhǔn)確率為 63%，之后加入 Reflexion 進(jìn)行對比。結(jié)果顯示，智能體在 12 次試驗中能夠處理好 97% 的環(huán)境，在 134 項任務(wù)中僅有 4 項沒有解決。

接下來的實驗是在 HotPotQA 中進(jìn)行了，它是一個基于維基百科的數(shù)據(jù)集，包含 113k 個問答對，主要用來挑戰(zhàn)智能體解析內(nèi)容和推理的能力。

在 HotpotQA 的 100 個問答對測試中，該研究將基礎(chǔ)智能體和基于 Reflexion 的智能體進(jìn)行比較，直到它們在連續(xù)的試驗中無法提高準(zhǔn)確性。結(jié)果顯示基礎(chǔ)智能體并沒有性能提高，在第一次試驗中，基礎(chǔ)智能體準(zhǔn)確率為 34%，Reflexion 智能體準(zhǔn)確率為 32%，但在 7 次試驗后，Reflexion 智能體表現(xiàn)大幅改善，性能提升接近 30%，大大優(yōu)于基礎(chǔ)智能體。

類似地，在測試模型編寫代碼的能力時，加入 Reflexion 的 GPT-4 也顯著優(yōu)于常規(guī)的 GPT-4：