在完全信息博弈中，每個博弈者都知道所有信息要素。

但不完全信息博弈不同，它模擬了現實世界中在不確定或不完全信息下進行決策的復雜性。

GPT-4作為目前最強大模型，具有非凡的知識檢索和推理能力。

但GPT-4能否利用已學習到的知識進行不完全信息博弈？

為此，東京大學的研究人員引入了Suspicion Agent這一創(chuàng)新智能體，通過利用GPT-4的能力來執(zhí)行不完全信息博弈。

論文地址：https://arxiv.org/abs/2309.17277

在研究中，基于GPT-4的Suspicion Agent能夠通過適當的提示工程來實現不同的功能，并在一系列不完全信息牌局中表現出了卓越的適應性。

最重要的是，博弈過程中，GPT-4表現出了強大的高階心智理論（ToM）能力。

GPT-4可以利用自己對人類認知的理解來預測對手的思維過程、易感性和行動。

這意味著GPT-4具備像人類一樣理解他人并有意影響他人的行為。

同樣的，基于GPT-4的智能體在不完全信息博弈中的表現也優(yōu)于傳統算法，這可能會激發(fā)LLM在不完全信息博弈中的更多應用。

訓練方法

為了讓LLM能夠在沒有專門訓練的情況下玩各種不完全信息博弈游戲，研究人員將整個任務分解為下圖所示的幾個模塊，如觀察解釋器、游戲模式分析和規(guī)劃模塊。

并且，為了緩解LLM在不完全信息游戲中可能會被誤導這一問題，研究人員首先開發(fā)了結構化提示，幫助LLM理解游戲規(guī)則和當前狀態(tài)。

對于每種類型的不完全信息博弈，都可以編寫如下結構化規(guī)則描述：

一般規(guī)則：游戲簡介、回合數和投注規(guī)則；

動作描述：（動作 1 的描述）、（動作 2 的描述）......；

單局輸贏規(guī)則：單局輸贏或平局的條件；

輸贏回報規(guī)則：單局輸贏的獎勵或懲罰；

整局輸贏規(guī)則：對局數和整體輸贏條件。

在大多數不完全信息博弈環(huán)境中，博弈狀態(tài)通常表示為低級數值，如單擊向量，以方便機器學習。

但通過LLM，就可以將低層次的博弈狀態(tài)轉換為自然語言文本，從而幫助模式的理解：

輸入說明：接收到的輸入類型，如字典、列表或其他格式，并描述游戲狀態(tài)中的元素數量以及每個元素的名稱；

元素描述：（元素 11 的描述，（元素 2 的描述），....

轉換提示：將低級游戲狀態(tài)轉換為文本的更多指南。

利用博弈規(guī)則和觀測轉換規(guī)則，可以有效地將低級博弈狀態(tài)轉換為可讀文本，記為。

這種可讀文本能夠作為LLM的輸入。使用

，生成文本中每個元素的條件分布可以建模為：

這里，代表語言模型，參數為，M是生成文本的長度，此模塊命名為觀察解釋器。

在不完全信息博弈中，這種表述方式能更容易理解與模型之間的交互。

研究人員引入了一種虛無規(guī)劃方法，該方法具有一個Reflexion模塊，旨在自動檢查對局歷史，使LLMs能夠從歷史經驗中學習和改進規(guī)劃，以及一個單獨的規(guī)劃模塊，專門用于做出相應的決策。

然而，虛無的規(guī)劃方法往往難以應對不完全信息博弈中固有的不確定性，尤其是在面對善于利用他人策略的對手時。

受這種適應性的啟發(fā)，研究人員設計出了一種新的規(guī)劃方法，即利用LLM的ToM能力來了解對手的行為，從而相應地調整策略。

實驗

定量評估

如表1所示，Suspicion Agent優(yōu)于所有基線，并且基于GPT-4的Suspicion Agent在比較中獲得了最高的平均籌碼數。

這些發(fā)現有力地展示了在不完全信息博弈領域采用大型語言模型的優(yōu)勢，同時也證明了研究提出框架的有效性。

下圖表明了Suspicion Agent和基線模型的行動百分比。

可以觀察到：

Suspicion Agent vs CFR：CFR算法是一種保守策略，它傾向于保守，經常在持有弱牌時棄牌。

而Suspicion Agent成功識別了這一模式，并策略性地選擇更頻繁地加注，向 CFR 施加棄牌壓力。

這使得即使Suspicion Agent的牌很弱或與CFR的牌相當的情況下，它積累了更多籌碼。

Suspicion Agent vs DMC：DMC基于搜索算法，采用了更多樣化的策略，包括虛張聲勢。它經常在自己手牌最弱和最強時都會加注。

作為回應，Suspicion Agent根據自己的手牌和觀察到的DMC的行為，減少了加注頻率，并更多地選擇跟注或棄牌。

Suspicion Agent vs DON：DON算法的立場更加激進，幾乎總是用強牌或中級牌加注，從不棄牌。

Suspicion Agent發(fā)現了這一點，并反過來盡量減少自己的加注，更多地根據公共牌和DON的行動選擇跟注或棄牌。

Suspicion Agent Vs NFSP：NFSP表現出跟注策略，選擇總是跟注并從不棄牌。

Suspicion Agent的應對方式是減少加注頻率，并根據公共牌和NFSP觀察到的行動選擇棄牌。

根據上述分析結果，可以看到Suspicion Agent具有很強的適應性，能夠利用其他各種算法所采用策略的弱點。

這充分說明了大語言模型在不完美信息博弈中的推理和適應能力。

定性評估

在定性評估中，研究人員在三個不完全信息博弈游戲（Coup、Texas Hold'emLimit 和 Leduc Hold'em）中對Suspicion Agent進行了評估。

Coup，中文翻譯是政變，這是一種紙牌游戲，玩家扮演政治家，試圖推翻其他玩家的政權。游戲的目標是在游戲中存活并積累權力。

Texas Hold'em Limit，即德州撲克（有限注），是一種非常流行的撲克牌游戲，有多個變體?！窵imit」表示在每輪下注中有固定的上限，這意味著玩家只能下固定數額的賭注。

Leduc Hold'em是則是德州撲克的一個簡化版本，用于研究博弈論和人工智能。

在每種情況下，Suspicion Agent手中有一張Jack，而對手要么有一張Jack，要么有一張Queen。

對手最初選擇跟注而不是加注，暗示他們手牌較弱。在普通計劃策略下，Suspicion Agent選擇跟注以查看公共牌。

當這揭示出對手手牌較弱時，對手迅速加注，使Suspicion Agent處于不穩(wěn)定的局面，因為Jack是最弱的手牌。

在一階理論心智策略下，Suspicion Agent選擇棄牌，以最小化損失。這個決定是基于觀察到對手通常在手中有Queen或Jack時才跟注。

然而，這些策略未能充分利用對手手牌的推測弱點。這一缺點源于它們不考慮Suspicion Agent的舉動可能如何影響對手的反應。

相比之下，如圖9所示，簡單的提示能夠讓Suspicion Agent了解如何影響對手的行動。有意選擇加注會給對手帶來壓力，促使他們棄牌并最小化損失。

因此，即使手牌的強度相似，Suspicion Agent也能夠贏得許多比賽，從而比基線贏得更多的籌碼。

此外，如圖10所示，在對手跟注或回應Suspicion Agent的加注情況下（這表明對手手牌強大），Suspicion Agent就會迅速調整策略，選擇棄牌以防止進一步損失。

這顯示了Suspicion Agent的出色戰(zhàn)略靈活性。

消融研究與組件分析

為了探索不同階ToM感知規(guī)劃方法如何影響大型語言模型的行為，研究人員在Leduc Hold'em和plaagainst CFR上進行了實驗和比較。

圖5中展示了采用不同ToM水平規(guī)劃的Suspicion Agent的行動百分比，并在表3中展示了籌碼收益結果。

表3：Suspicion Agent在使用不同級別ToM與CFRonLeduc Hold'em環(huán)境對弈時的比較結果以及100局游戲后的量化結果

可以觀察到：

基于Reflexion modulevanilla規(guī)劃在對局過程中傾向于更多地跟注和過牌（在對陣CFR和DMC時跟注和過牌比例最高），這無法施加壓力使對手棄牌，并導致許多不必要的損失。

但如表3所示，vanilla計劃的籌碼收益最低。

利用一階ToM，Suspicion Agent能夠根據自己的牌力和對對手牌力的估計做出決策。

因此，它加注的次數會多于普通計劃，但它棄牌的次數往往多于其他策略，目的是盡量減少不必要的損失。然而，這種謹慎的方法會被精明的對手模型所利用。

例如，DMC經常在拿著最弱的一手牌時加注，而CFR有時甚至會在拿著中級牌時加注，以對Suspicion Agent施加壓力。在這些情況下，Suspicion Agent的加倍傾向會導致損失。

相比之下，Suspicion Agent更擅長識別和利用對手模型的行為模式。

具體來說，當CFR選擇過牌（通常表示手牌較弱）或當DMC過牌（表明其手牌與公共牌不一致）時，Suspicion Agent會以虛張聲勢的方式加注，誘使對手棄牌。

因此，Suspicion Agent在三種規(guī)劃方法中表現出最高的加注率。

這種激進的策略讓Suspicion Agent即使手持弱牌也能積累更多籌碼，從而最大限度地提高籌碼收益。

為了評估后視觀察的影響，研究人員進行了一項后視觀察不納入當前游戲的消融研究。

如表4和表5所示，在沒有后視觀察觀察的情況下，Suspicion Agent仍能保持其相對于基線方法的性能優(yōu)勢。

表4：比較結果表明了在萊德克牌局環(huán)境中將對手觀察結果納入對局歷史的影響

表5：比較結果表明，當Suspicion Agent在 Leduc Hold'em 環(huán)境中與CFR對弈時，在對局歷史中加入對手觀察結果的影響。結果是使用不同種子進行100局對局后的輸贏籌碼，輸贏籌碼數從1到14不等

結論

Suspicion Agent沒有進行任何專門的訓練，僅僅利用GPT-4的先驗知識和推理能力，就能在Leduc Hold'em等不同的不完全信息游戲中戰(zhàn)勝專門針對這些游戲訓練的算法，如CFR和NFSP。

這表明大模型具有在不完全信息游戲中取得強大表現的潛力。

通過整合一階和二階理論心智模型，Suspicion Agent可以預測對手的行為，并相應調整自己的策略。這使得它可以對不同類型對手進行適應。

Suspicion Agent還展示了跨不同不完全信息游戲的泛化能力，僅僅根據游戲規(guī)則和觀察規(guī)則，就可以在Coup和Texas Hold'em等游戲中進行決策。

但Suspicion Agent也有著一定的局限性。例如，由于計算成本限制，對不同算法的評估樣本量較小。

以及推理成本高昂，每局游戲耗費接近1美元，并且Suspicion Agent的輸出對提示的敏感性較高，存在hallucination的問題。

同時，在進行復雜推理和計算時，Suspicion Agent的表現也不盡人意。

未來，Suspicion Agent將在計算效率、推理魯棒性等方面進行改進，并支持多模態(tài)和多步推理，來實現對復雜游戲環(huán)境的更好適應。

同時，Suspicion Agent在不完全信息博弈游戲中的應用，也可以遷移到未來多模態(tài)信息的整合，模擬更真實的交互、擴展到多玩家游戲環(huán)境中。