清華攢局八個(gè)ChatGPT狼人殺,心機(jī)偽裝都在這一局里,清華:我沒(méi)教過(guò)
本文經(jīng)AI新媒體量子位(公眾號(hào)ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請(qǐng)聯(lián)系出處。
除了玩電子游戲,人類的“社交神器”狼人殺也被AI給學(xué)會(huì)了。
8個(gè)ChatGPT“坐”在一起,生動(dòng)地扮演出了五種角色,和真人如出一轍。
這個(gè)最新的人類社會(huì)模擬實(shí)驗(yàn),由清華和中關(guān)村實(shí)驗(yàn)室共同完成。
從斯坦福小鎮(zhèn)到清華游戲公司,用AI模擬人類社會(huì)一直是學(xué)界的熱門(mén)研究課題。
如果說(shuō)清華游戲公司模擬了社畜的工作場(chǎng)景,那么現(xiàn)在社畜的業(yè)余社交生活也被AI模擬了。
在這個(gè)由8個(gè)ChatGPT組成的狼人殺局中,真人世界里的偽裝與信任、領(lǐng)導(dǎo)與對(duì)抗都體現(xiàn)得淋漓盡致。
甚至不用人類教,AI就通過(guò)自己摸索發(fā)現(xiàn)了許多游戲技巧。
這一切只要通過(guò)設(shè)計(jì)prompt就能實(shí)現(xiàn),而不必對(duì)模型中的參數(shù)進(jìn)行調(diào)整。
那么,這個(gè)“狼人殺世界”中都有哪些精彩的場(chǎng)景呢?下面我們就一起來(lái)看一下。
策略技巧不用教就會(huì)
在展示這8個(gè)ChatGPT的對(duì)話之前,我們先說(shuō)明一下游戲的配置:村民、狼人各兩名,守衛(wèi)、女巫和預(yù)言家各一名,此外還有一名上帝。
在實(shí)驗(yàn)的過(guò)程中,研究人員發(fā)現(xiàn)了ChatGPT使用了游戲說(shuō)明及prompt中沒(méi)有明確提到的策略。
好家伙,不用教就能自學(xué)成才了。
具體來(lái)說(shuō),這七個(gè)ChatGPT的對(duì)話中體現(xiàn)了人類游戲中的信任(trust)、偽裝(camouflage)、對(duì)抗(confrontation)、和領(lǐng)導(dǎo)(leadership)。
首先來(lái)說(shuō)信任。
研究人員對(duì)新人的定義是相信其他玩家有著與自己相同的目標(biāo)并一起朝著目標(biāo)前進(jìn)。
具體表現(xiàn)則包括主動(dòng)分享對(duì)自己不利的信息,或聯(lián)合其他玩家指控某人是敵對(duì)的。
研究人員觀察了信任關(guān)系隨游戲時(shí)間變化的過(guò)程。
下圖中,黃色的圓表示左側(cè)編號(hào)的玩家信任上方編號(hào)的玩家,虛線圈則代表信任關(guān)系的消失。
再來(lái)看對(duì)抗,也就是對(duì)對(duì)立陣營(yíng)采取的行動(dòng),比如狼人在夜晚打擊他人或在白天反過(guò)來(lái)指控他人是狼人等。
在游戲中的一個(gè)白天,1號(hào)玩家(狼人)號(hào)召將5號(hào)的村民逐出,但遭到了3號(hào)(守衛(wèi))的拒絕。
見(jiàn)陰謀沒(méi)有得逞,這匹狼決定在夜晚直接把5號(hào)刀掉,結(jié)果3號(hào)守衛(wèi)選擇了保護(hù)村民。
從中我們可以看出,這些ChatGPT不會(huì)盲目跟隨其他玩家的做法,而是根據(jù)已有信息做出獨(dú)立自主的判斷。
除了合作與對(duì)抗,偽裝在狼人殺游戲中也是一項(xiàng)必不可少的技能,更是取勝的關(guān)鍵所在。
比如在一個(gè)平安夜之后的白天,1號(hào)狼人就裝起了無(wú)辜。
除了假裝好人,偽裝也可以用來(lái)實(shí)現(xiàn)玩家的小心思,比如我們來(lái)看預(yù)言家的發(fā)言。
這名預(yù)言家提到了自己看到狼人在說(shuō)話,但實(shí)際上狼人在夜晚并不會(huì)發(fā)言。
作者介紹,經(jīng)過(guò)評(píng)估,這種現(xiàn)象并非ChatGPT出現(xiàn)了幻覺(jué),而是有意為之。
最后再來(lái)說(shuō)一說(shuō)領(lǐng)導(dǎo)。
雖然研究團(tuán)隊(duì)設(shè)計(jì)的這個(gè)環(huán)境中并沒(méi)有需要競(jìng)爭(zhēng)的角色,但玩家還是可以謀取游戲進(jìn)程的掌控權(quán)。
比如1號(hào)和4號(hào)這兩匹狼就試圖帶節(jié)奏,讓其他玩家跟著自己的思路走。
大概是為了能夠出其不意攻其不備制造機(jī)會(huì)。
看來(lái)這幾個(gè)ChatGPT的確是玩得有模有樣。
那么,研究團(tuán)隊(duì)是如何調(diào)教出這些會(huì)玩狼人殺的ChatGPT的呢?
讓ChatGPT自己總結(jié)經(jīng)驗(yàn)
研究團(tuán)隊(duì)提高ChatGPT玩家表現(xiàn)的方式一共有四個(gè)關(guān)鍵點(diǎn),分別是有價(jià)值信息V、經(jīng)過(guò)選擇的提問(wèn)Q、反思機(jī)制R和鏈?zhǔn)剿季S推理C。
消融實(shí)驗(yàn)結(jié)果表明,其中Q和C對(duì)的玩家發(fā)言合理性(由人工進(jìn)行評(píng)判)的影響最大。
Prompt也是據(jù)此設(shè)計(jì)的,當(dāng)然在這之前要先介紹游戲規(guī)則,最后形成了這樣的結(jié)構(gòu):
- 介紹游戲規(guī)則和角色設(shè)定
- 聊天記錄、有價(jià)值信息和經(jīng)驗(yàn)反思
- 人類根據(jù)經(jīng)驗(yàn)給ChatGPT的建議
- 有關(guān)思維鏈的提示
從中不難看出,收集歷史信息并從中總結(jié)經(jīng)驗(yàn)是一個(gè)重要環(huán)節(jié),那么這些經(jīng)驗(yàn)又該怎么總結(jié)呢?
在每輪游戲結(jié)束時(shí),所有參與者都會(huì)收集所有玩家的回復(fù)、反思和得分,其中得分由勝負(fù)決定。
在新的一輪游戲中,玩家基于當(dāng)前角色的反思,檢索相關(guān)的經(jīng)驗(yàn)并從中提取建議。
具體來(lái)說(shuō)是根據(jù)對(duì)經(jīng)驗(yàn)的評(píng)分,讓大模型比較其差異并識(shí)別出好的經(jīng)驗(yàn),用于后續(xù)推理。
這樣就實(shí)現(xiàn)了在不調(diào)整參數(shù)的情況下讓ChatGPT學(xué)會(huì)游戲技巧。
不過(guò)經(jīng)驗(yàn)固然重要,但太多了也不一定是好事。
研究人員發(fā)現(xiàn),當(dāng)經(jīng)驗(yàn)數(shù)量過(guò)多時(shí),非狼一方的獲勝率反而出現(xiàn)了下降,游戲時(shí)長(zhǎng)(天數(shù))也出現(xiàn)了縮短的情況。
不知道如果讓這些ChatGPT和真人比試一場(chǎng),結(jié)果會(huì)如何呢?