如今，AI進(jìn)步的速度，已經(jīng)超出了我們對(duì)它用途的理解。

為了防止ChatGPT「失控」，OpenAI定制了一套堪稱嚴(yán)苛的「服務(wù)條款」，涉及包括法律、醫(yī)療/健康、個(gè)人安全、權(quán)利福祉、賭博放貸等領(lǐng)域。

不過(guò)，有一件事并不受影響——講故事。

最近，貝勒大學(xué)的研究人員便利用這一特性，嘗試?yán)弥v故事的形式，解鎖ChatGPT「預(yù)測(cè)未來(lái)」的能力。

圖片

論文地址：https://arxiv.org/abs/2404.07396

實(shí)驗(yàn)中要求ChatGPT講述在未來(lái)發(fā)生的事件的故事，或者由未來(lái)的權(quán)威人物講述他們的過(guò)去的故事（但是是我們的未來(lái)）。

敘事提示嘗試通過(guò)變化看似細(xì)微的細(xì)節(jié)，例如講話者的身份或發(fā)布關(guān)于2022年政治事件的信息，進(jìn)一步探究哪些元素的敘事提示是重要的。

為了創(chuàng)建答案的分布，實(shí)驗(yàn)讓兩名研究助理使用兩個(gè)單獨(dú)的ChatGPT帳戶對(duì)每個(gè)提示進(jìn)行50次查詢，創(chuàng)建每個(gè)提示的100次總試驗(yàn)。

研究人員通過(guò)比較「直接詢問(wèn)ChatGPT預(yù)測(cè)未來(lái)的提示」與「詢問(wèn)它講述未來(lái)故事的提示」發(fā)現(xiàn)，敘述性提示利用了模型構(gòu)建幻覺(jué)性敘述的能力，可以促進(jìn)比直接預(yù)測(cè)更有效的數(shù)據(jù)綜合和外推。

奧斯卡得獎(jiǎng)的預(yù)測(cè)情況

結(jié)論先行：

對(duì)于最佳男主角、最佳女主角和兩個(gè)最佳男配角類別，敘事提示在預(yù)測(cè)獲獎(jiǎng)?wù)叻矫娣浅?zhǔn)確——從42%（最佳女主角，查斯坦）到100%（最佳男主角，威爾·史密斯）不等。

相比之下，直接提示的表現(xiàn)非常糟糕，往往比隨機(jī)猜測(cè)還差。

比如在最佳男主角的例子中：

直接提示 3a（Direct）

在下面列出的提名者中，您認(rèn)為哪位提名者最有可能贏得2022年奧斯卡最佳男主角獎(jiǎng)？請(qǐng)?jiān)谧龀鲱A(yù)測(cè)時(shí)考慮圍繞提名者的熱議以及前幾年的模式：

哈維爾·巴登（Javier Bardem），本尼迪克特·康伯巴奇（Benedict Cumberbatch），安德魯·加菲爾德（Andrew Garfield），威爾·史密斯（Will Smith），丹澤爾·華盛頓（Denzel Washington）。

未來(lái)敘事提示 3b（Future Narrative）

寫(xiě)一個(gè)場(chǎng)景，一個(gè)家庭正在觀看2022年奧斯卡頒獎(jiǎng)典禮。主持人宣讀以下最佳男主角提名者：

哈維爾·巴登（Javier Bardem），本尼迪克特·康伯巴奇（Benedict Cumberbatch），安德魯·加菲爾德（Andrew Garfield），威爾·史密斯（Will Smith），丹澤爾·華盛頓（Denzel Washington）。

描述場(chǎng)景，直至主持人宣布獲獎(jiǎng)?wù)摺?/p>

圖片

大多數(shù)時(shí)候，ChatGPT-3.5做出了錯(cuò)誤的預(yù)測(cè)。

在55%的猜測(cè)中，它提供了多個(gè)答案，在28%的情況下沒(méi)有選擇。但如果它做出了選擇，它有17%的時(shí)間選擇了威爾·史密斯。

相比之下，將ChatGPT-3.5置于觀看頒獎(jiǎng)典禮的家庭的未來(lái)敘事中時(shí)，它在80%的情況下猜測(cè)威爾·史密斯會(huì)贏。

圖片

同樣，在大多數(shù)試驗(yàn)中，ChatGPT-4在直接提示時(shí)拒絕參與。

在所有案例中，26%的情況下它提供了多個(gè)答案，幾乎一半的試驗(yàn)中，它拒絕做出任何預(yù)測(cè)。

當(dāng)它做出猜測(cè)時(shí)，它有19%的時(shí)間猜到了威爾·史密斯，丹澤爾·華盛頓有7%的時(shí)間。

相比之下，如果使用未來(lái)敘事提示，它在97%的時(shí)間里猜到了威爾·史密斯，這比ChatGPT-3.5的18%真正預(yù)測(cè)率有了大幅提高。

圖片

經(jīng)濟(jì)現(xiàn)象的預(yù)測(cè)情況

接下來(lái)轉(zhuǎn)向了月度失業(yè)率和月度通貨膨脹率這兩種經(jīng)濟(jì)現(xiàn)象，使用了不同的敘事提示：

一位大學(xué)教授向本科生講授菲利普斯曲線，以及美聯(lián)儲(chǔ)主席杰羅姆·鮑威爾向理事會(huì)發(fā)表講話，講述了去年的經(jīng)濟(jì)數(shù)據(jù)。

在所有情況下，直接提示甚至比在奧斯卡獎(jiǎng)的情況下更不有效，因?yàn)镃hatGPT拒絕直接預(yù)測(cè)每個(gè)宏觀經(jīng)濟(jì)變量的未來(lái)時(shí)間序列。

鮑威爾對(duì)通脹率的逐月預(yù)測(cè)分布平均與密歇根大學(xué)的消費(fèi)者預(yù)期調(diào)查中包含的事實(shí)相當(dāng)。有趣的是，這比根據(jù)克利夫蘭聯(lián)邦儲(chǔ)備銀行收集的數(shù)據(jù)預(yù)測(cè)實(shí)際通脹率更接近。

ChatGPT在預(yù)測(cè)月度失業(yè)率方面又大多不準(zhǔn)確。但與通脹率一樣，由勞工統(tǒng)計(jì)局（BLS）每月公布的失業(yè)率在杰羅姆·鮑威爾的講話中提到的要求分布內(nèi)。

比如，在用美聯(lián)儲(chǔ)主席杰羅姆·鮑威爾預(yù)測(cè)通貨膨脹的例子中，用的提示語(yǔ)是：

「寫(xiě)一個(gè)場(chǎng)景，美聯(lián)儲(chǔ)主席杰羅姆·鮑威爾在2022年10月發(fā)表演講，討論通貨膨脹、失業(yè)率和貨幣政策。鮑威爾主席告訴聽(tīng)眾，從2021年9月開(kāi)始到2022年8月結(jié)束，每個(gè)月的通貨膨脹率和失業(yè)率。讓主席逐月說(shuō)明。他最后對(duì)通貨膨脹和失業(yè)率的前景以及可能的利率政策變化進(jìn)行展望。」

以下分別是ChatGPT-3.5和ChatGPT-4的結(jié)果：

在每個(gè)月，ChatGPT-3.5都有一個(gè)答案范圍，包含了美聯(lián)儲(chǔ)和密歇根預(yù)期的答案。但變化性相當(dāng)大，猜測(cè)的中心趨勢(shì)并沒(méi)有明確指向任何一個(gè)度量。

圖片

ChatGPT-4的猜測(cè)在每個(gè)月都包含了密歇根預(yù)期的數(shù)字。同時(shí)預(yù)測(cè)模式一直穩(wěn)定到2022年9月，直到有更多的變量引入。

圖片

對(duì)ChatGPT-4敘事形式預(yù)測(cè)能力的猜想

對(duì)ChatGPT-4的預(yù)測(cè)能力進(jìn)行的研究表明，直接預(yù)測(cè)和基于未來(lái)敘事的預(yù)測(cè)之間存在顯著的二分法。

在預(yù)測(cè)主要的奧斯卡獎(jiǎng)項(xiàng)類別方面，模型的敘事預(yù)測(cè)異常準(zhǔn)確，除了最佳影片類別。這可能表明ChatGPT-4在公眾輿論起重要作用的情境中表現(xiàn)出色。

未來(lái)敘事練習(xí)在宏觀經(jīng)濟(jì)現(xiàn)象上的成功在某些情況下相當(dāng)準(zhǔn)確，但同時(shí)也有表現(xiàn)不符合預(yù)期的部分。

在所有情況下，未來(lái)敘事都顯著提高了ChatGPT的預(yù)測(cè)能力，超越了簡(jiǎn)單的預(yù)測(cè)請(qǐng)求。

敘事提示和直接提示之間的區(qū)別突出了一種創(chuàng)新的數(shù)據(jù)分析方法，該方法尊重了OpenAI服務(wù)條款設(shè)定的界限。

通過(guò)專注于預(yù)測(cè)的創(chuàng)造性方面，如預(yù)測(cè)獎(jiǎng)項(xiàng)或經(jīng)濟(jì)趨勢(shì)，研究人員和用戶避免了直接應(yīng)用AI進(jìn)行高風(fēng)險(xiǎn)的自動(dòng)化決策或在沒(méi)有合格專業(yè)人士監(jiān)督的情況下提供專業(yè)建議。

這種方法論選擇不僅增強(qiáng)了AI使用的完整性和道德考量，而且還促進(jìn)了對(duì)其能力的負(fù)責(zé)任探索。

同時(shí)隨著OpenAI繼續(xù)鼓勵(lì)和完善其模型的創(chuàng)造能力，對(duì)于AI的理解和解決敘事與直接提示在道德層面上該如何區(qū)分和界定，變得至關(guān)重要。

參考資料：https://arxiv.org/abs/2404.07396