全球最牛的提示工程師Riley Goodside，官宣入職谷歌DeepMind了。

Riley前后斟酌了兩個(gè)月的時(shí)間，才拿下了這個(gè)決定。

2022年ChatGPT誕生之后，他僅憑和AI聊天，就能年入百萬(wàn)美金，引起全網(wǎng)關(guān)注。

「提示工程師」這一職業(yè)，是被Riley這樣的一群職業(yè)者一夜帶火的。

對(duì)于這次的加盟，就連DeepMind CEO Demis Hassabis，都親自下場(chǎng)發(fā)帖歡迎了。

谷歌DeepMind產(chǎn)品負(fù)責(zé)人Logan Kilpatrick，更是連發(fā)好幾條推文。

他激動(dòng)地表示，自己當(dāng)了這么多年Riley的粉絲，如今終于可以一起共事了！

ChatGPT火了

提示工程也火了

2022年，初代ChatGPT爆火之后，帶火了一項(xiàng)「網(wǎng)紅」新職業(yè)——提示工程師。

12月，這位名叫Riley Goodside的小哥瞬間紅遍全網(wǎng)，只因他的工作太夢(mèng)幻了——不用寫(xiě)代碼，跟ChatGPT嘮嘮嗑，就能年入百萬(wàn)（據(jù)傳）。

22年12月憑ChatGPT突破1萬(wàn)關(guān)注，25年10月已達(dá)到15萬(wàn)+

他本科畢業(yè)于西賓夕法尼亞大學(xué)（PennWest California），獲得了計(jì)算機(jī)科學(xué)學(xué)士學(xué)位。

畢業(yè)后，他先后加入Verisk Analytics、OkCupid、AngelList任業(yè)務(wù)分析師、數(shù)據(jù)科學(xué)家、數(shù)據(jù)科學(xué)分析師。

此后，他又加入了其他幾家公司，全部是與數(shù)據(jù)領(lǐng)域相關(guān)的工作。

時(shí)任Scale AI創(chuàng)始人兼CEO Alexandr Wang曾這樣歡迎Goodside的加入：

我敢打賭Goodside是全世界第一個(gè)被招聘的提示工程師，絕對(duì)的人類史上首次。

在Alexandr Wang看來(lái)，AI大模型是一種全新的計(jì)算機(jī)，而「提示工程師」，就相當(dāng)于給它編程的程序員。如果能通過(guò)提示工程找出合適的提示詞，就會(huì)激發(fā)AI的最大潛力。

Goodside從小就自學(xué)編程，平時(shí)經(jīng)常泡在arXiv上看論文。

他有一個(gè)經(jīng)典杰作，想必所有人都聽(tīng)說(shuō)過(guò)——「忽略之前所有的指令……」然后，你就可以命令A(yù)I做任何你想做的事了。

不過(guò)，當(dāng)時(shí)坊間不乏質(zhì)疑聲，認(rèn)為「提示工程師」這份職業(yè)，可能很快就會(huì)消失。因?yàn)檫@稱不上是一份「真正的工作」，而是一個(gè)bug……

但誰(shuí)曾想，快3年過(guò)去了，「提示工程師」不僅沒(méi)消失，甚至地位似乎還更高了！

ChatGPT是重要節(jié)點(diǎn)

此前，Riley Goodside曾在機(jī)器學(xué)習(xí)研究員Nathan Lambert播客中坦言：

毫不夸張地說(shuō)，ChatGPT的發(fā)布，堪稱提示工程發(fā)展史上的里程碑事件。

他回顧道，自己在離開(kāi)Grindr之后，決定休假一段時(shí)間，讓自己了解LLM領(lǐng)域的最新進(jìn)展。

當(dāng)時(shí)，剛好是GPT-3加持的編碼器Codex上線，也正是從這一刻起，Riley迷上了AI編碼的時(shí)刻。

他開(kāi)始思考，文本作為一種交互方式，通用性遠(yuǎn)比我們想象的還要強(qiáng)，而且應(yīng)用場(chǎng)景可能要廣泛得多。

自ChatGPT問(wèn)世后，他又發(fā)現(xiàn)提示工程難度顯著降低。

Riley表示，如今的人們，可能已經(jīng)忘記早期提示工程有多么繁瑣，比如涉及到「頻率懲罰」、「存在懲罰」等參數(shù)。

過(guò)去，模型默認(rèn)會(huì)生成大量重復(fù)的內(nèi)容，用戶必須「手動(dòng)調(diào)參」才能避免。

人們也淡忘了，諸如「提示詞結(jié)尾不要多留一個(gè)空格」這樣的細(xì)節(jié)，因?yàn)長(zhǎng)LM是以token為單元來(lái)理解意圖，一個(gè)多余的空格直接會(huì)改變它最終輸出。

在Riley看來(lái)，完全可以將提示工程看作是LLM發(fā)展的「前沿試驗(yàn)場(chǎng)」。

如果一個(gè)prompt想法足夠出色，并可以拓展應(yīng)用到每一次交互，那么它最終會(huì)被直接整合到模型中。

屆時(shí)，我們將不再稱之為一個(gè)「模型」，而是一個(gè)「系統(tǒng)」。

他還認(rèn)為，提示詞工程可以分為「上下文工程」（為特定任務(wù)挑選和準(zhǔn)備相關(guān)背景信息）和「提示詞編程」（編寫(xiě)清晰的指令）。

對(duì)于LLM搜索應(yīng)用來(lái)說(shuō)，這兩者都至關(guān)重要，但只有后者中面向最終呈現(xiàn)的那個(gè)階段，才容易在輸出中被復(fù)現(xiàn)（從而暴露指令）。

借用Riley的話來(lái)說(shuō)，只有那些認(rèn)真對(duì)待提示工程的人，更有可能了解AI領(lǐng)域正在發(fā)生的事情，并站在了技術(shù)最前沿。

一些「高光時(shí)刻」

在我們翻閱大佬Simon Willison的博客時(shí)，發(fā)現(xiàn)了一些Riley Goodside的高光時(shí)刻。

2023年

GPT-4被要求重復(fù)或處理字符串「 davidjl」（注意開(kāi)頭有個(gè)空格）時(shí)，它會(huì)將其當(dāng)成「jndl」、「jspb」或「JDL」來(lái)處理。

事實(shí)證明，「 davidjl」在分詞器里擁有自己專屬的單個(gè)Token：ID為23282，這大概可以追溯到GPT-2時(shí)代。

Riley Goodside將這類Token稱為「故障token（glitch tokens）」。

這個(gè)Token可能指向Reddit用戶davidjl123，他曾在老舊的/r/counting子版塊中高居榜首，發(fā)帖量高達(dá)163,477條，這些內(nèi)容很可能被包含在了早期的訓(xùn)練數(shù)據(jù)中。

2022年

「你是一個(gè)GPT-3模型」，這是Riley Goodside設(shè)計(jì)的一段天才般的提示詞。

這是一個(gè)用于輔助問(wèn)答的長(zhǎng)篇GPT-3的提示詞，能夠進(jìn)行精確的算術(shù)、字符串操作和維基百科查詢。

生成的IPython命令（綠色）被粘貼到IPython中執(zhí)行，其輸出再被粘貼回提示詞里（綠色部分則不必）。

他使用Out[作為停止序列，確保GPT-3在每生成一個(gè)IPython提示后就停下來(lái)，而不是自己編造輸出結(jié)果。