譯者 | 布加迪

審校 | 重樓

生成式AI模型經(jīng)過(guò)訓(xùn)練后，可基于輸入生成內(nèi)容。輸入指令的描述性越強(qiáng)，輸出內(nèi)容就越準(zhǔn)確、越精確。饋送給生成式AI模型的輸入指令被稱(chēng)為提示，這恰如其名。設(shè)計(jì)最合適的提示這門(mén)技藝就叫提示工程（prompt engineering）。

本文向使用GPT-4和PaLM等大型語(yǔ)言模型（LLM）的開(kāi)發(fā)人員介紹了提示工程。我會(huì)解釋LLM的類(lèi)型、提示工程的重要性以及輔以實(shí)例的各種提示。

了解大型語(yǔ)言模型

在開(kāi)始介紹提示工程之前，不妨探討一下LLM的發(fā)展歷程。這將幫助我們了解提示的重要性。

生成式AI基于基礎(chǔ)模型，而基礎(chǔ)模型基于無(wú)監(jiān)督學(xué)習(xí)技術(shù)用龐大的數(shù)據(jù)庫(kù)加以訓(xùn)練。這些基礎(chǔ)模型成為了針對(duì)特定用例或場(chǎng)景進(jìn)行微調(diào)的多個(gè)模型變體的基礎(chǔ)。

大型語(yǔ)言模型可以分為基礎(chǔ)LLM和指令調(diào)優(yōu)的LLM。

基礎(chǔ)LLM是用公共領(lǐng)域可用的龐大數(shù)據(jù)集加以訓(xùn)練的基礎(chǔ)模型。這些模型直接可以使用，擅長(zhǎng)單詞補(bǔ)全。它們可以預(yù)測(cè)句子中接下來(lái)的內(nèi)容。基礎(chǔ)LLM的例子包括OpenAI的GPT 3.5和Meta的LLaMa。當(dāng)您將字符串作為輸入傳遞給基礎(chǔ)模型后，它會(huì)生成通常緊跟在輸入字符串之后的另一個(gè)字符串。

指令調(diào)優(yōu)的LLM是基礎(chǔ)模型的微調(diào)變體，旨在遵循指令并生成適當(dāng)?shù)妮敵觥?/span>指令通常采用一種描述任務(wù)或提出問(wèn)題的格式。OpenAI的gpt-3.5-turbo、斯坦福大學(xué)的Alpaca和Databricks的Dolly都是基于指令的LLM的幾個(gè)例子。gpt-3.5-turbo模型基于GPT-3基礎(chǔ)模型，而Alpaca和Dolly是LLaMa的微調(diào)變體。

這些模型采用了一種名為人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF）的技術(shù)；在這種技術(shù)中，針對(duì)每個(gè)給定的指令，模型都獲得人類(lèi)的反饋。與饋送給基礎(chǔ)模型的提示相比，這種模型的輸入提示更具描述性、更面向任務(wù)。

提示設(shè)計(jì)的重要性

提示工程是充分發(fā)揮LLM潛力的一項(xiàng)基本技能。一個(gè)設(shè)計(jì)良好的提示可以確保意圖清晰、明確上下文、控制輸出風(fēng)格、減少偏誤，并避免有害的內(nèi)容。通過(guò)精心設(shè)計(jì)提示，用戶(hù)可以提高LLM的相關(guān)性、準(zhǔn)確性，并在各種應(yīng)用環(huán)境中負(fù)責(zé)任地使用生成式AI。

提示工程的兩個(gè)關(guān)鍵方面是全面了解LLM和熟練運(yùn)用英語(yǔ)。設(shè)計(jì)糟糕的提示只會(huì)生成不成熟、不準(zhǔn)確的糟糕回應(yīng)，這接近于產(chǎn)生幻覺(jué)。使用正確的詞匯表以最簡(jiǎn)潔的形式來(lái)指令模型對(duì)于利用LLM的功能至關(guān)重要。

由于我們將處理多個(gè)LLM，因此了解模型特有的最佳實(shí)踐和技術(shù)也很重要。這通常來(lái)自使用模型，并仔細(xì)分析模型提供者發(fā)布的文檔和示例方面的經(jīng)驗(yàn)。LLM還受到用于接受輸入和生成輸出的token數(shù)量的限制，token是一種壓縮輸入文本的形式。提示必須遵守模型規(guī)定的大小限制。

提示的類(lèi)型

提示工程仍然是一個(gè)模糊的領(lǐng)域，沒(méi)有具體的指導(dǎo)方針或原則。隨著LLM不斷發(fā)展，提示工程也將隨之發(fā)展。

不妨看一下與當(dāng)前LLM結(jié)合使用的一些常見(jiàn)類(lèi)型的提示。

• 顯式提示

顯式提示為L(zhǎng)LM提供了一個(gè)清晰而精確的方向。大多數(shù)時(shí)候，它們都是清晰而有針對(duì)性的，為L(zhǎng)LM提供了一個(gè)簡(jiǎn)單的任務(wù)或一個(gè)需要回答的問(wèn)題。當(dāng)您需要提供簡(jiǎn)短的事實(shí)性答案或完成某項(xiàng)任務(wù)（比如總結(jié)一篇文章或回答多項(xiàng)選擇題）時(shí)，顯式提示會(huì)有所幫助。

顯式提示的一個(gè)例子是這樣的：“寫(xiě)一篇關(guān)于一個(gè)小女孩發(fā)現(xiàn)了一把神奇的鑰匙，打開(kāi)了通往另一個(gè)世界的隱藏之門(mén)的短篇故事。”

這個(gè)顯式提示清楚地概述了故事的主題、背景和主要元素，為L(zhǎng)LM提供了生成內(nèi)容的具體指令。通過(guò)提供這樣的提示，LLM可以致力于確?；貜?fù)滿(mǎn)足給定的標(biāo)準(zhǔn)，并圍繞提供的概念創(chuàng)建一個(gè)故事。

• 對(duì)話(huà)提示

對(duì)話(huà)提示是為了讓您以一種更自然的方式與LLM進(jìn)行交互。大多數(shù)時(shí)候，這些問(wèn)題不是那么有條理，在長(zhǎng)度和風(fēng)格上給了LLM更大的自由。對(duì)話(huà)提示適用于提供感覺(jué)更自然、更流暢的回答，就像使用聊天機(jī)器人或虛擬助手一樣。不妨舉一個(gè)對(duì)話(huà)提示的例子。

“嗨，Bard！你能給我講一個(gè)關(guān)于貓的笑話(huà)嗎？”

在這個(gè)對(duì)話(huà)提示中，用戶(hù)開(kāi)始與LLM進(jìn)行對(duì)話(huà)，明確要求特定類(lèi)型的內(nèi)容（這里是一個(gè)關(guān)于貓的有趣笑話(huà)）。然后，LLM可以通過(guò)提供與貓有關(guān)的幽默笑話(huà)，生成滿(mǎn)足用戶(hù)請(qǐng)求的響應(yīng)。這種對(duì)話(huà)提示允許與LLM進(jìn)行更具互動(dòng)性、更具吸引力的交互。

• 基于上下文的提示

基于上下文的提示為L(zhǎng)LM提供了更多關(guān)于情況的信息，這有助于LLM提供更正確更有用的答案。這些問(wèn)題常常包括特定領(lǐng)域的術(shù)語(yǔ)或背景信息，可以幫助LLM了解當(dāng)前的對(duì)話(huà)或主題?；谏舷挛牡奶崾驹趦?nèi)容創(chuàng)建等應(yīng)用領(lǐng)域大有幫助；在這些應(yīng)用領(lǐng)域，確保輸出準(zhǔn)確、在給定的上下文中有意義顯得很重要。

一個(gè)基于上下文的提示的例子類(lèi)似下面分享的提示：

“我計(jì)劃下個(gè)月前往紐約旅行。你能給我推薦一些受歡迎的旅游景點(diǎn)、當(dāng)?shù)夭宛^和比較冷門(mén)的景點(diǎn)嗎？”

在這個(gè)基于上下文的提示中，用戶(hù)提供了關(guān)于即將成行的紐約之旅的具體信息。提示包括用戶(hù)想要尋找熱門(mén)旅游景點(diǎn)、當(dāng)?shù)夭宛^和比較冷門(mén)的景點(diǎn)方面的建議。這種基于上下文的提示可以幫助LLM了解用戶(hù)的當(dāng)前情況，并針對(duì)用戶(hù)的紐約之行提供相關(guān)的建議和信息，從而調(diào)整回復(fù)內(nèi)容。

• 開(kāi)放式提示

開(kāi)放式提示是LLM面臨的另一類(lèi)問(wèn)題。它鼓勵(lì)模型給出更長(zhǎng)的、更詳細(xì)的答案。開(kāi)放式問(wèn)題可以幫助您創(chuàng)造性地寫(xiě)作、講故事，或者為文章或?qū)懽魈岢鱿敕?。這些問(wèn)題讓LLM可以給出一個(gè)更自由的答案，并分析不同的想法和觀點(diǎn)。

以下面的提示為例，它代表一個(gè)開(kāi)放式提示：

“請(qǐng)告訴我技術(shù)給社會(huì)帶來(lái)的影響。”

在這個(gè)開(kāi)放式提示中，用戶(hù)發(fā)起一個(gè)寬泛的討論主題，而并沒(méi)有指定任何特定的方面或角度。LLM可以自由地探索技術(shù)對(duì)社會(huì)影響的方方面面，比如社會(huì)互動(dòng)、經(jīng)濟(jì)、教育、隱私或任何其他相關(guān)方面。這種開(kāi)放式提示讓LLM可以通過(guò)深入研究與技術(shù)對(duì)社會(huì)的影響相關(guān)的不同維度和視角，提供更全面的回復(fù)。

• 消除偏誤的提示

可以設(shè)計(jì)成這樣的提示：提示迫使LLM避免輸出中可能出現(xiàn)的偏誤。比如說(shuō)，提示可以詢(xún)問(wèn)不同的觀點(diǎn)，或者建議LLM思考基于證據(jù)的思維。這些問(wèn)題有助于確保LLM沒(méi)有隱藏的偏誤，并且結(jié)果是公平、平等的。

下面是一個(gè)要求LLM避免偏誤的提示的例子。

“請(qǐng)生成回復(fù)，就以下主題給出平衡和客觀的看法：印度基于種姓的居留地?？紤]提供多個(gè)觀點(diǎn)，避免偏袒任何某個(gè)群體、意識(shí)形態(tài)或觀點(diǎn)。致力于提供有可靠來(lái)源作為佐證的事實(shí)信息，并在回復(fù)中竭力做到包容和公平。”

這個(gè)提示鼓勵(lì)LLM以中立和公正的方式探討這個(gè)話(huà)題。它強(qiáng)調(diào)了呈現(xiàn)多視角、避免偏袒和依賴(lài)可靠來(lái)源的事實(shí)信息具有的重要性。它還強(qiáng)調(diào)包容和公平，敦促LLM考慮不同的觀點(diǎn)，而不助長(zhǎng)歧視或偏見(jiàn)。提供這種提示的目的是消除潛在的偏誤，并給出更平衡的輸出。

• 代碼生成提示

由于LLM是用公共領(lǐng)域的代碼庫(kù)加以訓(xùn)練的，因此它們可以用各種語(yǔ)言生成代碼片段?；诖a的LLM提示是要求LLM以一種特定的語(yǔ)言生成代碼的提示。提示應(yīng)該是具體而清晰的，并提供足夠多的信息，以便LLM生成正確的答案。以下是基于代碼的LLM提示的一個(gè)例子：

“編寫(xiě)一個(gè)Python函數(shù)，接受整數(shù)列表作為輸入，并返回列表中所有偶數(shù)的和。”

在這個(gè)例子中，提示要求一個(gè)Python函數(shù)來(lái)計(jì)算給定列表中所有偶數(shù)的和。生成的代碼定義了一個(gè)名為sum_even_numbers的函數(shù)，該函數(shù)接受整數(shù)列表作為輸入。它初始化一個(gè)變量sum來(lái)存儲(chǔ)偶數(shù)的和，然后遍歷輸入列表中的每個(gè)數(shù)字。如果某個(gè)數(shù)字是偶數(shù)（即能被2整除且無(wú)余數(shù)），它將該數(shù)字加到總和中。最后，函數(shù)返回和。它還添加了文檔，并解釋了它是如何得到解決方案的。

在這個(gè)系列的下一篇文章中，我們將探討用于提示工程的一些技術(shù)，輔以例子。敬請(qǐng)關(guān)注！

原文標(biāo)題：Prompt Engineering: Get LLMs to Generate the Content You Want，作者：Janakiram MSV