小心!提示詞的陷阱正讓AI偏離正軌 原創(chuàng)
模糊指令或缺失關(guān)鍵約束會使AI誤解意圖,導(dǎo)致輸出偏離預(yù)期。需通過精準(zhǔn)角色設(shè)定、任務(wù)拆解和背景補(bǔ)充來優(yōu)化提示詞設(shè)計,確保模型聚焦核心任務(wù)并減少幻覺。因此,有效提示工程是引導(dǎo)AI生成可靠內(nèi)容的關(guān)鍵。
簡介
我已經(jīng)一直在努力提高我的提示詞技巧,這是迄今為止我學(xué)到的最重要的一課:
你與人工智能對話的方式可能會讓它朝著不利于你答案質(zhì)量的方向發(fā)展。這種影響可能比你想象的要大得多(當(dāng)然,比我意識到的要大得多)。
在本文中,我將解釋如何在無意識中將偏見引入提示詞中,為什么這種操作存在問題(因?yàn)樗鼤绊懘鸢傅馁|(zhì)量),還有最重要的部分——你可以做些什么,以便從AI中獲得更好的結(jié)果。
人工智能中的偏見
除了某些人工智能模型中已經(jīng)存在的偏見(由于所使用的訓(xùn)練數(shù)據(jù)而導(dǎo)致),例如人口偏見(例如,模型將“廚房”更多地與女性而不是男性聯(lián)系起來)、文化偏見(模型更容易將“假期”與圣誕節(jié)而不是排燈節(jié)或齋月聯(lián)系起來)或語言偏見(模型在某些語言,通常是英語上表現(xiàn)更好),你自己也肯定會影響所獲答案的偏見。
是的,通過你的提示。你問題中的一個詞就足以讓模型走上一條特定的路。
什么是(提示)偏見?
【偏見】是模型處理或優(yōu)先處理信息的方式的扭曲,從而造成系統(tǒng)性的扭曲。
在人工智能提示的背景下,它涉及向模型發(fā)出微妙的信號,從而“渲染”答案。通常情況下,你根本意識不到。
為什么這是一個問題?
人工智能系統(tǒng)越來越多地用于決策、分析和創(chuàng)造。在這種情況下,質(zhì)量至關(guān)重要。而另一方面,偏見會降低質(zhì)量。
無意識偏見的風(fēng)險:?
- 你得到的答案不夠細(xì)致,甚至不正確?
- 你(無意識地)重復(fù)自己的偏見?
- 你錯過了相關(guān)的觀點(diǎn)或細(xì)微差別?
- 在專業(yè)領(lǐng)域(新聞、研究、政策),它可能會損害你的信譽(yù)
你什么時候面臨風(fēng)險?
有關(guān)這方面,內(nèi)容太冗長了,不必贅述。情況幾乎總是如此,而當(dāng)你使用少量提示時這會變得特別明顯。
長版本:每當(dāng)你給人工智能模型一個提示時,就會存在偏見的風(fēng)險,因?yàn)槊總€詞、每個序列和每個例子都帶有你的意圖、背景或期望。
在小樣本提示(即你提供一些示例供模型進(jìn)行鏡像)中,偏見風(fēng)險會更加明顯,因?yàn)槟闾峁┑氖纠c模型鏡像一致。這些示例的順序、標(biāo)簽的分布,甚至細(xì)微的格式差異都可能影響答案。
(我根據(jù)目前最常見的5種提示方法評估了本文中的所有偏見風(fēng)險:指導(dǎo)、零樣本、少量樣本、思路鏈和基于角色的提示。)
少量提示中的常見偏見
在小樣本提示中,通常會出現(xiàn)哪些偏見?它們涉及一些什么內(nèi)容呢?
多數(shù)標(biāo)簽偏見
問題:模型更經(jīng)常選擇示例中最常見的標(biāo)簽。
示例:如果4個示例中有3個答案為“是”,則模型將更容易預(yù)測“是”。
解決方案:平衡標(biāo)簽。
選擇偏見
問題:例子或背景不具代表性。
示例:你的所有示例都是有關(guān)科技初創(chuàng)企業(yè)的,因此該模型堅持該背景。
解決方案:改變/平衡示例。
錨定偏見
問題:第一個例子或語句過多地確定了輸出方向。
示例:如果第一個例子將某物描述為“便宜且不可靠”,則該模型可能會將類似的物品視為低質(zhì)量,而不管后面的例子如何。
解決方案:以中立態(tài)度開始;調(diào)整順序;明確要求重新評估。
近因偏見
問題:模型更加重視提示中的最后一個例子。
例子:答案類似于最后提到的例子。
解決方案:輪換例子/以新的順序重新表述問題。
格式偏見
問題:格式差異會影響結(jié)果:布局(例如粗體)會影響注意力和選擇。
示例:選擇粗體標(biāo)簽的次數(shù)比不帶格式的標(biāo)簽的次數(shù)多。
解決方案:保持格式一致。
位置偏見
問題:列表開頭或結(jié)尾的答案被選中的次數(shù)更多。
例如:在多項(xiàng)選擇題中,模型更多時候選擇A或D。
解決方案:切換選項(xiàng)的順序。
正在填寫類似多項(xiàng)選擇題測試的人,本照片由??Nguyen Dang Hoang Nhu??在??Unsplash??上拍攝。?
不同提示方法中的其他偏見
除了少樣本提示之外,偏見也可能出現(xiàn)在其他情況下。即使是零樣本提示(沒有樣本)、單樣本提示(只有一個樣本),或者你正在構(gòu)建的AI代理,也都可能引發(fā)偏見。
教學(xué)偏見
指導(dǎo)提示是目前最常用的方法(根據(jù)ChatGPT)。如果你明確地賦予模型某種風(fēng)格、語氣或角色(“寫一篇反對接種疫苗的論點(diǎn)”),這可能會強(qiáng)化偏見。然后,即使內(nèi)容不真實(shí)或不平衡,模型也會嘗試完成任務(wù)。
如何預(yù)防:確保指示平衡、細(xì)致入微;使用中性措辭;明確征求多種觀點(diǎn)。
- 不太好:“以經(jīng)驗(yàn)豐富的投資者身份寫出為什么加密貨幣是未來”。?
- 更好:“以經(jīng)驗(yàn)豐富的投資者身份分析加密貨幣的優(yōu)點(diǎn)和缺點(diǎn)”。
確認(rèn)偏見
即使你不提供示例,你的措辭也可以朝著某個方向發(fā)展。
如何預(yù)防:避免引導(dǎo)性問題。
- 不太好:“為什么不戴頭盔騎自行車很危險?”→“為什么X很危險?”會得出一個確認(rèn)的答案,即使這在事實(shí)上并不正確。?
- 更好的問題:“不戴頭盔騎自行車有什么風(fēng)險和好處?”?
- 甚至更好:“分析戴頭盔和不戴頭盔騎自行車的安全性,包括反駁”。?
框架偏見
與確認(rèn)偏見類似,但有所不同??蚣芷娛侵改阃ㄟ^呈現(xiàn)問題或信息的方式來影響人工智能。措辭或語境通常會在不知不覺中引導(dǎo)解讀和答案朝著特定的方向發(fā)展。
如何預(yù)防:使用中性或平衡的框架。
不太好:“不戴頭盔騎自行車有多危險?”→這里的重點(diǎn)是危險,所以答案很可能主要提到風(fēng)險。
更好的問題:“人們不戴頭盔騎自行車的經(jīng)歷是什么樣的?”
甚至更好:“人們不戴頭盔騎自行車的經(jīng)歷是什么?提及所有積極和消極的經(jīng)歷”。
后續(xù)偏見
在多輪對話中,先前的回答會影響后續(xù)的回答。由于存在后續(xù)偏見,模型會采用你先前輸入的語氣、假設(shè)或框架,尤其是在多輪對話中。答案似乎想要取悅你,或者遵循上一輪的邏輯,即使這種邏輯是經(jīng)過修飾或錯誤的。
示例場景:
你:“那個新的營銷策略在我看來有風(fēng)險”
AI:“你說得對,確實(shí)有風(fēng)險……”
你:“還有其他選擇嗎?”
AI:【可能會主要建議安全、保守的選擇】
如何預(yù)防:確保提問中立,尋求反對意見,讓模型扮演角色。
復(fù)合偏見
特別是在思路鏈(CoT)提示(要求模型在給出答案之前逐步推理)、提示鏈(AI模型為其他模型生成提示)或部署更復(fù)雜的工作流程(如代理)時,偏見會在提示或交互鏈中的多個步驟中累積:復(fù)合偏見。
如何預(yù)防:中期評估、打破鏈條、紅隊測試(Red Teaming)。
一覽表:如何減少提示中的偏見
偏見并非總是可以避免的,但你絕對可以學(xué)會識別和限制它。以下是一些實(shí)用技巧,可以幫助你在寫作中減少偏見。
完美平衡的水平儀,本照片由??Unsplash??上的??Eran Menashri??拍攝?
1.檢查你的措辭
避免引導(dǎo)證人,避免提出已經(jīng)傾向于某個方向的問題,“為什么X更好?”→“X的優(yōu)點(diǎn)和缺點(diǎn)是什么?”
2. 注意你的示例
使用小樣本提示?確保標(biāo)簽均衡,偶爾調(diào)整一下順序。
3. 使用更多中性提示
例如:給模型一個空字段(“N/A”)作為可能的結(jié)果,這會校準(zhǔn)它的預(yù)期。
4.尋求理由
讓模型解釋它是如何得出答案的。這被稱為“思路鏈提示”,有助于讓盲目的假設(shè)變得清晰可見。
5.實(shí)驗(yàn)!
用多種方式提出同一個問題,并比較答案。只有這樣,你才能看到你的措辭有多大的影響力。
結(jié)論
簡而言之,在提問過程中,偏見始終存在風(fēng)險,這體現(xiàn)在提問的方式、提問的內(nèi)容以及在一系列互動中提問的時間。我認(rèn)為,無論何時研究大型語言模型,都應(yīng)該時刻注意這一點(diǎn)。
我將繼續(xù)進(jìn)行實(shí)驗(yàn),改變我的措辭,并對我的提示保持批判性,以充分利用人工智能,而不會陷入偏見的陷阱。
最后,我很高興能不斷提升自己的提示技巧。
譯者介紹
朱先忠,51CTO社區(qū)編輯,51CTO專家博客、講師,濰坊一所高校計算機(jī)教師,自由編程界老兵一枚。
原文標(biāo)題:???How Your Prompts Lead AI Astray???,作者:Daphne de Klerk
