對(duì)AI輸出結(jié)果無(wú)休止的調(diào)整可能削弱IT成效

許多AI用戶已對(duì)生成結(jié)果保持適度的懷疑,但一些專(zhuān)家指出,過(guò)度的懷疑正演變成一種趨勢(shì):用戶不斷反復(fù)調(diào)整輸出,幾乎陷入無(wú)休止的“打磨”中。
這種新出現(xiàn)的現(xiàn)象被稱(chēng)為“doomscrolling(過(guò)度提示)”,與“doomscrolling(指盲目滾動(dòng)智能手機(jī)或電腦屏幕瀏覽大量負(fù)面的新聞報(bào)道、社交媒體帖子或其他網(wǎng)絡(luò)分享內(nèi)容)”類(lèi)似——后者指人們?cè)谏缃幻襟w或負(fù)面新聞上無(wú)法停下刷屏。但兩者影響不同:doomscrolling或許只是浪費(fèi)晚餐到睡前的幾個(gè)小時(shí),讓人更悲觀,而doomprompting則可能讓企業(yè)付出高昂代價(jià),員工耗費(fèi)大量時(shí)間與資源,只為“打磨”AI的輸出。
對(duì)話循環(huán)的設(shè)計(jì)陷阱
過(guò)度“折騰”IT系統(tǒng)或代碼并不新鮮,但AI帶來(lái)了新的挑戰(zhàn)。一些專(zhuān)家表示,部分LLM的設(shè)計(jì)似乎天然促使用戶陷入持久的對(duì)話循環(huán),答案往往會(huì)引出下一個(gè)提示。
AI安全開(kāi)發(fā)公司Jozu的CEO兼聯(lián)合創(chuàng)始人Brad Micklea指出,像ChatGPT這樣的AI在回答提示時(shí),經(jīng)常會(huì)建議下一步該怎么做。
“從好的方面看,這只是為了在有限信息下改進(jìn)回復(fù),但更糟的情況是,它可能是為了讓用戶上癮?!彼f(shuō),“用戶可以無(wú)視這些建議,而且通常應(yīng)該無(wú)視,但就像doomscrolling一樣,這比放棄要難得多?!?/p>
智能體測(cè)試服務(wù)商Recall的CTO兼聯(lián)合創(chuàng)始人Carson Farmer補(bǔ)充說(shuō),這個(gè)問(wèn)題在IT團(tuán)隊(duì)中更嚴(yán)重,因?yàn)楹芏喙こ處熖焐鷲?ài)“折騰”。
“單個(gè)工程師給AI下指令時(shí),很快就能得到不錯(cuò)的結(jié)果,”他表示,“然后你會(huì)想:‘這已經(jīng)挺好,但我肯定能做到完美。’結(jié)果就陷入經(jīng)典的沉沒(méi)成本謬誤——工程師會(huì)想,‘我已經(jīng)花這么多時(shí)間提示了,總能把這個(gè)坑挖出來(lái)。’”
如果項(xiàng)目一開(kāi)始沒(méi)有清晰定義什么是“好結(jié)果”,問(wèn)題就更明顯。
“不了解最終目標(biāo)的員工會(huì)一直兜圈子,不知道該何時(shí)收手,”Farmer說(shuō),“完美是‘好’的敵人,而LLM讓我們覺(jué)得只要再微調(diào)最后一個(gè)提示,就能達(dá)成完美?!?/p>
“過(guò)度提示”的兩種形態(tài)
觀察者發(fā)現(xiàn),doomprompting主要有兩種:
第一種是個(gè)人與LLM或其他AI工具的交互,這可能發(fā)生在非工作場(chǎng)景,也可能在工作時(shí)間內(nèi),比如員工反復(fù)調(diào)整AI生成的郵件、代碼或研究查詢結(jié)果。
Salesforce AI執(zhí)行副總裁Jayesh Govindarajan指出,第二種類(lèi)型正在伴隨AI智能體的采用而出現(xiàn):IT團(tuán)隊(duì)不斷微調(diào)智能體,以尋找輸出的細(xì)微改進(jìn)。
隨著智能體日益復(fù)雜,IT團(tuán)隊(duì)會(huì)有持續(xù)追求更佳結(jié)果的誘惑。他承認(rèn),在對(duì)AI輸出保持健康懷疑與認(rèn)定“已經(jīng)夠好”之間,往往只有一線之隔。
“在第一代生成式AI服務(wù)和系統(tǒng)中,我們講究的是寫(xiě)出正確的提示,讓系統(tǒng)在各種情境下生成理想結(jié)果,”他說(shuō),“后來(lái)自主式AI浪潮興起,我們把原本用來(lái)寫(xiě)郵件的技術(shù)升級(jí),用于編排更復(fù)雜的行動(dòng)?!?/p>
Govindarajan見(jiàn)過(guò)一些IT團(tuán)隊(duì)在不斷增加指令的過(guò)程中陷入“doom loop”,想通過(guò)疊加指令優(yōu)化輸出?!八^doomprompting,就是不斷下達(dá)指令,希望它們能發(fā)揮作用,但隨著指令越來(lái)越多、甚至相互矛盾,最終犧牲了系統(tǒng)的整體智能?!?/p>
需要清晰目標(biāo)與邊界
與Govindarajan類(lèi)似,Recall的Farmer也看到,對(duì)AI輸出的合理懷疑與無(wú)休止修正之間存在張力。
他認(rèn)為,解決之道是在項(xiàng)目前期設(shè)定明確預(yù)期和防護(hù)欄,讓IT團(tuán)隊(duì)能識(shí)別“足夠好”的結(jié)果。
Jozu的Micklea補(bǔ)充說(shuō),一份強(qiáng)有力的AI項(xiàng)目需求文檔,應(yīng)清晰說(shuō)明目標(biāo)受眾、項(xiàng)目目標(biāo)、約束條件以及“成功”的定義。
“如果在沒(méi)有清晰計(jì)劃、也不理解任務(wù)完成標(biāo)準(zhǔn)的情況下使用AI,就更容易被ChatGPT的后續(xù)建議帶偏,”他說(shuō),“要記住,ChatGPT的建議并不了解你的最終目標(biāo),它只是多個(gè)邏輯上可行的下一步之一?!?/p>
Farmer的團(tuán)隊(duì)也曾嘗試讓多個(gè)智能體同時(shí)解決同一問(wèn)題,類(lèi)似“適者生存”的實(shí)驗(yàn)。
“與其陷入doomprompting,不如讓五個(gè)智能體一起處理,再合并結(jié)果挑出最佳方案,”他建議,“既然無(wú)論如何都會(huì)消耗算力代幣,不如用節(jié)省時(shí)間的方式?!?/p>
他還建議IT團(tuán)隊(duì)把智能體當(dāng)作初級(jí)員工對(duì)待:“給它們明確的目標(biāo)和約束,讓它們自行完成任務(wù),再回過(guò)頭評(píng)估結(jié)果。不要讓工程經(jīng)理參與每一步,否則只會(huì)導(dǎo)致次優(yōu)結(jié)果和doomprompting?!?/p>















 
 
 






 
 
 
 