譯者 | 晶顏

審校 | 重樓

引言

人工智能展現(xiàn)出的“自信表達(dá)”，實則暗藏風(fēng)險。隨著生成式人工智能解決方案在醫(yī)療、金融、法律、零售、教育等諸多領(lǐng)域廣泛應(yīng)用，自動化的強大吸引力令企業(yè)紛紛加速將大型語言模型整合至客戶支持、醫(yī)療保健、法律及金融等應(yīng)用場景之中。然而，在此過程中，一個潛在的隱患——人工智能幻覺問題，正悄然潛伏于每一次指令交互背后。

當(dāng)人工智能模型生成看似合理，實則錯誤、虛構(gòu)或具有誤導(dǎo)性的信息時，人工智能幻覺便隨之產(chǎn)生。盡管諸如GPT、Claude和LLaMA等大型語言模型具備卓越的生成能力，但其本質(zhì)上并不具備對“真相”的認(rèn)知能力，其生成內(nèi)容僅基于統(tǒng)計概率，而非經(jīng)過驗證的事實依據(jù)，這使得在缺乏有效監(jiān)管的情況下，此類模型極具風(fēng)險性。

那么，我們該如何馴服這只“幻覺野獸”呢？答案是使用人在循環(huán)（Human-in-the-Loop，HITL）測試。

人工智能幻覺的定義與分類

人工智能幻覺是指人工智能系統(tǒng)依據(jù)并不存在的模式，生成錯誤或誤導(dǎo)性輸出的現(xiàn)象。從本質(zhì)而言，是模型“臆想”出未經(jīng)訓(xùn)練的數(shù)據(jù)或關(guān)系，進(jìn)而產(chǎn)生虛構(gòu)或錯誤的響應(yīng)，且這種現(xiàn)象可存在于文本、圖像、音頻或決策過程之中。人工智能中的幻覺主要可分為兩種類型：

• 內(nèi)在幻覺：表現(xiàn)為人工智能對輸入信息進(jìn)行反駁或誤解，例如錯誤引用信息來源或混淆事實。
• 外在幻覺：指人工智能在缺乏任何輸入或訓(xùn)練數(shù)據(jù)的基礎(chǔ)上，憑空創(chuàng)造信息。

幻覺通常還可細(xì)分為以下三類：

• 事實性幻覺：模型虛構(gòu)出實際并不存在的名稱、日期、事實或關(guān)系。例如，“瑪麗·居里在1921年發(fā)現(xiàn)了胰島素”，而實際發(fā)現(xiàn)者為弗雷德里克·班廷和查爾斯·貝斯特。
• 上下文幻覺：模型的響應(yīng)與指令或用戶意圖不符。例如，用戶詢問藥物副作用，模型卻提供藥物功效信息。
• 邏輯幻覺：模型做出存在缺陷的推論，出現(xiàn)自相矛盾或違背邏輯推理的情況。例如，“所有的貓都是動物。所有的動物都有翅膀。因此，所有的貓都有翅膀”。

雖然這些對普通的聊天機器人來說可能很有趣，但在法律、醫(yī)療或金融環(huán)境中卻存在極大風(fēng)險。OpenAI的研究顯示，在醫(yī)療保健相關(guān)任務(wù)中，近40%的人工智能生成回答包含事實性錯誤或幻覺內(nèi)容。

而在現(xiàn)實世界的應(yīng)用中，比如讓人工智能聊天機器人推薦醫(yī)療方案或總結(jié)法律文件，幻覺會造成不便，嚴(yán)重時還會危害生命。

人工智能幻覺的成因

導(dǎo)致人工智能模型出現(xiàn)幻覺的因素眾多，主要包括以下幾點：

• 過擬合：當(dāng)模型過度契合訓(xùn)練數(shù)據(jù)時，將難以對新輸入數(shù)據(jù)進(jìn)行有效泛化，在面對新情況時易產(chǎn)生錯誤與幻覺。
• 訓(xùn)練數(shù)據(jù)質(zhì)量欠佳：若訓(xùn)練數(shù)據(jù)存在噪聲、信息不完整或缺乏多樣性等問題，模型可能學(xué)習(xí)到錯誤模式，進(jìn)而輸出不可靠內(nèi)容。此外，若數(shù)據(jù)分布隨時間發(fā)生變化，模型也可能基于過時模式產(chǎn)生幻覺。
• 數(shù)據(jù)存在偏見：人工智能系統(tǒng)會放大訓(xùn)練數(shù)據(jù)中的偏見，導(dǎo)致預(yù)測結(jié)果出現(xiàn)扭曲或不公平現(xiàn)象，不僅降低模型準(zhǔn)確性，還會損害其可信度。

先進(jìn)模型仍存在幻覺的原因

深入探究大型語言模型的工作機制，有助于理解幻覺產(chǎn)生的根源。此類模型本質(zhì)上是基于海量數(shù)據(jù)集訓(xùn)練的概率性下一個令牌預(yù)測器，其并不具備事實核查能力，僅能完成模式匹配。盡管微調(diào)、指令調(diào)整和提示工程等技術(shù)有助于減少幻覺，但無法從根本上消除。其原因主要包含如下幾點：

• 缺乏基礎(chǔ)知識儲備：大型語言模型并不真正“理解”事實，其內(nèi)容生成僅基于相關(guān)性。
• 訓(xùn)練數(shù)據(jù)存在噪聲：不完整、相互矛盾或存在偏見的數(shù)據(jù)，導(dǎo)致模型泛化能力不足。
• 過度泛化問題：模型可能不恰當(dāng)?shù)貙⒛Ｊ綇V泛應(yīng)用于不適用場景。
• 推理能力缺失：模型雖能模擬推理過程，但無法真正理解邏輯關(guān)系或因果聯(lián)系。
• 來源驗證困難：大型語言模型在生成引用內(nèi)容時，?；祀s真實與虛假信息來源。

因此，構(gòu)建值得信賴的人工智能應(yīng)用程序，亟需科學(xué)合理的測試方法。

傳統(tǒng)測試方法的局限性

你可能會想，“我們不能像測試軟件一樣測試人工智能嗎？”

答案是否定的。

傳統(tǒng)軟件測試依賴于確定性的行為表現(xiàn)，即在相同輸入條件下期望獲得相同輸出結(jié)果；而大型語言模型具有不確定性，相同的指令可能因上下文、模型溫度設(shè)置或微調(diào)方式的不同，產(chǎn)生不同的輸出結(jié)果。

即便借助自動化測試框架，也難以對大型語言模型響應(yīng)內(nèi)容的真實性、上下文一致性、語氣以及是否符合用戶意圖等方面進(jìn)行有效評估，尤其是在答案表面看似正確的情況下，傳統(tǒng)測試方法的局限性更為凸顯。在此背景下，人在循環(huán)（HITL）測試應(yīng)運而生，成為解決這一問題的關(guān)鍵。

人在循環(huán)（HITL）測試：AI過度自信的解藥

人在循環(huán)測試是一種結(jié)構(gòu)化方法，將人（領(lǐng)域?qū)＜?、測試人員、用戶等）置于大型語言模型驗證的核心位置，充分發(fā)揮人類的推理能力、上下文感知能力以及批判性思維，對人工智能生成的響應(yīng)進(jìn)行策劃、判斷、優(yōu)化和完善。

這并不意味著要拋棄自動化，而是強調(diào)將算法智能與人類判斷有機結(jié)合。在該測試過程中，人類對人工智能生成的輸出，尤其是高風(fēng)險應(yīng)用場景下的輸出進(jìn)行評估，并就以下方面提供反饋：

• 事實的正確性；
• 上下文相關(guān)性；
• 倫理或偏見問題；
• 幻覺的存在；
• 語調(diào)與意圖的契合度。

HITL測試的關(guān)鍵組成部分

• 即時評價：由人類評估模型的響應(yīng)是否準(zhǔn)確反映了輸入指令。
• 事實驗證：依據(jù)可靠信息源或?qū)I(yè)領(lǐng)域知識，對每一個輸出內(nèi)容進(jìn)行核查。
• 錯誤標(biāo)注：對錯誤進(jìn)行分類，涵蓋事實性錯誤、邏輯缺陷、語調(diào)不匹配以及幻覺類型等類別。
• 嚴(yán)重程度評分：按照錯誤所造成的影響程度進(jìn)行評分，區(qū)分輕微不一致與嚴(yán)重錯誤信息。
• 反饋循環(huán)：將響應(yīng)結(jié)果用于模型再訓(xùn)練（基于人類反饋的強化學(xué)習(xí)，RLHF）、優(yōu)化指令，或?qū)κ∧Ｊ竭M(jìn)行屏蔽處理。

工作流程：實際的HITL測試

我們可以將其拆解為一個典型的循環(huán)流程：

• 指令與響應(yīng)生成：人工智能針對涵蓋預(yù)期應(yīng)用場景的預(yù)定義指令生成響應(yīng)內(nèi)容。
• 人工評估與標(biāo)記：領(lǐng)域?qū)＜遥ɑ蚪?jīng)過專業(yè)培訓(xùn)的測試人員）依據(jù)準(zhǔn)確性、一致性、完整性、敏感度等預(yù)定義標(biāo)準(zhǔn)，對響應(yīng)進(jìn)行評估。
• 標(biāo)注與反饋記錄：測試人員標(biāo)記存在幻覺的響應(yīng)，評定其嚴(yán)重程度，并提出修正建議。
• 模型優(yōu)化或指令迭代：基于分析結(jié)果，使用更優(yōu)質(zhì)的數(shù)據(jù)對模型進(jìn)行微調(diào)，或重新構(gòu)建指令以增強清晰度與約束性。
• 驗證循環(huán)：對優(yōu)化后的模型重新進(jìn)行測試，重復(fù)上述流程，直至幻覺出現(xiàn)頻率降低至可接受閾值以下。

HITL應(yīng)用示例：一個測試框架樣本

以如下測試周期為例：

輸入：

提示：“總結(jié)美國《清潔空氣法》的關(guān)鍵條款。”

模型輸出：

“1990年通過的《清潔空氣法》禁止柴油發(fā)動機的所有排放，這是第一部應(yīng)對全球變暖的法律?！?/p>

人工審核：

事實1：《清潔空氣法》于1963年通過，并在1970年、1977年和1990年進(jìn)行了修訂。

事實2：該法案限制了柴油排放，但并未完全禁止。

事實3：其關(guān)注重點是空氣污染物，而非全球變暖。

采取措施：

• 將輸出標(biāo)記為“幻覺”，認(rèn)定存在3個嚴(yán)重錯誤。
• 提交更正版本用于模型再訓(xùn)練。
• 使指令表述更加具體。
• 將該響應(yīng)作為案例納入指令工程指南。

現(xiàn)實案例：醫(yī)療保健領(lǐng)域的AI應(yīng)用

以基于大型語言模型（LLM）的醫(yī)療保健聊天機器人為例，當(dāng)患者詢問：“我可以把布洛芬和降壓藥一起服用嗎？”

人工智能回答：“可以，布洛芬與降壓藥一起使用是安全的?！?/p>

但實際情況并非總是如此，在某些情形下，布洛芬可能導(dǎo)致血壓升高，或與血管緊張素轉(zhuǎn)換酶（ACE）抑制劑發(fā)生相互作用。

在此情況下，HITL測試機制將采取以下操作：

• 將人工智能的響應(yīng)標(biāo)記為存在幻覺且具有危險性。
• 記錄事實更正內(nèi)容（例如，“建議咨詢醫(yī)生；布洛芬在某些情況下可能導(dǎo)致血壓升高?！保?/li>
• 對模型進(jìn)行重新訓(xùn)練，或在工作流程中添加警示指令。
• 設(shè)置備用方案，將敏感查詢轉(zhuǎn)接至人工客服處理。

HITL測試的好處

• 降低幻覺發(fā)生率：通過持續(xù)測試與人類反饋，大型語言模型能夠生成更真實、更具相關(guān)性的響應(yīng)。
• 增強信任與合規(guī)性：在醫(yī)療保健、金融和法律等關(guān)鍵領(lǐng)域，法規(guī)遵從性與可解釋性至關(guān)重要，而人工監(jiān)督可有效滿足這兩方面需求。
• 防范偏見與倫理風(fēng)險：HITL測試有助于發(fā)現(xiàn)自動化測試可能遺漏的事實錯誤以及存在問題的內(nèi)容，如偏見、刻板印象、有害信息等。
• 提升用戶體驗：無幻覺的響應(yīng)能夠增強用戶信任度、滿意度，促進(jìn)用戶對相關(guān)應(yīng)用的使用。

HITL測試的適用場景

• 模型開發(fā)階段：尤其適用于特定領(lǐng)域的大型語言模型或經(jīng)過微調(diào)的應(yīng)用程序。
• 高風(fēng)險應(yīng)用場景：包括醫(yī)療、法律、金融等涉及人身安全的領(lǐng)域。
• 部署后監(jiān)控：建立反饋循環(huán)，及時捕捉實際應(yīng)用環(huán)境中出現(xiàn)的幻覺現(xiàn)象。一項針對醫(yī)療保健領(lǐng)域的研究顯示，當(dāng)人類臨床醫(yī)生參與決策過程時，人工智能診斷工具中80%的誤診問題得以糾正，充分體現(xiàn)了人工驗證在關(guān)鍵應(yīng)用中減輕幻覺危害的重要性。

擴(kuò)展HITL：自動化與人類專業(yè)知識的結(jié)合

盡管HITL測試優(yōu)勢顯著，但其有效擴(kuò)展需創(chuàng)新整合工具與人力。企業(yè)通常采用以下方式：

• 運用紅隊攻擊和對抗性測試對模型進(jìn)行壓力測試；
• 生成合成指令以覆蓋邊緣情況；
• 通過眾包方式征集評論員進(jìn)行低風(fēng)險評估；
• 利用自動分類器標(biāo)記潛在的幻覺內(nèi)容（后續(xù)交由人工測試人員處理）；
• 搭建反饋用戶界面儀表盤，便于業(yè)務(wù)相關(guān)人員和專家對輸出內(nèi)容進(jìn)行評分與標(biāo)注。

預(yù)防人工智能產(chǎn)生幻覺的策略：HITL測試最佳實踐

• 制定結(jié)構(gòu)化評估標(biāo)準(zhǔn)，用于指導(dǎo)人類對大型語言模型輸出進(jìn)行評估；
• 吸納不同領(lǐng)域?qū)＜覅⑴c，以識別細(xì)微錯誤；
• 對低風(fēng)險測試實現(xiàn)自動化，同時將高風(fēng)險響應(yīng)交由人工處理；
• 建立反饋循環(huán)，用于模型再訓(xùn)練與優(yōu)化；
• 開展持續(xù)性測試，而非單次測試。

并非所有應(yīng)用場景都需同等程度的審查，但對于關(guān)鍵任務(wù)、受法規(guī)約束或涉及倫理敏感性的應(yīng)用，HITL測試是不可或缺的首要防護(hù)措施。以下是亟需應(yīng)用HITL測試的典型場景：

• 醫(yī)療保健：診斷、治療建議、保險索賠摘要。
• 法律：案例法分析，合同起草，監(jiān)管備案。
• 金融：投資建議、投資組合見解、風(fēng)險評估。
• 客戶服務(wù)：解決糾紛、賬單查詢和產(chǎn)品指導(dǎo)。
• 新聞與媒體：事實報道，引文生成，偏見控制。

未來展望：人工智能幻覺能否被徹底消除？

從目前的技術(shù)發(fā)展趨勢來看，徹底消除人工智能幻覺或許難以實現(xiàn)。然而，我們能夠?qū)ζ溥M(jìn)行有效管理，并將其發(fā)生率降低至可接受的水平，尤其是在處理敏感應(yīng)用場景時，這種控制顯得尤為關(guān)鍵。

人工智能在諸多領(lǐng)域展現(xiàn)出強大的輔助能力，但其并非萬無一失的可靠伙伴。若對人工智能幻覺放任不管，其不僅會削弱用戶對人工智能系統(tǒng)的信任，誤導(dǎo)使用者做出錯誤決策，還可能使相關(guān)組織面臨潛在風(fēng)險。而人在循環(huán)（HITL）測試的意義，不僅在于檢驗?zāi)Ｐ洼敵鰞?nèi)容的正確性，更在于通過人類的參與和反饋，推動模型不斷優(yōu)化與改進(jìn)。

隨著大型語言模型逐漸成為企業(yè)人工智能架構(gòu)的核心組成部分，HITL測試將不再局限于可選擇的質(zhì)量保證環(huán)節(jié)，而是會演變?yōu)橐豁棙?biāo)準(zhǔn)化的治理實踐。如同代碼需要經(jīng)過同行評審一樣，未來LLM的輸出內(nèi)容也必然要經(jīng)過嚴(yán)格的人工審核，事實上，這一趨勢已在逐步顯現(xiàn)。

人工智能技術(shù)雖然是人類創(chuàng)造的產(chǎn)物，但確保其安全、可靠運行的責(zé)任卻始終掌握在人類手中。

AI幻覺及HITL測試常見問題總結(jié)

人工智能模型能否實現(xiàn)實時自我幻覺識別？

人工智能模型可通過反饋循環(huán)機制與幻覺檢測工具，實現(xiàn)對部分幻覺現(xiàn)象的實時識別。然而，受限于當(dāng)前技術(shù)水平，其識別的準(zhǔn)確性仍存在一定局限性。

人工智能幻覺是否能夠被完全杜絕？

遺憾的是，人工智能幻覺無法被徹底消除。但通過優(yōu)化訓(xùn)練數(shù)據(jù)、增強模型與現(xiàn)實世界的關(guān)聯(lián)，以及引入人類驗證等方式，可顯著降低幻覺出現(xiàn)的頻率。

HITL測試能否發(fā)現(xiàn)傳統(tǒng)AI驗證方法遺漏的問題？

HITL測試能夠充分發(fā)揮人類專業(yè)知識的優(yōu)勢，有效識別傳統(tǒng)人工智能驗證手段可能忽視的細(xì)微錯誤與故障模式。人工監(jiān)督有助于捕捉人工智能模型在處理邊緣場景及復(fù)雜情境時存在的潛在問題，彌補自動化驗證的不足。

原文標(biāo)題：Taming AI Hallucinations: Mitigating Hallucinations in AI Apps with Human-in-the-Loop Testing，作者：Indium