出品 | 51CTO技術棧（微信號：blog51cto）

眾所周知，LLM會產(chǎn)生幻覺——即生成不正確、誤導性或無意義的信息。

有意思的是，一些人，如OpenAI的CEO Sam Altman，將AI的幻覺視為創(chuàng)造力，而另一些人則認為幻覺可能有助于做出新的科學發(fā)現(xiàn)。

然而，在大多數(shù)情況下，提供正確回答至關重要，幻覺并不是一項特性，而是一種缺陷。

那么，如何減少LLM的幻覺呢？長上下文？RAG？微調(diào)？

其實，長上下文LLMs并非萬無一失，向量搜索RAG也不盡如人意，而微調(diào)則伴隨著其自身的挑戰(zhàn)和限制。

下面是一些可以用來減少LLM幻覺的高級技術。

1.高級提示詞

關于使用更好或更高級的提示詞（prompts）是否能解決大型語言模型（LLM）的幻覺問題，確實存在很多討論。

圖片

雖然一些人認為編寫更詳細的提示詞對解決（幻覺）問題沒有幫助，但谷歌大腦（Google Brain）的聯(lián)合創(chuàng)始人吳恩達（Andrew Ng）等人卻看到了其中的潛力。

吳恩達認為，GPT-4和其他先進模型的推理能力使它們非常擅長解釋帶有詳細說明的復雜提示詞。

圖片

“通過多示例學習，開發(fā)者可以在提示詞中給出數(shù)十個，甚至數(shù)百個示例，這比少示例學習更為有效，”他寫道。

圖片

為了改進提示詞，許多新的進展也在不斷涌現(xiàn)，比如Anthropic公司于5月10日發(fā)布了一款新的“Prompt Generator”工具，該工具可以將簡單的描述轉(zhuǎn)化為針對大型語言模型（LLMs）優(yōu)化的高級提示詞。通過Anthropic控制臺，就可以生成用于生產(chǎn)的提示詞。

最近，馬克·安德森（Marc Andreessen）也表示，通過正確的提示，我們可以解鎖AI模型中的潛在超級天才?！霸诓煌I域的提示技術可以解鎖這種潛在超級天才”，他補充道。

2.Meta AI的Chain-of-Verification（CoVe）

Meta AI的Chain-of-Verification（CoVe）是另一種技術。這種方法通過將事實核查分解為可管理的步驟，提高響應準確性，并與人類驅(qū)動的事實核查過程保持一致，來減少大型語言模型（LLMs）的幻覺現(xiàn)象。

圖片

CoVe涉及生成初始響應、規(guī)劃驗證問題、獨立回答這些問題，并生成最終經(jīng)過驗證的響應。通過系統(tǒng)地驗證和糾正其輸出，這種方法顯著提高了模型的準確性。

它通過減少幻覺并增加事實正確性，在各種任務中提高了性能，如基于列表的問題、閉卷問答和長篇文本生成等。

3.知識圖譜

RAG（檢索增強的生成）不再局限于向量數(shù)據(jù)庫匹配，目前引入了許多先進的RAG技術，顯著提高了檢索效果。

圖片

例如，將知識圖譜（KGs）集成到RAG中。通過利用知識圖譜中結(jié)構(gòu)化且相互關聯(lián)的數(shù)據(jù)，可以大大增強當前RAG系統(tǒng)的推理能力。

4.Raptor

另一種技術是Raptor，該方法通過創(chuàng)建更高層次的抽象來處理跨越多個文檔的問題。它在回答涉及多個文檔概念的查詢時特別有用。

圖片

像Raptor這樣的方法與長上下文大型語言模型（LLMs）非常契合，因為你可以直接嵌入整個文檔而無需分塊。

該方法通過將外部檢索機制與變換器模型集成來減少幻覺現(xiàn)象。當接收到查詢時，Raptor首先從外部知識庫中檢索相關且經(jīng)過驗證的信息。

然后，將這些檢索到的數(shù)據(jù)與原始查詢一起嵌入到模型的上下文中。通過將模型的響應基于事實和相關信息，Raptor確保生成的內(nèi)容既準確又符合上下文。

5.共形抽離（Conformal Abstention）

論文《通過共形抽離緩解大型語言模型的幻覺現(xiàn)象》介紹了一種通過應用共形預測技術來確定模型何時應該避免給出響應，從而減少大型語言模型（LLMs）中的幻覺現(xiàn)象的方法。

圖片

通過使用自我一致性來評估響應的相似性，并利用共形預測進行嚴格的保證，該方法確保模型只在對其準確性有信心時才做出響應。

這種方法在保持平衡的抽離率的同時，有效地限制了幻覺現(xiàn)象的發(fā)生率，特別有利于需要長篇回答的任務。它通過避免錯誤或不合邏輯的響應，顯著提高了模型輸出的可靠性。

6.RAG減少結(jié)構(gòu)化輸出中的幻覺現(xiàn)象

最近，ServiceNow通過RAG減少了結(jié)構(gòu)化輸出中的幻覺現(xiàn)象，提高了大型語言模型（LLM）的性能，實現(xiàn)了域外泛化，同時最小化了資源使用。

圖片

該技術涉及一個RAG系統(tǒng)，該系統(tǒng)在生成文本之前從外部知識庫中檢索相關的JSON對象。這確保了生成過程基于準確且相關的數(shù)據(jù)。

圖片

通過融入這一預檢索步驟，模型不太可能產(chǎn)生錯誤或捏造的信息，從而減少了幻覺現(xiàn)象。此外，這種方法允許使用較小的模型而不犧牲性能，使其既高效又有效。

本文轉(zhuǎn)載自??51CTO技術棧??