作者| Rahul Pradhan

來源| https://www.infoworld.com/article/3708254/addressing-ai-hallucinations-with-retrieval-augmented-generation.html

人工智能有望成為當代最具影響力的技術。最近在transformer技術和生成式人工智能方面取得的進展已經(jīng)展示了其大規(guī)模釋放創(chuàng)新和獨創(chuàng)性的潛力。

然而，生成式人工智能并非沒有挑戰(zhàn)——這些挑戰(zhàn)甚至可能會嚴重阻礙這一變革性技術的應用和價值創(chuàng)造。隨著生成式人工智能模型的復雜性和能力不斷提高，它們也帶來了獨特的挑戰(zhàn)，包括生成不基于輸入數(shù)據(jù)的輸出。

這些所謂的 "幻覺 "是指模型產(chǎn)生的輸出結果雖然連貫，但可能脫離了事實或輸入背景。本文將簡要介紹生成式人工智能的變革性影響，審視該技術的不足和挑戰(zhàn)，并討論可用于緩解幻覺的技術。

生成式人工智能的變革效應

生成式人工智能模型使用一種被稱為深度學習的復雜計算過程來識別大量數(shù)據(jù)集中的模式，然后利用這些信息創(chuàng)建新的、令人信服的輸出。這些模型通過結合稱為神經(jīng)網(wǎng)絡的機器學習技術來實現(xiàn)這一目標，神經(jīng)網(wǎng)絡的靈感來源于人腦處理和解釋信息的方式，然后隨著時間的推移從中學習。

OpenAI 的 GPT-4 和谷歌的 PaLM 2 等生成式人工智能模型有望加速自動化、數(shù)據(jù)分析和用戶體驗方面的創(chuàng)新。這些模型可以編寫代碼、總結文章，甚至幫助診斷疾病。然而，這些模型的可行性和最終價值取決于它們的準確性和可靠性。在醫(yī)療保健、金融或法律服務等關鍵領域，可靠的準確性至關重要。但對于所有用戶來說，要釋放生成式人工智能的全部潛力，就必須解決這些挑戰(zhàn)。

大型語言模型的缺點

LLM 從根本上說是概率性和非確定性的。它們根據(jù)下一個特定詞序出現(xiàn)的可能性生成文本。LLM 沒有知識概念，完全依賴于通過訓練有素的數(shù)據(jù)語料庫作為推薦引擎進行導航。它們生成的文本一般遵循語法和語義規(guī)則，但完全以滿足與提示的統(tǒng)計一致性為基礎。

LLM 的這種概率性質(zhì)既是優(yōu)點也是缺點。如果目標是得出正確答案或根據(jù)答案做出關鍵決定，那么幻覺就是不好的，甚至會造成損害。然而，如果目標是創(chuàng)造性的努力，那么可以利用 LLM 培養(yǎng)藝術創(chuàng)造力，從而相對較快地創(chuàng)作出藝術作品、故事情節(jié)和劇本。

然而，無論目標如何，無法信任 LLM 模型的輸出都會造成嚴重后果。這不僅會削弱人們對這些系統(tǒng)能力的信任，還會大大降低人工智能對加速人類生產(chǎn)力和創(chuàng)新的影響。

最終，人工智能的好壞取決于它所訓練的數(shù)據(jù)。LLM 的幻覺主要是數(shù)據(jù)集和訓練的缺陷造成的，包括以下方面：

• 過度擬合： 當模型對訓練數(shù)據(jù)（包括噪聲和異常值）的學習效果太好時，就會出現(xiàn)過度擬合。模型的復雜性、訓練數(shù)據(jù)的噪聲或訓練數(shù)據(jù)的不足都會導致過度擬合。這會導致低質(zhì)量的模式識別，使模型無法很好地泛化到新數(shù)據(jù)中，從而導致分類和預測錯誤、與事實不符的輸出、信噪比低的輸出或完全的幻覺。
• 數(shù)據(jù)質(zhì)量： 用于訓練的數(shù)據(jù)的錯誤標記和錯誤分類可能在幻覺中起重要作用。有偏差的數(shù)據(jù)或缺乏相關數(shù)據(jù)實際上會導致模型輸出結果看似準確，但可能被證明是有害的，這取決于模型建議的決策范圍。
• 數(shù)據(jù)稀缺： 數(shù)據(jù)稀缺或對新鮮或相關數(shù)據(jù)的需求是導致幻覺并阻礙企業(yè)采用生成式人工智能的重要問題之一。使用最新內(nèi)容和上下文數(shù)據(jù)刷新數(shù)據(jù)有助于減少幻覺和偏見。

解決大型語言模型中的幻覺

有幾種方法可以解決 LLM 中的幻覺問題，包括微調(diào)、提示工程和檢索增強生成 (RAG) 等技術。

• 微調(diào)是指使用特定領域的數(shù)據(jù)集重新訓練模型，以便更準確地生成與該領域相關的內(nèi)容。然而，重新訓練或微調(diào)模型需要較長的時間，此外，如果不持續(xù)訓練，數(shù)據(jù)很快就會過時。此外，重新訓練模型也會帶來巨大的成本負擔。
• 提示工程旨在通過在輸入中提供更多描述性和說明性特征作為提示，幫助 LLM 得出高質(zhì)量的結果。為模型提供額外的上下文并使其立足于事實，這樣就能降低模型產(chǎn)生幻覺的可能性。
• 檢索增強生成（RAG）是一種側重于用最準確、最新的信息為 LLM 提供基礎的框架。通過實時向模型提供來自外部知識庫的事實，可以改善 LLM 的響應。

檢索增強生成和實時數(shù)據(jù)

檢索增強生成是提高大型語言模型準確性的最有前途的技術之一。事實證明，RAG 與實時數(shù)據(jù)相結合可大大減輕幻覺。

RAG 使企業(yè)能夠利用最新的專有數(shù)據(jù)和上下文數(shù)據(jù)利用 LLM。除了減少幻覺之外，RAG 還能利用特定語境信息豐富輸入內(nèi)容，從而幫助語言模型生成更準確、與語境更相關的響應。在企業(yè)環(huán)境中，微調(diào)往往是不切實際的，但 RAG 提供了一種低成本、高收益的替代方案，可用于提供個性化、信息靈通的用戶體驗。

為了提高 RAG 模型的效率，有必要將 RAG 與可操作的數(shù)據(jù)存儲結合起來，該數(shù)據(jù)存儲能夠以 LLMs 的母語存儲數(shù)據(jù)，即被稱為嵌入的高維數(shù)學向量，用于編碼文本的含義。當用戶提出查詢時，數(shù)據(jù)庫會將其轉換為數(shù)字向量。這樣，無論是否包含相同的術語，都可以通過向量數(shù)據(jù)庫查詢相關文本。

高可用性、高性能、能夠使用語義搜索存儲和查詢海量非結構化數(shù)據(jù)的數(shù)據(jù)庫是 RAG 流程的關鍵組成部分。