傳統(tǒng)的大型語言模型 (LLM)存在上下文長度限制，這限制了單次用戶與模型交互中處理的信息量，這是其主要局限性之一。解決這一限制一直是 LLM 開發(fā)社區(qū)的主要工作方向之一，提高了人們對增加上下文長度在生成更連貫、更準(zhǔn)確響應(yīng)方面優(yōu)勢的認(rèn)識。例如，2020 年發(fā)布的 GPT-3 上下文長度為 2048 個 token，而其更年輕但功能更強大的兄弟 GPT-4 Turbo（誕生于 2023 年）允許在單個提示中處理高達 128K 個 token。毋庸置疑，這相當(dāng)于能夠在一次交互中處理整本書，例如，對其進行總結(jié)。

另一方面，檢索增強生成 (RAG)會整合來自檢索文檔（通常是向量數(shù)據(jù)庫）的外部知識，以增強 LLM 輸出的上下文和相關(guān)性。然而，在 RAG 系統(tǒng)中管理上下文長度仍然是一個挑戰(zhàn)，因為在某些需要大量上下文信息的場景中，需要對檢索到的信息進行有效的選擇和匯總，以使其保持在 LLM 的輸入限制以下，同時又不丟失必要的知識。

RAG 中的長上下文管理策略

RAG 系統(tǒng)有多種策略，可以在將初始用戶查詢傳遞給 LLM 之前，盡可能多地整合檢索到的相關(guān)知識，同時又不超出模型的輸入限制。以下概述了其中四種策略，從最簡單到最復(fù)雜。

1. 文檔分塊

文檔分塊通常是最簡單的策略，它專注于將向量數(shù)據(jù)庫中的文檔拆分成更小的塊。雖然乍一看可能不太明顯，但該策略有助于通過多種方式克服 RAG 系統(tǒng)內(nèi) LLM 的上下文長度限制，例如，在保持塊內(nèi)上下文完整性的同時，降低檢索冗余信息的風(fēng)險。

2.選擇性檢索

選擇性檢索是指對大量相關(guān)文檔應(yīng)用過濾過程，僅檢索最相關(guān)的部分，從而縮小傳遞給 LLM 的輸入序列的大小。通過智能地過濾檢索到的文檔中需要保留的部分，其目標(biāo)是避免包含不相關(guān)或無關(guān)的信息。

3. 有針對性的檢索

雖然與選擇性檢索類似，但定向檢索的本質(zhì)是帶著非常具體的意圖或最終響應(yīng)來檢索數(shù)據(jù)。這是通過針對特定類型的查詢或數(shù)據(jù)源優(yōu)化檢索器機制來實現(xiàn)的，例如，構(gòu)建專門用于醫(yī)學(xué)文本、新聞文章、最新科學(xué)突破等的檢索器。簡而言之，它構(gòu)成了一種進化且更專業(yè)的選擇性檢索形式，并在循環(huán)中加入了特定領(lǐng)域的標(biāo)準(zhǔn)。

4. 上下文摘要

上下文摘要是 RAG 系統(tǒng)中一種更復(fù)雜的上下文長度管理方法，我們在構(gòu)建最終上下文的過程中應(yīng)用文本摘要技術(shù)。一種可行的方法是使用一個額外的語言模型（通常規(guī)模較小，且經(jīng)過摘要任務(wù)訓(xùn)練），用于對檢索到的大量文檔進行摘要。摘要任務(wù)可以是提取式的，也可以是抽象式的。提取式識別并提取相關(guān)的文本段落，抽象式從頭生成摘要，對原始文本塊進行重新表述和精簡。此外，一些 RAG 解決方案使用啟發(fā)式方法來評估文本片段（例如文本塊）的相關(guān)性，并丟棄相關(guān)性較低的文本塊。

長上下文語言模型

那么長上下文LLM怎么樣？這樣就夠了，不需要RAG了？

這是一個需要解決的重要問題。長上下文LLM（LC-LLM）是“超大型”LLM，能夠接受非常長的輸入標(biāo)記序列。盡管研究證據(jù)表明LC-LLM的性能通常優(yōu)于RAG系統(tǒng)，但后者仍然具有獨特的優(yōu)勢，尤其是在需要動態(tài)實時信息檢索和成本效益的場景中。在這些應(yīng)用中，值得考慮使用封裝在采用上述策略的RAG系統(tǒng)中的小型LLM，而不是LC-LLM。它們都不是萬能的解決方案，它們都能在各自適用的特定環(huán)境中具有優(yōu)勢。

小結(jié)

本文介紹并闡述了在 RAG 系統(tǒng)中管理上下文長度的四種策略，以及在此類系統(tǒng)中的 LLM 在單用戶交互中可接受的輸入長度可能存在限制的情況下處理長上下文的策略。雖然使用所謂的長上下文 LLM 近年來已成為克服此問題的趨勢，但在某些情況下，堅持使用 RAG 系統(tǒng)可能仍然是值得的，尤其是在需要實時更新上下文的動態(tài)信息檢索場景中。