譯者 | 核子可樂(lè)

審校 | 重樓

檢索增強(qiáng)生成（RAG）是一種將語(yǔ)言模型與外部知識(shí)源結(jié)合的AI系統(tǒng)構(gòu)建方法。簡(jiǎn)單來(lái)說(shuō)，AI會(huì)先搜索與用戶查詢相關(guān)的文檔（如文章或網(wǎng)頁(yè)），然后利用這些文檔生成更準(zhǔn)確的答案。這種方法因能幫助大語(yǔ)言模型（LLM）扎根真實(shí)數(shù)據(jù)、減少虛構(gòu)信息而受到推崇。

直觀上，人們往往認(rèn)為AI檢索的文檔越多，答案就越準(zhǔn)確。然而最新研究表明，在向AI提供信息時(shí)，有時(shí)"少即是多"反而才是正解。

更少文檔，更優(yōu)答案

耶路撒冷希伯來(lái)大學(xué)的研究團(tuán)隊(duì)探索了文檔數(shù)量對(duì)RAG系統(tǒng)性能的影響。關(guān)鍵實(shí)驗(yàn)設(shè)計(jì)在于保持總文本量恒定——當(dāng)減少文檔數(shù)量時(shí)，研究者會(huì)擴(kuò)展剩余文檔的篇幅，使總長(zhǎng)度與多文檔方案保持一致。這種設(shè)計(jì)確保性能差異僅歸因于文檔數(shù)量，而非輸入長(zhǎng)度。

研究人員使用包含常識(shí)問(wèn)題的MuSiQue數(shù)據(jù)集，每個(gè)問(wèn)題原本配有20段維基百科文本（其中僅少數(shù)包含答案，其余為干擾項(xiàng)）。通過(guò)從20段精簡(jiǎn)到僅保留2-4段核心相關(guān)文檔，并補(bǔ)充額外上下文保持總長(zhǎng)度一致，他們創(chuàng)造了AI需要處理的文檔更少但總閱讀量相同的場(chǎng)景。

實(shí)驗(yàn)結(jié)果令人驚訝：在多數(shù)情況下，當(dāng)AI僅獲得少量文檔時(shí)，答案準(zhǔn)確性反而更高。某些情況下，使用少數(shù)支持文檔的系統(tǒng)準(zhǔn)確率（F1得分）比使用全量文檔提升多達(dá)10%。這種反直覺(jué)的改進(jìn)在多個(gè)開源語(yǔ)言模型（包括Meta的Llama變體等）中均有體現(xiàn)，表明該現(xiàn)象并非特定于某個(gè)模型。

例外情況出現(xiàn)在Qwen-2模型上，它在處理多文檔時(shí)未出現(xiàn)性能下降，但幾乎所有被測(cè)模型在文檔減少后整體表現(xiàn)更優(yōu)。換言之，在核心相關(guān)文檔之外增加更多參考資料，更多時(shí)候會(huì)損害而非提升性能。

為什么結(jié)果與直覺(jué)感受相反？傳統(tǒng)上，RAG系統(tǒng)默認(rèn)信息越多則AI得出的答案越準(zhǔn)確——畢竟若前幾份文檔未包含答案，添加更多文檔應(yīng)該會(huì)有所幫助。

但此項(xiàng)研究反轉(zhuǎn)了這一假設(shè)。哪怕是在文本總長(zhǎng)度保持不變的前提下，文檔數(shù)量越多則會(huì)令A(yù)I越是疲于應(yīng)對(duì)。似乎在超過(guò)某個(gè)臨界點(diǎn)后，每個(gè)額外文檔引入的信號(hào)更多、導(dǎo)致模型混亂，并最終削弱了它提取正確答案的能力。

為何RAG中“少即是多”？

這種"少即是多"的結(jié)果可通過(guò)AI語(yǔ)言模型的信息處理方式解釋。當(dāng)AI僅獲得最相關(guān)文檔時(shí)，其處理的上下文更聚焦且無(wú)干擾，類似于學(xué)生只拿到關(guān)鍵學(xué)習(xí)材料。

研究中，模型在僅保留支持文檔（移除無(wú)關(guān)材料）時(shí)表現(xiàn)顯著提升。剩余內(nèi)容不僅更簡(jiǎn)短且更純凈——僅包含直接指向答案的事實(shí)。需要處理的文檔減少后，模型能更專注地分析關(guān)鍵信息，降低分心或混淆的可能性。

相反，當(dāng)檢索大量文檔時(shí)，AI需要篩選相關(guān)與無(wú)關(guān)的雜糅內(nèi)容。這些額外文檔往往是"相似但無(wú)關(guān)"——可能與查詢擁有相同的主題或關(guān)鍵詞，但實(shí)際不包含答案。此類內(nèi)容可能誤導(dǎo)模型：AI可能徒勞地在無(wú)關(guān)文檔間建立聯(lián)系，或更糟的是錯(cuò)誤融合多源信息，增加生成虛構(gòu)信息的風(fēng)險(xiǎn)——即答案看似合理卻無(wú)事實(shí)依據(jù)。

本質(zhì)上，向模型輸入過(guò)多文檔會(huì)稀釋有效信息并引入矛盾細(xì)節(jié)，使AI更難判斷事實(shí)。

有趣的是，研究人員發(fā)現(xiàn)如果額外文檔明顯無(wú)關(guān)（如隨機(jī)無(wú)關(guān)文本），模型更善于忽略它們。真正的問(wèn)題源于看似相關(guān)的干擾信息：當(dāng)所有檢索文本主題相似時(shí)，AI會(huì)假設(shè)都需要使用，卻難以辨別重要細(xì)節(jié)。這與研究中觀察到的現(xiàn)象一致——隨機(jī)干擾項(xiàng)造成的混淆小于真實(shí)干擾項(xiàng)。AI能過(guò)濾明顯謬誤，但微妙偏離主題的信息更具迷惑性——它們以相關(guān)性為偽裝，導(dǎo)致答案偏離。通過(guò)僅保留必要文檔，可從源頭避免這類陷阱。

這一發(fā)現(xiàn)還擁有實(shí)際效益：檢索和處理更少文檔能降低RAG系統(tǒng)的計(jì)算開銷。每份文檔都需要分析（嵌入、閱讀和注意力分配），消耗時(shí)間和計(jì)算資源。減少冗余文檔可提升系統(tǒng)效率——更快且更低成本地找到答案。

重新審視RAG：未來(lái)方向

這項(xiàng)關(guān)于"質(zhì)勝于量"的新證據(jù)，對(duì)依賴外部知識(shí)的AI系統(tǒng)未來(lái)具有重要影響。這表明RAG系統(tǒng)設(shè)計(jì)者應(yīng)優(yōu)先進(jìn)行智能過(guò)濾和文檔排序，而非追求數(shù)量。與其檢索100段可能包含答案的文本，不如僅獲取少數(shù)高度相關(guān)的文檔。

研究團(tuán)隊(duì)強(qiáng)調(diào)，檢索方法需要"在信息供給的相關(guān)性與多樣性之間取得平衡"。即需覆蓋足夠主題以回答問(wèn)題，但避免核心事實(shí)被無(wú)關(guān)文本淹沒(méi)。

未來(lái)，研究人員可能探索幫助AI模型更優(yōu)雅處理多文檔的技術(shù)。一個(gè)方向是開發(fā)更優(yōu)質(zhì)的檢索系統(tǒng)或重排器，識(shí)別真正有價(jià)值的文檔并剔除沖突源。另一個(gè)角度是改進(jìn)語(yǔ)言模型本身：既然Qwen-2模型能在多文檔中保持準(zhǔn)確性，分析其訓(xùn)練或結(jié)構(gòu)特點(diǎn)，可為提升其他模型健壯性提供線索。未來(lái)的大型語(yǔ)言模型或許能內(nèi)置機(jī)制，識(shí)別不同來(lái)源的信息一致性或矛盾性，并據(jù)此調(diào)整關(guān)注重點(diǎn)，最終在利用豐富信息源的同時(shí)避免混淆——實(shí)現(xiàn)信息廣度與焦點(diǎn)清晰的兼顧。

換句話說(shuō)，隨著AI系統(tǒng)上下文窗口擴(kuò)大（即單次讀取更多文本的能力），簡(jiǎn)單填充更多數(shù)據(jù)并非萬(wàn)能解藥。更大的上下文不等于更好的理解。本研究表明，即使AI能讀取50頁(yè)文本，輸入50頁(yè)混雜信息也可能效果不佳。模型仍受益于精選相關(guān)內(nèi)容，而非無(wú)差別信息堆砌。事實(shí)上，在巨型上下文窗口時(shí)代，智能檢索可能愈發(fā)關(guān)鍵——確保額外容量用于吸收有價(jià)值的知識(shí)，而非噪音。

《更多文檔，相同長(zhǎng)度（More Documents, Same Length）》論文的發(fā)現(xiàn)，促使我們重新審視AI研究中的假設(shè)。有時(shí)，向AI提供全部數(shù)據(jù)的效果并不如預(yù)期。通過(guò)聚焦最相關(guān)信息，我們不僅能提升AI答案的準(zhǔn)確性，還能讓系統(tǒng)更高效、更值得信賴。這個(gè)反直覺(jué)的結(jié)論具有令人興奮的啟示：未來(lái)的RAG系統(tǒng)可能通過(guò)精心選擇更少但更優(yōu)的文檔，變得更加智能且精簡(jiǎn)。

原文標(biāo)題：Less Is More: Why Retrieving Fewer Documents Can Improve AI Answers，作者：Alex McFarland