原文： Retrieval Augmented Generation (RAG) and Beyond: A Comprehensive Survey on How to Make your LLMs use External Data More Wisely

每當(dāng)我向非技術(shù)背景的朋友解釋大語(yǔ)言模型時(shí)，我常常用"博學(xué)但缺乏實(shí)踐經(jīng)驗(yàn)的應(yīng)屆生"作比喻。這些模型確實(shí)掌握了海量的知識(shí)，但在特定領(lǐng)域的實(shí)際應(yīng)用中，常常會(huì)暴露出"經(jīng)驗(yàn)不足"的問(wèn)題。就像一位剛畢業(yè)的法學(xué)生，雖然能流暢地背誦法條，但面對(duì)真實(shí)的案件時(shí)可能會(huì)覺(jué)得無(wú)從下手。

微軟亞洲研究院的研究團(tuán)隊(duì)近期發(fā)布的這篇綜述，正是致力于解決這個(gè)"經(jīng)驗(yàn)不足"的問(wèn)題。這篇論文不僅系統(tǒng)地梳理了檢索增強(qiáng)生成(RAG)技術(shù)的發(fā)展脈絡(luò)，更重要的是提供了一個(gè)全新的視角，幫助我們理解和解決大模型在實(shí)際應(yīng)用中遇到的各種挑戰(zhàn)。

為什么簡(jiǎn)單的RAG還不夠用？

讓我們先看一個(gè)真實(shí)的場(chǎng)景。某金融機(jī)構(gòu)嘗試用ChatGPT來(lái)回答客戶的投資咨詢問(wèn)題。為了確保答案的準(zhǔn)確性，他們實(shí)施了一個(gè)基礎(chǔ)的RAG方案：把投資產(chǎn)品說(shuō)明書(shū)、市場(chǎng)分析報(bào)告等文檔接入模型。但實(shí)際效果卻不盡如人意。

當(dāng)客戶問(wèn)"這個(gè)基金適合我嗎？"時(shí)，模型往往會(huì)直接從產(chǎn)品說(shuō)明書(shū)中摘錄風(fēng)險(xiǎn)收益特征。但一個(gè)專業(yè)的投資顧問(wèn)會(huì)怎么做？

他會(huì)先了解客戶的投資目標(biāo)、風(fēng)險(xiǎn)承受能力、投資期限等信息，然后結(jié)合市場(chǎng)環(huán)境和產(chǎn)品特點(diǎn)給出建議。這種專業(yè)的咨詢過(guò)程涉及到復(fù)雜的推理和判斷，遠(yuǎn)非簡(jiǎn)單的文檔檢索所能支持。

理解四個(gè)層次的知識(shí)需求

論文首次系統(tǒng)地定義了RAG應(yīng)用中的四個(gè)層次需求。這個(gè)分層框架源于對(duì)大量實(shí)際應(yīng)用案例的觀察和總結(jié)，讓我們通過(guò)具體例子來(lái)理解每個(gè)層次：

**第一層是顯式事實(shí)查詢。**比如"公司的退休金政策是什么？"這類問(wèn)題只需要從員工手冊(cè)中找到相關(guān)段落即可。這是最基礎(chǔ)的RAG應(yīng)用場(chǎng)景。

**第二層是隱式事實(shí)查詢，需要綜合多個(gè)信息源。**例如"我現(xiàn)在的工資和工齡，五年后能拿到多少退休金？"這就需要檢索并關(guān)聯(lián)多個(gè)政策條款，還要進(jìn)行簡(jiǎn)單的計(jì)算。

**第三層是可解釋推理查詢，要求理解和運(yùn)用專業(yè)的決策流程。**以醫(yī)療診斷為例，醫(yī)生會(huì)遵循"望聞問(wèn)切"的次序，逐步收集信息，形成診斷。模型需要理解并模仿這種專業(yè)的思維過(guò)程。

**第四層是隱性推理查詢，這可能是最接近人類專家直覺(jué)的層次。**比如經(jīng)驗(yàn)豐富的醫(yī)生看到某些癥狀組合，就能聯(lián)想到可能的罕見(jiàn)病因，這種判斷往往基于大量病例經(jīng)驗(yàn)，而非明確的診斷規(guī)則。

走向更智能的RAG解決方案

理解了不同層次的需求，我們就能更有針對(duì)性地設(shè)計(jì)解決方案。

對(duì)于第一層的顯式事實(shí)查詢，傳統(tǒng)的RAG方案其實(shí)已經(jīng)夠用，但在工程實(shí)現(xiàn)上還有優(yōu)化空間。比如文檔切分的策略就很關(guān)鍵。如果切分得太細(xì)，可能會(huì)丟失上下文信息；切分得太粗，又會(huì)引入無(wú)關(guān)信息。一個(gè)實(shí)用的做法是根據(jù)文檔的邏輯結(jié)構(gòu)來(lái)切分，比如保持完整的段落或章節(jié)，而不是機(jī)械地按字?jǐn)?shù)切分。

對(duì)于第二層的隱式事實(shí)查詢，核心挑戰(zhàn)是如何讓模型"主動(dòng)"獲取必要信息。迭代式RAG是一個(gè)有效的解決方案：模型先基于初始問(wèn)題檢索一部分信息，發(fā)現(xiàn)信息不足時(shí)，自動(dòng)形成新的檢索請(qǐng)求，直到收集足夠的信息才給出最終答案。

在處理第三層的可解釋推理查詢時(shí)，"提示調(diào)優(yōu)"顯示出獨(dú)特優(yōu)勢(shì)。以醫(yī)療問(wèn)診為例，我們可以設(shè)計(jì)這樣的提示模板：

1. 請(qǐng)先詳細(xì)了解患者的主訴和癥狀；
2. 根據(jù)癥狀有針對(duì)性地詢問(wèn)病史；
3. 建議必要的檢查；
4. 結(jié)合所有信息作出初步診斷；
5. 制定治療方案。

這種結(jié)構(gòu)化的提示能有效引導(dǎo)模型遵循專業(yè)的診療規(guī)范。

第四層的隱性推理查詢最具挑戰(zhàn)性，因?yàn)槲覀円屇Ｐ蛯W(xué)習(xí)專家的"直覺(jué)"。一個(gè)可行的方案是構(gòu)建特定領(lǐng)域的案例庫(kù)，并通過(guò)精心設(shè)計(jì)的標(biāo)注來(lái)捕捉專家的判斷依據(jù)。

比如在醫(yī)療領(lǐng)域，除了記錄最終診斷，還要讓專家解釋為什么會(huì)想到這個(gè)診斷，看到了哪些關(guān)鍵線索。這些解釋可以幫助模型學(xué)習(xí)專家的思維模式。

總結(jié)

這篇綜述不僅梳理了當(dāng)前RAG技術(shù)的現(xiàn)狀，也為未來(lái)發(fā)展指明了方向。一個(gè)明顯的趨勢(shì)是，RAG正在從單純的知識(shí)檢索，向知識(shí)的結(jié)構(gòu)化表達(dá)和專業(yè)化推理演進(jìn)。

未來(lái)的RAG系統(tǒng)可能會(huì)更像一個(gè)"數(shù)字學(xué)徒"，不斷從與人類專家的互動(dòng)中學(xué)習(xí)和改進(jìn)。它不僅要會(huì)查資料，還要學(xué)會(huì)專家思考問(wèn)題的方式。

本文轉(zhuǎn)載自 ??芝士AI吃魚(yú)??，作者： 芝士AI吃魚(yú)