一、為什么需要混合檢索技術(shù)？

1.1 大語言模型的"幻覺"困境

大語言模型（LLM, Large Language Model）雖然在文本生成和理解方面表現(xiàn)出色，但存在一個(gè)致命缺陷——會產(chǎn)生"幻覺"（Hallucination），即生成看似合理但實(shí)際錯(cuò)誤或無依據(jù)的內(nèi)容。

1.2 檢索增強(qiáng)生成的技術(shù)革新

檢索增強(qiáng)生成（RAG, Retrieval-Augmented Generation）技術(shù)應(yīng)運(yùn)而生，它通過結(jié)合外部知識庫為 LLM 提供事實(shí)依據(jù)。傳統(tǒng) RAG 系統(tǒng)主要采用兩種檢索方式：稀疏檢索（如 BM25 算法）和稠密檢索（如 Sentence Transformers）。

? BM25 算法基于關(guān)鍵詞匹配，就像使用傳統(tǒng)圖書館目錄卡檢索書籍，雖然效率高但無法理解"心臟病"和"心肌梗塞"是同義詞。

? Sentence Transformers 等稠密檢索方法雖然能理解語義關(guān)聯(lián)，但對"COVID-19"這類專業(yè)術(shù)語的精確匹配效果欠佳，就像能理解病癥描述卻找不到準(zhǔn)確的醫(yī)學(xué)術(shù)語。這兩種方法單獨(dú)使用時(shí)都存在明顯局限，無法完全滿足復(fù)雜場景的需求。

1.3 混合檢索的破局之道

研究團(tuán)隊(duì)提出的 Hybrid-RRF 技術(shù)創(chuàng)造性地融合了兩種檢索方式的優(yōu)勢。

? 首先通過查詢擴(kuò)展（QE, Query Expansion）解決"詞匯鴻溝"問題，例如將"汽車"擴(kuò)展為"汽車、機(jī)動車、車輛"等同義詞。

? 其次采用動態(tài)權(quán)重調(diào)節(jié)機(jī)制，像智能調(diào)節(jié)器一樣根據(jù)查詢特性自動優(yōu)化檢索策略——對專業(yè)性強(qiáng)的問題偏向關(guān)鍵詞檢索，對開放性問題偏向語義檢索。

? 最后通過互逆排序融合（RRF, Reciprocal Rank Fusion）算法實(shí)現(xiàn)結(jié)果最優(yōu)整合，類似于學(xué)術(shù)論文評審時(shí)綜合多位專家的意見。

這種混合方法在 HaluBench 基準(zhǔn)測試中展現(xiàn)出顯著優(yōu)勢，將幻覺率降低到傳統(tǒng)方法的 1/3 以下。

二、混合檢索核心技術(shù)解析

2.1 三階段混合架構(gòu)

混合檢索系統(tǒng)采用三階段處理流程（如圖 1 所示），通過分層處理顯著提升檢索質(zhì)量。這種架構(gòu)的設(shè)計(jì)靈感來源于信息檢索領(lǐng)域?qū)_率和召回率的平衡需求，其核心創(chuàng)新點(diǎn)在于將傳統(tǒng)的關(guān)鍵詞搜索與現(xiàn)代語義搜索技術(shù)有機(jī)結(jié)合。

2.1.1 查詢擴(kuò)展模塊

查詢擴(kuò)展(Query Expansion, QE)模塊使用 WordNet 語義網(wǎng)絡(luò)自動豐富原始查詢詞。例如對于查詢詞"car"，系統(tǒng)會擴(kuò)展為["automobile", "vehicle"]等語義相近詞匯。這種擴(kuò)展有效解決了詞匯鴻溝問題（lexical chasm），即用戶查詢用詞與文檔專業(yè)術(shù)語之間的不匹配現(xiàn)象。實(shí)驗(yàn)數(shù)據(jù)顯示，該模塊能使相關(guān)文檔覆蓋率提升 41%，這主要得益于擴(kuò)展后的查詢能覆蓋更多文檔中的同義表達(dá)。

技術(shù)實(shí)現(xiàn)上，系統(tǒng)通過 NLTK 工具包從 WordNet 獲取每個(gè)查詢詞的前 2 個(gè)最相關(guān)同義詞。這種受限擴(kuò)展策略既保證了查詢意圖的完整性，又避免了無關(guān)詞匯引入帶來的噪聲。例如醫(yī)學(xué)查詢"myocardial infarction"可能擴(kuò)展為["heart attack", "cardiac infarction"]，而不會引入不相關(guān)的血管類術(shù)語。

2.1.2 動態(tài)權(quán)重調(diào)節(jié)

系統(tǒng)獨(dú)創(chuàng)的查詢特異性評分(Query Specificity Score, S(q'))算法實(shí)現(xiàn)了檢索策略的智能適配。該評分通過計(jì)算查詢詞的平均 TF-IDF 值來量化查詢的專業(yè)程度：

圖片

基于此評分，系統(tǒng)動態(tài)分配稀疏檢索(RetS)和稠密檢索(RetD)的權(quán)重：

圖片

當(dāng)處理專業(yè)查詢（如醫(yī)學(xué)術(shù)語"EGFR mutation"）時(shí)，系統(tǒng)會賦予 BM25 稀疏檢索更高權(quán)重（約 0.7），因?yàn)檫@類查詢需要精確匹配專業(yè)術(shù)語。

而對于通用查詢（如"如何學(xué)習(xí)編程"），則側(cè)重稠密檢索（權(quán)重約 0.8），以捕捉語義層面的相關(guān)性。

2.1.3 互逆排序融合

系統(tǒng)采用改進(jìn)的加權(quán)互逆排序融合(Weighted Reciprocal Rank Fusion, WRRF)算法整合兩種檢索結(jié)果。

其核心公式為：

圖片

其中 ε=0.00001 用于防止除零錯(cuò)誤。

該算法巧妙地將動態(tài)權(quán)重與排名信息結(jié)合：

1）在兩個(gè)檢索器中都排名靠前的文檔會獲得更高分?jǐn)?shù)

2）專業(yè)查詢中 BM25 的匹配結(jié)果具有更大影響力

3）通用查詢中語義相似的結(jié)果更具優(yōu)勢

例如對于查詢"新能源汽車政策"，某政策文件在 BM25 排名第 2，向量檢索排名第 3，假設(shè)權(quán)重分配為 0.4:0.6，則其 WRRF 得分為：(0.4/(2+0.00001)) + (0.6/(3+0.00001)) ≈ 0.33，這個(gè)加權(quán)分?jǐn)?shù)將決定文檔在最終結(jié)果中的排序位置。

2.2 其他細(xì)節(jié)

系統(tǒng)使用 sentence-transformers/all-mpnet-base-v2 模型生成稠密向量，該模型能有效捕捉長文檔的語義信息。

對于稀疏檢索，采用經(jīng)過優(yōu)化的 BM25 實(shí)現(xiàn)，其詞頻-逆文檔頻率計(jì)算針對專業(yè)語料進(jìn)行了參數(shù)調(diào)優(yōu)。

實(shí)驗(yàn)表明，這種組合在 HaluBench 數(shù)據(jù)集上取得了 0.915 的 NDCG@3 得分，比單一檢索方法提升約 17%。

本項(xiàng)目目前已經(jīng)開源：https://anonymous.4open.science/r/HybridRAG_for_Hallucinations-884F/

3. 效果評估與行業(yè)應(yīng)用

3.1 基準(zhǔn)測試結(jié)果

在 HaluBench 數(shù)據(jù)集（包含 13,867 個(gè)樣本）上的測試表明，混合檢索方法 Hybrid-RRF 顯著優(yōu)于傳統(tǒng)的稀疏檢索（BM25）和稠密檢索（Sentence Transformers）。具體性能對比如下：

圖片

?檢索精度：Hybrid-RRF 的 MAP@3（Mean Average Precision，平均精度均值）達(dá)到 0.897，比稀疏檢索（0.724）和稠密檢索（0.768）分別提升 23.9%和 16.8%；NDCG@3（歸一化折損累積增益）為 0.915，同樣領(lǐng)先于其他方法。

圖片

?幻覺抑制：Hybrid-RRF 將幻覺率降低 73%，效果遠(yuǎn)超稀疏檢索（31%）和稠密檢索（52%）。例如，在醫(yī)療問答場景中，模型因檢索到更準(zhǔn)確的藥品說明書而減少錯(cuò)誤配伍結(jié)論。

圖片

技術(shù)原理上，Hybrid-RRF 通過動態(tài)加權(quán)融合稀疏檢索的關(guān)鍵詞匹配能力（如 BM25 的精確術(shù)語匹配）和稠密檢索的語義理解能力（如 Sentence-BERT 的上下文編碼）。

3.2 跨領(lǐng)域性能

圖片

在專業(yè)領(lǐng)域的測試中，Hybrid-RRF 展現(xiàn)出更強(qiáng)的適應(yīng)性：

1. 醫(yī)療領(lǐng)域（PubMedQA）準(zhǔn)確率達(dá) 92%，比基線提升 19%。例如在 COVID-19 相關(guān)查詢中，通過融合 WHO 報(bào)告（稀疏檢索）和科研論文語義分析（稠密檢索），上下文充足率提升 55%。

2. 金融領(lǐng)域（FinanceBench）術(shù)語檢索拒絕率降低 68%。在"LIBOR 利率計(jì)算"類問題中，混合檢索同時(shí)匹配法規(guī)條文（精確術(shù)語）和行業(yè)分析報(bào)告（語義關(guān)聯(lián)），避免單一檢索模式的局限性。

領(lǐng)域優(yōu)勢源于兩方面機(jī)制：

? 專業(yè)術(shù)語處理：BM25 確保法規(guī)條款等精確匹配，如金融領(lǐng)域的"SEC Form 10-K"。

? 概念關(guān)聯(lián)擴(kuò)展：語義檢索捕捉同義表述，如醫(yī)療中"心肌梗死"與"heart attack"的關(guān)聯(lián)。

本文轉(zhuǎn)載自??大語言模型論文跟蹤??，作者：HuggingAGI