讓DeepSeek更可靠!清華提出Hyper-RAG,用超圖提升知識(shí)建模精準(zhǔn)度
大語(yǔ)言模型(Large Language Models, LLMs)在面對(duì)專(zhuān)業(yè)領(lǐng)域知識(shí)問(wèn)題的時(shí)候,經(jīng)常會(huì)生成偏離既定事實(shí)的回復(fù),或模糊不清的回答,從而帶來(lái)了潛在應(yīng)用風(fēng)險(xiǎn)。
檢索增強(qiáng)生成(Retrieval-Augmented Generation, RAG)通過(guò)構(gòu)建特定領(lǐng)域知識(shí)庫(kù),采用基于向量的檢索技術(shù)來(lái)提取與給定查詢(xún)相關(guān)的信息,從而使LLM能夠生成更準(zhǔn)確、更可靠的內(nèi)容。
然而,現(xiàn)有的基于圖的RAG方法受限于僅能表示實(shí)體之間的成對(duì)關(guān)聯(lián),無(wú)法表示那些更復(fù)雜的多實(shí)體間的群組高階關(guān)聯(lián),導(dǎo)致數(shù)據(jù)結(jié)構(gòu)化過(guò)程中這些高階信息的丟失。
為了解決這一難點(diǎn),清華大學(xué)、西安交通大學(xué)等提出Hyper-RAG:一種超圖驅(qū)動(dòng)的檢索增強(qiáng)生成方法。
Hyper-RAG將超圖表征融入RAG中,通過(guò)超圖捕獲原始數(shù)據(jù)中的成對(duì)低階關(guān)聯(lián)和群組高階關(guān)聯(lián),從而最大限度減少領(lǐng)域知識(shí)結(jié)構(gòu)化帶來(lái)的信息損失,提高生成響應(yīng)的準(zhǔn)確性和可靠性,可以作為醫(yī)療診斷金融分析等高可靠需求應(yīng)用的有利支撐。
在神經(jīng)科學(xué)任務(wù)上對(duì)六種LLMs進(jìn)行的實(shí)驗(yàn)表明,Hyper-RAG相比于直接使用LLM,其準(zhǔn)確率平均提升了12.3%,比GraphRAG和LightRAG分別高出6.3%和6.0%。
此外,Hyper-RAG在查詢(xún)問(wèn)題復(fù)雜性增加的情況下仍能保持穩(wěn)定性能,而現(xiàn)有方法的性能則有所下降;其輕量級(jí)變體Hyper-RAG-Lite在檢索速度上達(dá)到了Light RAG的兩倍,并且性能提升了3.3%。
論文地址:https://arxiv.org/abs/2504.08758
Github倉(cāng)庫(kù):https://github.com/iMoonLab/Hyper-RAG
Hyper-RAG集成系統(tǒng)
超圖驅(qū)動(dòng)的本地檢索增強(qiáng)大模型
超圖本地知識(shí)庫(kù)可視化系統(tǒng)
RAG困境
現(xiàn)有基于知識(shí)結(jié)構(gòu)化的RAG方法,如Graph RAG和Light RAG,利用圖結(jié)構(gòu)來(lái)表示特定領(lǐng)域文本中的關(guān)系信息。
然而,基于圖的方法僅限于成對(duì)關(guān)系,限制了其捕捉復(fù)雜互連的能力,如下圖所示,在敘事故事中,雖然圖可以有效地模擬人物之間錯(cuò)綜復(fù)雜的相關(guān)關(guān)系,但卻不足以表示涉及多個(gè)人物同時(shí)互動(dòng)的事件。
在敘事故事中,雖然圖可以有效地模擬人物之間錯(cuò)綜復(fù)雜的關(guān)聯(lián),但卻不足以表示涉及多個(gè)人物同時(shí)互動(dòng)的事件。在構(gòu)建知識(shí)圖譜的過(guò)程中,通常會(huì)丟失這些超出成對(duì)相關(guān)的關(guān)聯(lián),從而導(dǎo)致信息的損失。
相比之下,超圖能夠?qū)Χ鄠€(gè)數(shù)據(jù)點(diǎn)之間的高階關(guān)聯(lián)(及以上)進(jìn)行建模,提供了更全面的領(lǐng)域知識(shí)表示。
研究人員探討了基于超圖的RAG技術(shù),以實(shí)現(xiàn)關(guān)鍵知識(shí)的全面覆蓋。通過(guò)整合基于超圖的結(jié)構(gòu),大型語(yǔ)言模型能夠更好地減輕與關(guān)鍵信息相關(guān)的幻覺(jué)現(xiàn)象,從而增強(qiáng)其在專(zhuān)業(yè)領(lǐng)域輸出的可靠性和準(zhǔn)確性。
超圖建模索引
下圖舉例說(shuō)明了如何從原始語(yǔ)料中提取實(shí)體、低階關(guān)聯(lián)和高階關(guān)聯(lián)。可以看出,加入高階關(guān)聯(lián)可確保更全面地檢索相關(guān)信息。與此相反,如果使用傳統(tǒng)圖,則僅提取成對(duì)相關(guān)性,會(huì)導(dǎo)致潛在的信息丟失,從而導(dǎo)致大模型產(chǎn)生幻覺(jué)。
方法概述
為了減少LLM的幻覺(jué),Hyper-RAG將超圖建模納入RAG框架,利用超圖來(lái)捕捉錯(cuò)綜復(fù)雜的多方面相關(guān)性。
具體來(lái)說(shuō),首先,從原始數(shù)據(jù)集中提取實(shí)體,作為超圖中的節(jié)點(diǎn)。隨后,這些實(shí)體之間的低階和高階關(guān)聯(lián)會(huì)被識(shí)別和整合,從而構(gòu)建一個(gè)基于超圖的知識(shí)庫(kù)。
在查詢(xún)階段,首先從輸入查詢(xún)中提取關(guān)鍵實(shí)體,然后利用超圖結(jié)構(gòu)從知識(shí)庫(kù)中檢索相關(guān)的先驗(yàn)語(yǔ)料信息。
知識(shí)索引
在Hyper-RAG中,語(yǔ)料庫(kù)數(shù)據(jù)可以包含各種類(lèi)型的文檔,包括書(shū)籍、手冊(cè)、報(bào)告和其他相關(guān)文本。首先對(duì)原始文檔進(jìn)行預(yù)處理,并將其劃分為大小一致的chunk,從而形成語(yǔ)料庫(kù)集合:
隨后,使用文檔結(jié)構(gòu)函數(shù)Φ從語(yǔ)料庫(kù)中提取結(jié)構(gòu)信息,從而得到超圖G。
其中,v表示不同元素實(shí)體的集合,分別表示實(shí)體間的低階和高階關(guān)聯(lián)。
檢索增強(qiáng)
在查詢(xún)環(huán)節(jié)給定一個(gè)查詢(xún)q,首先提取兩組不同的關(guān)鍵詞集合:實(shí)體關(guān)鍵詞
(基本組件)和關(guān)聯(lián)關(guān)鍵詞(復(fù)雜的相互依賴(lài)關(guān)系),如下所示:
其中,是用于從輸入問(wèn)題中提取關(guān)鍵字的提示詞。隨后,基于這兩類(lèi)提取的關(guān)鍵詞,從超圖數(shù)據(jù)庫(kù)中檢索相關(guān)信息。
值得注意的是,實(shí)體關(guān)鍵字檢索的目標(biāo)是頂點(diǎn),而關(guān)聯(lián)關(guān)鍵字檢索的目標(biāo)是超邊。出現(xiàn)這種區(qū)別是因?yàn)閷?shí)體關(guān)鍵字主要描述單個(gè)實(shí)體,使頂點(diǎn)成為合適的檢索對(duì)象。
相反,相關(guān)性關(guān)鍵詞描述的是抽象信息,通常涉及多個(gè)實(shí)體之間的關(guān)系,因此需要超邊作為檢索目標(biāo)。
對(duì)于實(shí)體信息檢索,通過(guò)擴(kuò)散實(shí)體對(duì)應(yīng)的超邊作為補(bǔ)充信息,對(duì)于關(guān)聯(lián)信息檢索,通過(guò)擴(kuò)散超邊對(duì)應(yīng)的實(shí)體作為補(bǔ)充信息:
通過(guò)超圖知識(shí)庫(kù)進(jìn)行一步擴(kuò)散,獲得與這些實(shí)體相關(guān)的超邊/超邊相關(guān)的節(jié)點(diǎn)作為補(bǔ)充信息。
隨后將頂點(diǎn)相關(guān)和超邊相關(guān)的信息合并送給大模型以獲得可靠知識(shí)補(bǔ)充,生成LLM對(duì)查詢(xún)的回答。
實(shí)驗(yàn)結(jié)果
研究人員在9個(gè)不同領(lǐng)域數(shù)據(jù)集上(神經(jīng)科學(xué)、病理學(xué)、數(shù)學(xué)、物理學(xué)、法律、藝術(shù)等),采用了6個(gè)不同大模型,2種不同評(píng)估策略,多維評(píng)價(jià)指標(biāo)進(jìn)行了實(shí)驗(yàn)驗(yàn)證。
基于打分的評(píng)估
在NeurologyCrop數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,Hyper-RAG的性能優(yōu)于直接應(yīng)用LLM,平均提高了12.3%;此外,與GraphRAG和LightRAG相比,Hyper-RAG的性能分別提高了6.3%和6.0%。
當(dāng)通過(guò)引入嵌套,即一個(gè)問(wèn)題后接另一個(gè)問(wèn)題以增加復(fù)雜性,如下表所示。隨著問(wèn)題難度的增加,現(xiàn)有的LLM和基于RAG的方法的性能顯著下降。相比之下,Hyper-RAG 保持了穩(wěn)定的性能水平。
具體來(lái)說(shuō),隨著問(wèn)題難度的增加,Hyper-RAG與直接使用LLM相比,性能提高了12.7%到15%。這些結(jié)果證實(shí)了基于超圖的全面信息表示的優(yōu)越性。
對(duì)于簡(jiǎn)單的查詢(xún),直接來(lái)自大型語(yǔ)言模型的回答或簡(jiǎn)單的成對(duì)(即低階)關(guān)聯(lián)可能已足夠。
然而,隨著查詢(xún)變得更加復(fù)雜,復(fù)雜的高階關(guān)聯(lián)的可用性對(duì)于約束和豐富模型的輸出變得至關(guān)重要,這一實(shí)驗(yàn)趨勢(shì)強(qiáng)調(diào)了開(kāi)發(fā)基于超圖的結(jié)構(gòu)表示和檢索方法,以應(yīng)對(duì)日益復(fù)雜的問(wèn)題所帶來(lái)的挑戰(zhàn)的重要性。
基于選擇的評(píng)估
為了進(jìn)一步驗(yàn)證Hyper-RAG,本文將實(shí)驗(yàn)擴(kuò)展到跨越多個(gè)領(lǐng)域的九個(gè)不同語(yǔ)料庫(kù)數(shù)據(jù)集。
在這些數(shù)據(jù)集中,Hyper-RAG的性能始終優(yōu)于傳統(tǒng)的基于圖的方法Light RAG,在使用基于選擇的評(píng)估方法對(duì)性能進(jìn)行評(píng)估時(shí),Hyper-RAG的平均性能提高了35.5%。
效率分析
這里進(jìn)一步評(píng)估了從數(shù)據(jù)庫(kù)本地檢索獲取相關(guān)知識(shí)和構(gòu)建先驗(yàn)知識(shí)提示所需的時(shí)間。
作者開(kāi)發(fā)了Hyper-RAG的輕量級(jí)變體,Hyper-RAG-lite,它保留了實(shí)體檢索的基本增強(qiáng)功能。
可以看出,Hyper-RAG和Hyper-RAG-lite都位于圖的左上角附近,這表明這些方法在速度和性能方面都優(yōu)于其他方法。
總結(jié)
Hyper-RAG通過(guò)利用超圖對(duì)原始數(shù)據(jù)進(jìn)行更加全面且結(jié)構(gòu)化的知識(shí)表示,最大程度地減少信息丟失并降低大型語(yǔ)言模型的幻覺(jué)現(xiàn)象。
與現(xiàn)有的基于圖的RAG方法相比,Hyper-RAG在多個(gè)不同領(lǐng)域的數(shù)據(jù)集上表現(xiàn)出更優(yōu)異的性能,能夠有效捕捉復(fù)雜的多實(shí)體群組高階關(guān)系,從而提升生成內(nèi)容的準(zhǔn)確性和可靠性。
研究表明,Hyper-RAG在增強(qiáng)LLM的可靠性和減少不準(zhǔn)確輸出方面具有顯著優(yōu)勢(shì),能夠更好地應(yīng)對(duì)輸出內(nèi)容不可靠帶來(lái)的挑戰(zhàn)。