編者按：傳統(tǒng)的檢索增強生成（RAG）技術(shù)在處理需要深入理解實體關系的問題時常常力不從心，那么有什么新的技術(shù)可以突破這一限制嗎？

本文深入探討了 GraphRAG 技術(shù)，這一創(chuàng)新方案通過將非結(jié)構(gòu)化文本轉(zhuǎn)化為結(jié)構(gòu)化知識圖譜，巧妙地解決了上述難題。GraphRAG 能顯著提升 AI 系統(tǒng)理解和回答復雜問題的能力，尤其在跨時代、跨學科的問題上表現(xiàn)出色。

作者也指出了實施 GraphRAG 面臨的挑戰(zhàn)，包括知識圖譜構(gòu)建的復雜性、可擴展性問題以及維護成本等。但它無疑為 AI 對話系統(tǒng)開辟了一條新的發(fā)展道路，我們有理由期待未來的AI助手能夠更智能、更可靠地回答各種復雜問題，為用戶提供更高質(zhì)量的交互體驗。

作者 | Rendy Dalimunthe

編譯 | 岳揚

開發(fā)一個能夠處理真實問題并給出精準回答的聊天機器人，實屬不易。盡管大語言模型已取得重大進展，但如何將這些模型與知識庫結(jié)合起來，提供可靠且上下文信息豐富的答案，仍是一個待解的難題。

Photo by Google DeepMind[1] on Unsplash[2]

關鍵問題通常在于模型的“幻覺”現(xiàn)象——即產(chǎn)生錯誤或不存在的信息，以及模型在理解信息間微妙關系時的上下文把握能力不足。盡管有一些人嘗試構(gòu)建強大穩(wěn)固的問答系統(tǒng)，但往往模型給出的答案不盡人意，即使它們接入的是內(nèi)容全面的知識庫，也難以成功。

RAG 技術(shù)可以將生成的模型響應與現(xiàn)實世界的數(shù)據(jù)聯(lián)系起來，從而有效減少了“幻覺”現(xiàn)象，但要準確回答復雜問題仍是挑戰(zhàn)重重。 即便知識庫中其實包含了相關信息，只是不那么顯而易見，用戶還是常會遇到諸如“xx主題在檢索文本中未被明確提及”的回復。在這種情況下，GraphRAG（Graph Retrieval-Augmented Generation）技術(shù)就派上用場了，它通過利用結(jié)構(gòu)化的知識圖譜，極大地提高了模型提供精確且具有豐富上下文信息答案的能力。

01 RAG：檢索與生成的橋梁

RAG 技術(shù)是將基于檢索的方法和基于生成的方法的優(yōu)點結(jié)合起來的重要一步。面對用戶提問，RAG 能夠從龐大的語料庫中檢索到相關的文檔或段落，并據(jù)此生成答案。因此，我們可以確信，基于實據(jù)數(shù)據(jù)生成的文本既信息豐富又切合上下文。

以“法國的首都是什么？”這樣的簡單問題為例，RAG 系統(tǒng)會在其語料庫中尋找涉及法國及其首都巴黎的信息，檢索到相關內(nèi)容后，生成答案：“法國的首都是巴黎?！边@種方法非常適合處理簡單問題，并能提供清晰明確的答案。

然而，當遇到更復雜的問題，尤其是那些需要理解實體間關系，而這些關系在檢索到的文檔中并未明確表述時，RAG 的表現(xiàn)就不盡如人意了。 例如，面對“17 世紀的科學成就如何影響 20 世紀初的物理學？”這樣的問題，RAG 系統(tǒng)往往難以給出滿意的答案。（關于這個問題的例子，我們稍后還會進一步討論。）

02 GraphRAG：發(fā)揮知識圖譜的潛能

正如 Microsoft Research 博客[3]首次提出 GraphRAG 時概述的那樣，GraphRAG 的目標是通過整合基于知識圖譜的檢索方法來克服前文描述的這些限制。簡而言之，它將知識庫中的非結(jié)構(gòu)化文本轉(zhuǎn)換成結(jié)構(gòu)化的知識圖譜，在這個知識圖譜中，節(jié)點表示實體（比如人物、地點、概念等），而邊則表示實體間的相互關系。這種結(jié)構(gòu)化的方式使得模型能夠更有效地理解和運用不同信息間的內(nèi)在聯(lián)系。

Photo by Alina Grubnyak[4] on Unsplash[2]

接下來，讓我們更細致地探討 GraphRAG 的概念，并通過與 RAG 的對比，以易于理解的方式來揭示其工作原理。

首先，我們設想一個由各種科學和歷史文獻中的句子構(gòu)成的知識庫，內(nèi)容如下：

1. “阿爾伯特·愛因斯坦提出了相對論，這一理論顛覆了理論物理學和天文學?！?/li>
2. “相對論提出于 20 世紀初期，它極大地深化了我們對宇宙空間和時間本質(zhì)的理解?！?/li>
3. “以運動定律和萬有引力定律著稱的牛頓為經(jīng)典力學奠定了基礎?！?/li>
4. “1915 年，愛因斯坦在原有狹義相對論的基礎上，進一步提出了廣義相對論。”
5. “牛頓在 17 世紀的研究成果，為現(xiàn)代物理學的發(fā)展打下了堅實的基礎?！?/li>

在 RAG 系統(tǒng)中，上述句子將作為非結(jié)構(gòu)化文本存儲。例如，當詢問“17 世紀的科學成就如何影響 20 世紀初的物理學？”時，如果文檔的內(nèi)容和檢索質(zhì)量不能將 17 世紀的影響與 20 世紀早期的物理學直接聯(lián)系起來，系統(tǒng)就會陷入困境。它可能只能提供如下答案：“牛頓在 17 世紀的研究工作為現(xiàn)代物理學的大部分內(nèi)容奠定了基礎。阿爾伯特·愛因斯坦在 20 世紀初提出了相對論?！边@是因為 RAG 能夠檢索到相關信息，但卻難以清晰地闡釋 17 世紀物理學對 20 世紀初物理學發(fā)展的具體影響。

與此相反，GraphRAG 將這些文本轉(zhuǎn)換成結(jié)構(gòu)化的知識圖譜。知識圖譜展現(xiàn)了不同實體間的相互關系，并通過一套規(guī)則來組織信息，這樣就能揭示出那些不那么明顯的聯(lián)系。

借助 GraphRAG 系統(tǒng)，先前的知識庫將轉(zhuǎn)變?yōu)橐唤M節(jié)點和邊的關系，具體如下。

面對“17世紀的科學成就如何影響20世紀初的物理學？”這一問題，基于 GraphRAG 的檢索器能夠追溯從牛頓的理論到愛因斯坦的成就之間的演變，清晰地展示了 17 世紀物理學對 20 世紀初物理學發(fā)展的深刻影響。這種結(jié)構(gòu)化的信息檢索使得答案不僅內(nèi)容豐富，而且精確到位：“牛頓在 17 世紀提出的運動定律和萬有引力定律，為經(jīng)典力學的發(fā)展奠定了基石。這些基本原理對阿爾伯特·愛因斯坦在 20 世紀初發(fā)展相對論產(chǎn)生了重要影響，相對論進一步拓展了我們對宇宙空間和時間的認識?！?/p>

GraphRAG 通過運用結(jié)構(gòu)化知識圖譜，提升了模型處理復雜問題的能力，并通過提供明確定義的關系作為答案的基礎，降低了產(chǎn)生“幻覺”的可能性。 這種做法實質(zhì)上使得 GraphRAG 在開發(fā)更可靠、更智能的對話式問答系統(tǒng)時更加有效。

將非結(jié)構(gòu)化的知識庫轉(zhuǎn)化為結(jié)構(gòu)化的知識圖譜，使得 GraphRAG 能夠深入理解信息內(nèi)涵，從而使語言模型能夠根據(jù)上下文生成準確恰當?shù)幕卮?。這是對話式 AI 朝著更先進、更可靠的聊天機器人系統(tǒng)發(fā)展的重要一步。

然而，正如 GraphRAG 帶來的其他優(yōu)勢一樣，它也面臨著一些挑戰(zhàn)。

首先，構(gòu)建知識圖譜是一個極其復雜的過程。 將無序的知識庫轉(zhuǎn)換為結(jié)構(gòu)化的知識圖譜需要精細的實體提?。╡ntity extraction）和關系識別方法（identification of relationships），而這些方法的計算成本可能非常高昂。

其次，可擴展性問題也隨之出現(xiàn)。 隨著知識庫規(guī)模的擴大，知識圖譜的復雜性也在增加。如果知識圖譜變得過大，以至于在運行時難以遍歷，那么可能會帶來可擴展性問題。對于大規(guī)模知識圖譜，優(yōu)化知識圖譜檢索算法將成為一個主要挑戰(zhàn)。

再者，知識圖譜的維護成本也是一個問題。 知識圖譜需要根據(jù)新信息和現(xiàn)有數(shù)據(jù)的變化不斷更新。在一些很可能經(jīng)常變化的領域，這可能會成為一項非常昂貴的工作，尤其是在技術(shù)或醫(yī)學領域。這意味著，盡管結(jié)果可能很有前景，但要長期保持知識圖譜的正確性和相關性，還需要付出大量的努力。

盡管如此，GraphRAG 仍有望為未來的對話式 AI Agents 帶來了更高的智能程度、可靠性和上下文感知能力。更多的研究和開發(fā)工作可以幫助解決與 GraphRAG 相關的一些困難，從而為構(gòu)建更先進、更智能的人工智能驅(qū)動的解決方案鋪平道路。

Thanks for reading!

Hope you have enjoyed and learned new things from this blog!

Rendy Dalimunthe

Specialist in conversational AI, data management, and system design.

END

本期互動內(nèi)容 ??

?你曾經(jīng)遇到過無法準確回答的復雜問題嗎？請分享你的經(jīng)歷，你認為 GraphRAG 能夠解決你遇到的困難嗎？

??文中鏈接??

[1]https://unsplash.com/@googledeepmind?utm_source=medium&utm_medium=referral

[2]https://unsplash.com/?utm_source=medium&utm_medium=referral

[3]https://www.microsoft.com/en-us/research/blog/graphrag-unlocking-llm-discovery-on-narrative-private-data/

[4]https://unsplash.com/@alinnnaaaa?utm_source=medium&utm_medium=referral

原文鏈接：

https://towardsdatascience.com/an-easy-way-to-comprehend-how-graphrag-works-6d53f8b540d0