RAG現(xiàn)有框架總結(jié):7個GraphRAG+17個傳統(tǒng)RAG | 推薦收藏 原創(chuàng)
一、17個傳統(tǒng) RAG 框架
傳統(tǒng)的RAG(Retrieval-Augmented Generation)框架,是一種集成了多個關(guān)鍵環(huán)節(jié)的綜合體系,這些環(huán)節(jié)包括文本切塊(Chunk)、向量轉(zhuǎn)換(向量化)、數(shù)據(jù)存儲、信息檢索、二次排序、內(nèi)容生成、內(nèi)容評估等。該框架的精髓在于能夠靈活適應(yīng)各種策略,例如文檔處理方法和檢索策略等。其中,具有代表性的實現(xiàn)有RAGFlow(專注于深度文檔理解)、QAnything(引入重排序 Rerank 機制)以及高度可配置的 Dify 等。這些實現(xiàn)雖然在細(xì)節(jié)上有所差異,但基本原理相似。以下是17個傳統(tǒng) RAG 框架的總結(jié):
1.AnythingLLM,具備完整的 RAG(檢索增強生成)和AI代理能力。Github 地址:??https://github.com/Mintplex-Labs/anything-llm??
2.MaxKB,基于大型語言模型的知識庫問答系統(tǒng)。即插即用,支持快速嵌入到第三方業(yè)務(wù)系統(tǒng)。Github 地址:https://github.com/1Panel-dev/MaxKB
3.RAGFlow,一個基于深度文檔理解的開源RAG(檢索增強生成)引擎。Github 地址:https://github.com/infiniflow/ragflow
4.Dify,一個開源的大型語言模型應(yīng)用開發(fā)平臺。Dify直觀的界面結(jié)合了AI工作流、RAG流程、代理能力、模型管理、可觀測性功能等,讓您能快速從原型階段過渡到生產(chǎn)階段。Github 地址:https://github.com/langgenius/dify
5.FastGPT,基于LLM構(gòu)建的知識型平臺,提供即開即用的數(shù)據(jù)加工和模型調(diào)用能力,允許通過流程可視化進行工作流編排。Github 地址:https://github.com/labring/FastGPT
6.Langchain-Chatchat,基于Langchain和ChatGLM等不同大模型的本地知識庫問答。Github 地址:https://github.com/chatchat-space/Langchain-Chatchat
7.QAnything,基于Anything的問題和答案。Github 地址:https://github.com/netease-youdao/QAnything
8.Quivr,使用Langchain、GPT 3.5/4 turbo、Private、Anthropic、VertexAI、Ollama、LLMs、Groq等與文檔(PDF、CSV等)和應(yīng)用程序交互,本地和私有的替代OpenAI GPTs和ChatGPT。Github 地址:https://github.com/QuivrHQ/quivr
9.RAG-GPT,RAG-GPT利用LLM和RAG技術(shù),從用戶自定義的知識庫中學(xué)習(xí),為廣泛的查詢提供上下文相關(guān)的答案,確??焖贉?zhǔn)確的信息檢索。Github 地址:https://github.com/open-kf/rag-gpt
10.Verba,由Weaviate驅(qū)動的檢索增強生成(RAG)聊天機器人。地址:https://github.com/weaviate/Verba
11.FlashRAG,一個用于高效RAG研究的Python工具包。Github 地址:https://github.com/RUC-NLPIR/FlashRAG
12.LightRAG,檢索器-代理-生成器式的RAG框架。Github 地址:https://github.com/SylphAI-Inc/LightRAG
13.kotaemon,一個開源的干凈且可定制的RAG UI。Github 地址:https://github.com/Cinnamon/kotaemon,
14.RAGapp,在企業(yè)中使用Agentic RAG的最簡單方式。Github 地址:https://github.com/ragapp/ragapp
15.TurboRAG,通過預(yù)計算的KV緩存加速檢索增強生成,適用于分塊文本。Github 地址:https://github.com/MooreThreads/TurboRAG
16.TEN,實時多模態(tài)AI代理框架。Github 地址:https://github.com/TEN-framework/ten_framework
17.AutoRAG,RAG AutoML工具。Github 地址:https://github.com/Marker-Inc-Korea/AutoRAG
二、7個 GraphRAG 框架
GraphRAG 框架在微軟頗受歡迎,隨后衍生出了多個輕量級改進版本,例如LightRAG 和 nano-GraphRAG。同時,也有一些獨具特色的變體,如 KAG。這些框架的核心改進在于,它們在傳統(tǒng) RAG 的基礎(chǔ)上,加強了實體、社區(qū)以及文本切塊(Chunk)之間的聯(lián)系,并融入了現(xiàn)有知識圖譜(KG)的知識,以此來提高信息檢索的召回率和準(zhǔn)確性。
這里總結(jié)7個:
1.LightRAG,簡單快速的Graphrag檢索增強生成。Github 地址:https://github.com/HKUDS/LightRAG
2.GraphRAG-Ollama-UI,使用Ollama的GraphRAG,帶有Gradio UI和額外功能。Github 地址:https://github.com/severian42/GraphRAG-Ollama-UI
3.microsoft-GraphRAG,一個模塊化的基于圖的檢索增強生成(RAG)系統(tǒng)。地址:Github ??https://github.com/microsoft/graphrag??
4.nano-GraphRAG,一個簡單、易于修改的GraphRAG實現(xiàn)。Github 地址:https://github.com/gusye1234/nano-graphrag
5.KAG,基于OpenSPG引擎的知識增強生成框架,用于構(gòu)建知識增強的嚴(yán)格決策制定和信息檢索知識服務(wù)。Github 地址:https://github.com/OpenSPG/KAG
6.Fast-GraphRAG,GraphRAG的輕量化版本。Github 地址:https://github.com/circlemind-ai/fast-graphrag
7.Tiny-GraphRAG,一個小巧的GraphRAG實現(xiàn)。地址:https://github.com/limafang/tiny-graphrag
在探索先進的信息處理技術(shù)領(lǐng)域,RAG 框架及其多樣化的應(yīng)用方案,比如:Naive RAG、Agentic RAG、Advanced RAG 等等,已經(jīng)成為行業(yè)內(nèi)的熱門話題。為了幫助技術(shù)愛好者們深入理解和應(yīng)用這些技術(shù),我們精心打造了 AI Agent 項目實戰(zhàn)訓(xùn)練營。這個訓(xùn)練營旨在通過實戰(zhàn)演練,讓您直接體驗到從數(shù)據(jù)切割到內(nèi)容生成的全流程,掌握關(guān)鍵技術(shù)的應(yīng)用要領(lǐng)。我們承諾,通過專業(yè)的指導(dǎo)和實戰(zhàn)操作,您將能夠系統(tǒng)地提升自己在信息處理技術(shù)方面的實踐能力。現(xiàn)在就加入我們,一起在 Agent 項目實戰(zhàn)訓(xùn)練營中開啟您的技術(shù)成長新篇章!
3、
第一、這是大勢所趨,我能正在經(jīng)歷一場重大技術(shù)變革,還不像當(dāng)年的互聯(lián)網(wǎng)的興起,這是一場顛覆性的變革,掉隊就等于淘汰,因為未來所有應(yīng)用都將被AI Agent 重寫一遍;
第二、現(xiàn)在處于紅利期,先入場的同學(xué)至少會享受4~5年的紅利,拿高薪,并且會掌握更多的資源。
第三、企業(yè)需求旺盛,越來越多的企業(yè)開始在 AI Agent 領(lǐng)域進行創(chuàng)新嘗試,這為我們提供了豐富的崗位機會和廣闊的發(fā)展空間。
最近兩年一直在研究大模型應(yīng)用技術(shù),大模型的價值太大了,AI Agent 的潛力太大了,“未來所有應(yīng)用都將被 AI Agent 重寫一遍”這句話也是今天聽到最多的一句話。我的團隊這兩年,尤其是今年接了很多開發(fā) AI Agent 的項目,越來越多的企業(yè)都開始做這方面的創(chuàng)新嘗試。
AI Agent 足夠重要,但也足夠復(fù)雜,我這兩年的實踐的結(jié)論是,想開發(fā)出一個能夠可靠穩(wěn)定的 Agent 應(yīng)用實在太難了,大模型技術(shù)本身的復(fù)雜度,大模型推理的不確定性等等,這些困難直接導(dǎo)致很人對其望而卻步,或是遇到問題無從下手。一般的技術(shù)同學(xué)想要自己掌握 Agent 太難了。
本文轉(zhuǎn)載自公眾號玄姐聊AGI 作者:玄姐
原文鏈接:??https://mp.weixin.qq.com/s/bn0NTbzcap5GFG51wpvOkg??
