當(dāng)今時(shí)代，人工智能技術(shù)的飛速發(fā)展為各行各業(yè)帶來(lái)了革命性的變化。在自然語(yǔ)言處理領(lǐng)域，檢索增強(qiáng)生成（RAG）系統(tǒng)因其卓越的性能和廣泛的應(yīng)用前景，正成為研究和應(yīng)用的熱點(diǎn)。今天，我要向您推薦的是一個(gè)創(chuàng)新的系統(tǒng)——Easy-RAG，它不僅易于學(xué)習(xí)、使用，還具備自主擴(kuò)展的能力。希望能讓您對(duì)RAG能更近一步的了解。

一、Easy-RAG 系統(tǒng)概覽

Easy-RAG 是一個(gè)開(kāi)放源代碼的檢索增強(qiáng)生成 (RAG) 系統(tǒng)，旨在提供一種簡(jiǎn)便的方式來(lái)學(xué)習(xí)和使用 RAG 技術(shù)，并支持用戶自主擴(kuò)展系統(tǒng)功能。該系統(tǒng)適用于希望深入了解和應(yīng)用 RAG 技術(shù)的研究人員和開(kāi)發(fā)者，無(wú)論是在學(xué)術(shù)研究還是在商業(yè)開(kāi)發(fā)中都能提供強(qiáng)有力的支持。

二、功能特點(diǎn)

Easy-RAG 的功能特點(diǎn)主要包括：

知識(shí)庫(kù)支持：目前支持 txt、csv、pdf 等格式的文件作為知識(shí)庫(kù)，并提供知識(shí)庫(kù)的創(chuàng)建、更新、刪除等功能。

聊天功能：支持純大模型聊天多輪，以及知識(shí)庫(kù)問(wèn)答，提供復(fù)雜召回方式、簡(jiǎn)單召回方式和 rerank重新排序來(lái)提高檢索效率搜索方式。

語(yǔ)音轉(zhuǎn)文本：支持音頻視頻的語(yǔ)音轉(zhuǎn)文本然后向量化，使用的 funasr 模型，可在首次啟動(dòng)時(shí)從魔塔下載模型。

持續(xù)更新計(jì)劃：計(jì)劃后續(xù)支持 Elasticsearch、Milvus、MongoDB 等向量數(shù)據(jù)，以及添加語(yǔ)音回答輸出和問(wèn)題路由知識(shí)庫(kù)的功能。

三、項(xiàng)目結(jié)構(gòu)

Easy-RAG 的項(xiàng)目結(jié)構(gòu)包括：

1. Chroma_db（存儲(chǔ) Chroma 向量數(shù)據(jù)的文件夾）
2. Ollama_api（以 api 方式與 ollama 交互的代碼）
3. embedding（用于文件向量化處理的代碼）
4. rag（存儲(chǔ) rag 操作的代碼）等部分

四、安裝與使用

Easy-RAG 的安裝和使用相對(duì)簡(jiǎn)單，可以通過(guò) Ollama 安裝包進(jìn)行安裝，并通過(guò)簡(jiǎn)單的命令行操作來(lái)部署所需的大模型和模型。具體的安裝步驟包括下載 Ollama 安裝包，運(yùn)行相應(yīng)的命令來(lái)安裝所需的模型，并在配置文件中指定 rerank 模型的路徑。

1、Ollma安裝，在如下網(wǎng)址選擇適合你機(jī)器的ollama 安裝包

https://ollama.com/download

2、Ollama 安裝模型，直接安裝我們需要的兩個(gè)cmd中執(zhí)行

ollama run qwen2:7b

ollama run mofanke/acge_text_embedding:latest

3、項(xiàng)目開(kāi)發(fā)環(huán)境 pyhon3.8以上

git clone https://github.com/yuntianhe2014/Easy-RAG.git

4、安裝依賴

pip3 install -r requirements.txt -i  https://mirrors.aliyun.com/pypi/simple

5、項(xiàng)目啟動(dòng)

python webui.py

6、知識(shí)圖譜時(shí)時(shí)提取工具

python graph_demo_ui.py

總結(jié)：

Easy-RAG 是一個(gè)功能全面、易于學(xué)習(xí)和使用的 RAG 系統(tǒng)，具備良好的擴(kuò)展性，適合研究人員和開(kāi)發(fā)者進(jìn)行深入研究和應(yīng)用開(kāi)發(fā)。有需要的小伙伴們可以通過(guò)下方提供地址進(jìn)行更多的學(xué)習(xí)。

倉(cāng)庫(kù)地址：https://github.com/yuntianhe2014/Easy-RAG

項(xiàng)目參考： ???https://github.com/BinNong/meet-libai??

本文轉(zhuǎn)載自公眾號(hào)頂層架構(gòu)領(lǐng)域

原文鏈接：??https://mp.weixin.qq.com/s/e4jaykgvZ2jI7e1a1WSDqQ??