五大主流開源大模型RAG評估框架詳解 原創(chuàng)
一、RAG 評估的挑戰(zhàn)
增強檢索生成技術(shù)（Retrieval Augmented Generation，簡稱 RAG）目前正成為增強大語言模型（LLM）性能的核心手段。該技術(shù)通過將外部知識庫融入LLM，大幅提升了大模型的精確度和對上下文的感知力。然而，對 RAG 系統(tǒng)性能的評測頗具挑戰(zhàn)，這促使了一系列開源 RAG 評估框架的誕生。下面，讓我們共同探討5大開源的 RAG 評估框架。
二、開源評估框架1：Ragas
Ragas（Retrieval-Augmented Generation Assessment） 是一款專為評測增強檢索生成（RAG）流程而精心構(gòu)建的強大工具。它憑借其全面評估 RAG 的方法論，迅速贏得了開發(fā)者和數(shù)據(jù)科學(xué)家們的廣泛認可。
Ragas 是一個框架，它可以幫助我們來快速評估 RAG 系統(tǒng)的性能，為了評估 RAG 系統(tǒng)，Ragas 需要以下信息:
question：用戶輸入的問題。
answer：從 RAG 系統(tǒng)生成的答案（由 LLM 給出）。
contexts：根據(jù)用戶的問題從外部知識源檢索的上下文即與問題相關(guān)的文檔。
ground_truths：人類提供的基于問題的真實（正確）答案。這是唯一的需要人類提供的信息。
當(dāng) Ragas 拿到上述這些信息后會基于大語言模型來對 RAG 系統(tǒng)進行打分，就像在任何機器學(xué)習(xí)系統(tǒng)中一樣，LLM 和 RAG 流程中各個組件的性能對整體體驗具有重大影響。Ragas 提供了專門用于單獨評估 RAG 流程的每個組件的指標(biāo)。
1.關(guān)鍵特性
- 量身定制的評估標(biāo)準：Ragas 提供了一系列專門為 RAG 系統(tǒng)設(shè)計的評估指標(biāo)，這些指標(biāo)能夠精確地評估 RAG 系統(tǒng)在多個維度的性能。
- 適應(yīng)性強的評估方式：Ragas 支持本地及分布式評估，這確保了它能夠適應(yīng)各種計算環(huán)境和數(shù)據(jù)量級的需求。無論是進行單機的小規(guī)模評估，還是應(yīng)對分布式系統(tǒng)上的大規(guī)模數(shù)據(jù)評估，Ragas 都能輕松應(yīng)對。
- 與主流框架兼容：Ragas 能夠與眾多流行的大型語言模型（LLM）框架無縫對接。這種兼容性讓開發(fā)者能夠輕松地將 Ragas 整合進現(xiàn)有的 RAG 系統(tǒng)開發(fā)流程，大大簡化了開發(fā)過程并降低了工作負擔(dān)。
2.評估示例
from ragas import evaluate
from datasets import Dataset
# 假設(shè)評估數(shù)據(jù)已經(jīng)結(jié)構(gòu)化
eval_dataset = Dataset.from_dict({
"question": ["What is the capital of France?"],
"contexts": [["Paris is the capital of France."]],
"answer": ["The capital of France is Paris."],
"ground_truths": [["Paris is the capital of France."]]
})
# 運行評估框架
results = evaluate(eval_dataset)
print(results)3.Github 地址
??https://github.com/explodinggradients/ragas??
三、開源評估框架2：Prometheus
Prometheus 以其作為監(jiān)控工具和時間序列數(shù)據(jù)庫的卓越性能而著稱，然而，其強大的數(shù)據(jù)搜集和預(yù)警能力也使得它在大語言模型（LLM）評估領(lǐng)域值得一談。
1.關(guān)鍵特性
- 高效的數(shù)據(jù)采集與儲存能力：有效地捕捉和保存與大語言模型（LLM）系統(tǒng)相關(guān)的信息，涵蓋 RAG 流程中的數(shù)據(jù)。這些信息對于診斷系統(tǒng)性能和行為的分析至關(guān)重要。
- 先進的查詢功能：配備了一種先進的查詢語言，使用戶能夠輕松地對積累的數(shù)據(jù)進行檢索和分析。借助這種功能強大的查詢工具，用戶能夠細致地探究系統(tǒng)在不同時間段的性能指標(biāo)，以及不同參數(shù)間的相互關(guān)聯(lián)。
- 彈性的報警機制：擁有一個彈性的報警系統(tǒng)，能夠在系統(tǒng)發(fā)生異常時迅速發(fā)出警告。這樣的機制有助于問題的及時識別和處理，保障系統(tǒng)的持續(xù)穩(wěn)定運作。
2.應(yīng)用場景
Prometheus 能夠監(jiān)控基于大語言模型（LLM）的系統(tǒng)（包括 RAG 流程）的性能和運行狀況。盡管它并非專為 LLM 設(shè)計，但其收集和分析時間序列數(shù)據(jù)的功能對于監(jiān)測 LLM 性能和系統(tǒng)健康狀態(tài)的長期趨勢極為有用。
例如，通過定時搜集 RAG 系統(tǒng)在不同查詢條件下的響應(yīng)時長、準確度等數(shù)據(jù)，并運用其查詢語言進行深入分析，可以揭示系統(tǒng)性能的波動趨勢，以及潛在的問題點。一旦響應(yīng)時間異常延長或準確度明顯下降，警報系統(tǒng)便會迅速通知相關(guān)人員采取措施。
3.Github 地址
??https://github.com/prometheus/prometheus??
四、開源評估框架3：DeepEval
DeepEval 是 LLM 評估領(lǐng)域內(nèi)另一個突出的框架，它專門針對大語言模型的輸出而設(shè)計。類似于 Pytest，但它更加專注于 LLM，提供了全面的評估指標(biāo)，并且支持對 LLM 輸出的單元測試功能。
1.關(guān)鍵特性
- 整合了最新的大語言模型（LLM）輸出評估的研究成果。
- 涵蓋了豐富的評估指標(biāo)體系。
- 為大語言模型（LLM）的輸出提供了單元測試支持。
- 保障了 LLM 生成內(nèi)容的質(zhì)量及一致性。
2.Github 地址
??https://github.com/confident-ai/deepeval??
五、開源評估框架4：Phoenix
Phoenix 是由 Arize AI 打造的一款開源工具，旨在為人工智能提供可觀測性和評估功能。盡管它并非專門針對 RAG 流程設(shè)計，但其強大的功能使其成為評估大語言模型（LLM）的一個有力選擇。
1.關(guān)鍵特性
- 實時監(jiān)控能力：該工具實現(xiàn)了對 AI 的模型的即時監(jiān)控，確保能夠即時捕捉到大模型運行時的各類信息，包括輸入輸出數(shù)據(jù)、性能指標(biāo)等關(guān)鍵細節(jié)。
- 性能評估與異常偵測：工具內(nèi)置了性能分析和問題識別的功能。利用這些功能，用戶能夠深入探究模型的性能表現(xiàn)，快速識別潛在的問題，例如：大模型可能出現(xiàn)的過擬合或欠擬合現(xiàn)象。
- 廣泛兼容性：該工具支持多種 AI 和機器學(xué)習(xí)場景，其中包括大語言模型（LLMs）。這種廣泛的適用性使其能夠在多種人工智能項目中被有效利用，展現(xiàn)出其高度的通用性。
2.應(yīng)用場景
Phoenix 的強項在于其能夠全面揭示大模型性能。以大語言翻譯項目為例，利用 Phoenix 可以對翻譯模型的性能進行實時監(jiān)控。通過評估模型對各種語言文本的轉(zhuǎn)換效果，可以識別出潛在的翻譯誤差或不精確之處。此外，Phoenix 還能監(jiān)測模型是否出現(xiàn)過擬合，即模型過于依賴訓(xùn)練數(shù)據(jù)，而在處理新數(shù)據(jù)時表現(xiàn)不佳。基于這些分析，可以對模型進行相應(yīng)的調(diào)整和改進，從而提升翻譯的準確度和效率。
3.Github 地址
??https://github.com/Arize-ai/phoenix??
六、開源評估框架5：ChainForge
ChainForge 是一款開源的可視化編程工具，旨在對大語言模型（LLM）的響應(yīng)進行解析和評價。該工具的設(shè)計宗旨是簡化提示工程和響應(yīng)評估的過程，使其更加直觀且易于使用。
1.關(guān)鍵特性
- 圖形化操作界面：提供了一個圖形化界面，方便設(shè)計和測試各種提示詞。通過此界面，開發(fā)人員能夠清晰地觀察到提示的結(jié)構(gòu)與內(nèi)容，從而便捷地進行修改和完善。
- 支持多家 LLM 供應(yīng)商：該工具兼容多個大型語言模型（LLM）供應(yīng)商，使用戶能夠在不同的 LLM 大模型之間進行比較和選擇。
- 輸出對比與分析功能：內(nèi)置了用于對比和分析 LLM 輸出的功能。利用這些功能，用戶能夠?qū)Σ煌?LLM 大模型的輸出進行詳細比較，識別各自的優(yōu)勢與不足，進而挑選出最合適的大模型。
2.應(yīng)用場景
ChainForge 的可視化手段在大型語言模型（LLM）的評估領(lǐng)域顯得格外突出。以內(nèi)容生成項目為例，當(dāng)需要挑選一個最適宜的 LLM 大模型來產(chǎn)出高品質(zhì)文章時，ChainForge 的圖形化界面就能派上用場。用戶可以利用這個界面來構(gòu)思多種提示，并審視不同 LLM 大模型對這些提示詞的反饋。通過對比這些大模型的輸出，可以辨別出哪個大模型更能夠滿足文章生成的需求，進而決定在實際操作中使用該大模型。
3.Github 地址
??https://github.com/ianarawjo/ChainForge??
本文轉(zhuǎn)載自公眾號玄姐聊AGI 作者：玄姐
