如何在多個(gè)語(yǔ)料庫(kù)（多源異構(gòu)知識(shí)庫(kù)，如：文本、圖片、視頻）中檢索和整合來(lái)自不同模態(tài)和粒度的知識(shí)？UniversalRAG：一個(gè)多模態(tài)RAG框架，用于從多個(gè)模態(tài)和粒度的語(yǔ)料庫(kù)中檢索和整合知識(shí)。下面來(lái)看看思路，供參考。

方法

(A) 單一模態(tài)的 RAG 僅檢索一種模態(tài)的數(shù)據(jù)。(B) 單一語(yǔ)料庫(kù)的 RAG 專(zhuān)注于檢索數(shù)據(jù)模態(tài)，而忽略語(yǔ)義。(C) UniversalRAG使用路由器和多個(gè)語(yǔ)料庫(kù)有效地支持多樣化的查詢(xún)，涵蓋不同的模態(tài)和粒度。

從上圖可以看到，UniversalRAG的核心思想是通過(guò)動(dòng)態(tài)識(shí)別和路由查詢(xún)到最合適的模態(tài)和粒度知識(shí)源來(lái)進(jìn)行檢索。

1. 模態(tài)感知檢索（Modality-Aware Retrieval）：

• 多模態(tài)語(yǔ)料庫(kù)：UniversalRAG維護(hù)三個(gè)獨(dú)立的嵌入空間，分別對(duì)應(yīng)文本、圖像和視頻模態(tài)。每個(gè)模態(tài)的語(yǔ)料庫(kù)被組織成不同的子語(yǔ)料庫(kù)，如：文本語(yǔ)料庫(kù)分為段落級(jí)和文檔級(jí)，視頻語(yǔ)料庫(kù)分為完整視頻和視頻片段。
• 路由模塊（Router）：引入一個(gè)路由模塊，Router，動(dòng)態(tài)選擇每個(gè)查詢(xún)的最合適模態(tài)。給定一個(gè)查詢(xún)q，Router預(yù)測(cè)查詢(xún)相關(guān)的模態(tài)r，并從相應(yīng)的模態(tài)特定語(yǔ)料庫(kù)中選擇相關(guān)項(xiàng)c。

2. 粒度感知檢索（Granularity-Aware Retrieval）：

• 多粒度支持：為了靈活適應(yīng)不同查詢(xún)的信息需求，UniversalRAG在每個(gè)模態(tài)內(nèi)進(jìn)一步劃分為多個(gè)粒度級(jí)別。例如，文本語(yǔ)料庫(kù)分為段落級(jí)和文檔級(jí)，視頻語(yǔ)料庫(kù)分為視頻片段和完整視頻。
• 路由決策：路由決策r分為六類(lèi)：無(wú)檢索（None）、段落（Paragraph）、文檔（Document）、圖像（Image）、片段（Clip）、視頻（Video）。檢索過(guò)程根據(jù)路由決策r進(jìn)行，具體公式如下：

圖片

路由模塊設(shè)計(jì)：

一、無(wú)訓(xùn)練的路由

無(wú)訓(xùn)練的路由利用預(yù)訓(xùn)練的LLM的內(nèi)在知識(shí)和推理能力來(lái)分類(lèi)查詢(xún)。步驟如下：

1. 提示設(shè)計(jì)：給定一個(gè)查詢(xún)q，LLM會(huì)被提供一個(gè)詳細(xì)的指令描述路由任務(wù)，并附帶幾個(gè)上下文示例。
2. 預(yù)測(cè)路由類(lèi)型：LLM根據(jù)提示和示例預(yù)測(cè)查詢(xún)最合適的檢索類(lèi)型，從六個(gè)預(yù)定義的選項(xiàng)中選擇。

小結(jié)：這種方法的優(yōu)勢(shì)在于不需要額外的訓(xùn)練數(shù)據(jù)，利用了LLM的強(qiáng)大泛化能力。然而，其性能可能受限于LLM的預(yù)訓(xùn)練知識(shí)和推理能力。

二、訓(xùn)練路由

為了提高路由的準(zhǔn)確性，UniversalRAG還探索了訓(xùn)練路由模塊的方法。訓(xùn)練路由模塊面臨的主要挑戰(zhàn)是缺乏查詢(xún)標(biāo)簽對(duì)（ground-truth query-label pairs）來(lái)進(jìn)行最優(yōu)語(yǔ)料庫(kù)選擇的監(jiān)督。為此，文章采用了一種間接的方法來(lái)構(gòu)建訓(xùn)練數(shù)據(jù)集：

1. 利用基準(zhǔn)測(cè)試的歸納偏差：假設(shè)每個(gè)基準(zhǔn)測(cè)試主要與特定的模態(tài)和檢索粒度相關(guān)聯(lián)。例如，文本問(wèn)答基準(zhǔn)測(cè)試中的查詢(xún)可能主要需要段落級(jí)別的信息，而多跳問(wèn)答基準(zhǔn)測(cè)試可能需要文檔級(jí)別的信息。
2. 標(biāo)簽分配：

對(duì)于文本問(wèn)答基準(zhǔn)測(cè)試，查詢(xún)被標(biāo)記為'None'（如果查詢(xún)可以?xún)H通過(guò)模型的參數(shù)知識(shí)回答）、'Paragraph'（單跳RAG基準(zhǔn)測(cè)試）或'Document'（多跳RAG基準(zhǔn)測(cè)試）。

對(duì)于圖像基準(zhǔn)測(cè)試，查詢(xún)被標(biāo)記為'Image'。

對(duì)于視頻問(wèn)答基準(zhǔn)測(cè)試，查詢(xún)被標(biāo)記為'Clip'（如果查詢(xún)關(guān)注視頻中的局部事件或特定時(shí)刻）或'Video'（如果查詢(xún)需要理解整個(gè)視頻的故事情節(jié)或更廣泛的上下文）。

不同路由器模型大小的路由器準(zhǔn)確率

性能效果

圖片

在八個(gè)多模態(tài)數(shù)據(jù)集上比較 UniversalRAG 模型與基線的總體結(jié)果。UniversalRAG（我們的模型）以彩色單元格表示，包含針對(duì) DistilBERT 和 T5-Large 訓(xùn)練的路由器模型，以及基于 GPT-4o 的免訓(xùn)練路由器方法。通過(guò)自適應(yīng)地為每個(gè)查詢(xún)選擇最佳檢索模態(tài)，UniversalRAG 的性能與 Oracle 檢索選擇的性能相當(dāng)，并且平均而言?xún)?yōu)于所有基線。

在八個(gè)多模態(tài)數(shù)據(jù)集上比較 UniversalRAG 模型與基線的總體結(jié)果。UniversalRAG（我們的模型）以彩色單元格表示，包含針對(duì) DistilBERT 和 T5-Large 訓(xùn)練的路由器模型，以及基于 GPT-4o 的免訓(xùn)練路由器方法。通過(guò)自適應(yīng)地為每個(gè)查詢(xún)選擇最佳檢索模態(tài)，UniversalRAG 的性能與 Oracle 檢索選擇的性能相當(dāng)，并且平均而言?xún)?yōu)于所有基線。

圖片

檢索粒度對(duì)兩個(gè)基準(zhǔn)測(cè)試的性能影響：HotpotQA（需要對(duì)文檔進(jìn)行多跳推理）和 LVBench（其查詢(xún)通?？捎枚桃曨l片段進(jìn)行回答）。具有粒度的 UniversalRAG 始終優(yōu)于無(wú)粒度的模型，這突顯了結(jié)合不同粒度級(jí)別可以增強(qiáng) UniversalRAG 自適應(yīng)處理各種用戶(hù)問(wèn)題的能力。

檢索粒度對(duì)兩個(gè)基準(zhǔn)測(cè)試的性能影響：HotpotQA（需要對(duì)文檔進(jìn)行多跳推理）和 LVBench（其查詢(xún)通?？捎枚桃曨l片段進(jìn)行回答）。具有粒度的 UniversalRAG 始終優(yōu)于無(wú)粒度的模型，這突顯了結(jié)合不同粒度級(jí)別可以增強(qiáng) UniversalRAG 自適應(yīng)處理各種用戶(hù)問(wèn)題的能力。

參考：UniversalRAG: Retrieval-Augmented Generation over Multiple Corpora with Diverse Modalities and Granularities，https://arxiv.org/pdf/2504.20734