RAG檢索系統(tǒng)的兩大核心利器——Embedding模型和Rerank模型 原創(chuàng)
“ Embedding和Rerank模型是RAG系統(tǒng)中的核心模型?！?/strong>
在RAG系統(tǒng)中，有兩個非常重要的模型一個是Embedding模型，另一個則是Rerank模型；這兩個模型在RAG中扮演著重要角色。
Embedding模型的作用是把數(shù)據(jù)向量化，通過降維的方式，使得可以通過歐式距離，余弦函數(shù)等計算向量之間的相似度，以此來進行相似度檢索。
而Rerank的作用是在Embedding檢索的基礎之上，進行更加準確的數(shù)據(jù)篩選；如果說Embedding模型進行的是一維篩選，那么Rerank模型就是從多個維度進行篩選。
Embedding模型和Rerank模型
在自然語言處理和信息檢索系統(tǒng)中，Embedding模型和Rerank模型是兩類功能不同但常結(jié)合使用的技術。
Embedding和Rerank模型都是基于深度學習方式實現(xiàn)的神經(jīng)網(wǎng)絡模型，但由于其功能不同，因此其實現(xiàn)方式和訓練方法也有一定的區(qū)別。
從使用的角度來看，Embedding一般用于數(shù)據(jù)向量化并快速檢索，而Rerank模型是在快速檢索的基礎之上進行重排序，提升相似度。
但從技術實現(xiàn)的角度來說，兩種模型使用的學習方式和架構(gòu)是不一樣的；原因就在于兩個模型的實現(xiàn)目的和處理數(shù)據(jù)的方式。
它們的核心區(qū)別在于目標、應用階段和技術實現(xiàn)。以下是詳細對比：
1. 功能目標
維度 | Embedding模型 | Rerank模型 |
核心任務 | 將文本轉(zhuǎn)化為低維向量，捕捉語義信息 | 對候選結(jié)果重新排序，提升相關性 |
輸出形式 | 高維或低維向量（如768維向量） | 候選列表的排序分數(shù)（如相關性得分） |
關注點 | 文本的全局語義表示 | 候選結(jié)果與查詢的細粒度匹配 |
示例
- Embedding模型：將“如何訓練神經(jīng)網(wǎng)絡？”轉(zhuǎn)換為向量，用于檢索相似問題。
- Rerank模型：對初步檢索的100個答案排序，將最相關的答案排到前3。
2. 應用階段
維度 | Embedding模型 | Rerank模型 |
所處流程 | 檢索階段 ：快速生成候選集 | 精排階段 ：優(yōu)化候選集的順序 |
數(shù)據(jù)規(guī)模 | 處理海量數(shù)據(jù)（如百萬級文檔） | 處理小規(guī)模候選集（如Top 100~1000） |
性能要求 | 要求高效（毫秒級響應） | 可接受較高延遲（需復雜計算） |
典型場景
- Embedding模型：用于搜索引擎的初步召回（如從10億文檔中篩選出Top 1000）。
- Rerank模型：在推薦系統(tǒng)中對Top 100結(jié)果精細化排序，提升點擊率。
3. 技術實現(xiàn)
維度 | Embedding模型 | Rerank模型 |
模型類型 | 無監(jiān)督/自監(jiān)督學習（如BERT、Sentence-BERT） | 有監(jiān)督學習（如Pairwise Ranking、ListNet） |
輸入輸出 | 單文本輸入 → 固定維度向量 | 查詢+候選文本對 → 相關性分數(shù) |
特征依賴 | 僅依賴文本本身的語義信息 | 可融合多特征（語義、點擊率、時效性等） |
模型舉例
- Embedding模型：
a.通用語義編碼：BERT、RoBERTa
b.專用場景：DPR（Dense Passage Retrieval）
- Rerank模型：
a.傳統(tǒng)方法：BM25 + 特征工程
b.深度模型：ColBERT、Cross-Encoder
本文轉(zhuǎn)載自公眾號AI探索時代 作者：DFires
