檢索增強(qiáng)技術(shù)在代碼及多模態(tài)場景中的發(fā)揮著重要作用，而向量模型是檢索增強(qiáng)體系中的重要組成部分。針對這一需求，近日，智源研究院聯(lián)合多所高校研發(fā)了三款向量模型，包括代碼向量模型 BGE-Code-v1，多模態(tài)向量模型 BGE-VL-v1.5 以及視覺化文檔向量模型 BGE-VL-Screenshot。這些模型取得了代碼及多模態(tài)檢索的最佳效果，并以較大優(yōu)勢登頂 CoIR、Code-RAG、MMEB、MVRB 等領(lǐng)域內(nèi)主要測試基準(zhǔn)。BGE 自 2023 年 8 月發(fā)布以來，已成為中國首個登頂 Hugging Face 榜首的國產(chǎn) AI 模型以及 2023 年所有發(fā)布模型的全球下載量冠軍。

目前，BGE-Code-v1、BGE-VL-v1.5、BGE-VL-Screenshot 三款模型已向社區(qū)全面開放，為相關(guān)技術(shù)研究與產(chǎn)業(yè)應(yīng)用提供助力。

BGE-Code-v1：

• 模型地址：https://huggingface.co/BAAI/bge-code-v1
• 項目主頁：https://github.com/FlagOpen/FlagEmbedding/tree/master/research/BGE_Coder
• 論文鏈接：https://arxiv.org/abs/2505.12697

BGE-VL-v1.5：

• 模型地址：https://huggingface.co/BAAI/BGE-VL-v1.5-zs
• 項目主頁：https://github.com/FlagOpen/FlagEmbedding/tree/master/research/BGE_VL
• 論文鏈接：https://arxiv.org/abs/2412.14475

BGE-VL-Screenshot：

• 模型地址：https://huggingface.co/BAAI/BGE-VL-Screenshot
• 項目主頁：https://github.com/FlagOpen/FlagEmbedding/tree/master/research/BGE_VL_Screenshot
• 論文鏈接：https://arxiv.org/abs/2502.11431

由智源研究院主導(dǎo)研發(fā)的通用向量模型系列 BGE，旨在為各類數(shù)據(jù)提供高效一站式向量表征與語義檢索方案，已推出覆蓋中英文、多語言檢索及重排模型等多個版本，持續(xù)刷新 MTEB、C-MTEB、BEIR、MIRACL 等主流文本向量評測基準(zhǔn)。BGE 憑借高性能與開源特性備受業(yè)界關(guān)注，已廣泛應(yīng)用于 RAG、神經(jīng)搜索等場景，累計下載超 6 億次，被國內(nèi)外多家 AI 企業(yè)集成。

目前，檢索增強(qiáng)技術(shù)正從傳統(tǒng)的文本場景逐步拓展至涵蓋代碼與視覺等多模態(tài)數(shù)據(jù)的應(yīng)用。然而，相較于文本領(lǐng)域，現(xiàn)有向量模型在代碼和視覺模態(tài)中的檢索效果仍有待提升。此次智源研究院發(fā)布的三款新模型，為構(gòu)建更強(qiáng)大的多模態(tài)檢索增強(qiáng)系統(tǒng)提供了有力的支持。

BGE-Code-v1

新一代代碼優(yōu)化語義向量模型

隨著基礎(chǔ)模型代碼能力快速發(fā)展，Cursor、Copilot 等輔助編程工具大幅提升生產(chǎn)力。在面對百萬行級代碼庫時，代碼塊檢索增強(qiáng)需求凸顯，因此檢索模型的代碼理解能力至關(guān)重要。

BGE-Code-v1 是以 Qwen2.5-Coder-1.5B 為基座打造的新一代代碼向量模型，專為各類代碼檢索相關(guān)任務(wù)而設(shè)計，同時配備了強(qiáng)大的多語言文本理解能力。模型基于 CoIR 訓(xùn)練集和大量高質(zhì)量代碼 - 文本的合成數(shù)據(jù)進(jìn)行訓(xùn)練，并使用課程學(xué)習(xí)，以 BGE-gemma2-multilingual 的 retrieval、STS 數(shù)據(jù)為輔助，進(jìn)一步提升代碼與文本的理解能力。BGE-Code-v1 適用于開發(fā)文檔搜索、代碼庫語義檢索、跨語言信息獲取等多種實(shí)際應(yīng)用場景，是面向代碼 - 文本檢索任務(wù)的最優(yōu)選擇。

CoIR 代碼檢索基準(zhǔn)，收集了覆蓋 14 種編程語言的 4 大類 8 個子任務(wù)，能夠有效地評估模型在自然語言和代碼的各類混合場景中的檢索能力。CodeRAG-Bench 基準(zhǔn)評估了代碼檢索模型在代碼檢索增強(qiáng)（RACG）中的表現(xiàn)。BGE-Code-v1 在兩個基準(zhǔn)上均以顯著優(yōu)勢超越谷歌、Voyage AI、Salesforce、Jina 等商業(yè) / 開源模型，登頂 SOTA。

BGE-VL-v1.5

通用多模態(tài)檢索模型

BGE-VL-v1.5 完成多模態(tài)檢索任務(wù)

BGE-VL-v1.5 是基于 LLaVA-1.6（7.57B 參數(shù)）訓(xùn)練的新一代通用多模態(tài)檢索模型，全面升級了圖文理解能力并具有更強(qiáng)大的檢索能力。BGE-VL-v1.5 在 MagePairs 300 萬 (3M) 圖文對齊數(shù)據(jù)基礎(chǔ)上又收集了共 100 萬條自然與合成數(shù)據(jù)（涵蓋 image-captioning 數(shù)據(jù)、視覺問答數(shù)據(jù)、分類任務(wù)數(shù)據(jù)）進(jìn)行多任務(wù)訓(xùn)練，顯著地提升了模型在各類任務(wù)上的泛化性與理解能力。

基于 MegaPairs 數(shù)據(jù)，BGE-VL-v1.5 在多模態(tài)檢索任務(wù)中性能優(yōu)勢顯著，不僅在圖像檢索中表現(xiàn)強(qiáng)勁，更在通用多模態(tài)場景中展現(xiàn)高適應(yīng)性與準(zhǔn)確率，適用于圖文匹配、多模態(tài)問答、跨模態(tài)推薦等場景。

左為 BGE-VL-v1.5-zs 和其他 zero-shot 模型在MMEB上的表現(xiàn)，右為 BGE-VL-v1.5-MMEB 在 MMEB 基準(zhǔn)檢索任務(wù)上的表現(xiàn)

MMEB 是當(dāng)前使用最廣泛的多模態(tài)向量基準(zhǔn)，由：分類、視覺問答、檢索、視覺基礎(chǔ)知識，四類任務(wù)構(gòu)成?；?zero-shot 設(shè)置（未使用 MMEB 訓(xùn)練集），BGE-VL-v1.5-zs 在 MMEB 基準(zhǔn)中刷新 zero-shot 模型最佳表現(xiàn)；在檢索任務(wù)上，基于 MMEB 微調(diào)的 BGE-VL-v1.5-MMEB 以 72.16 分登頂 SOTA。

BGE-VL-Screenshot

實(shí)用強(qiáng)大的視覺化文檔向量模型

實(shí)際場景中網(wǎng)頁、文檔等多模態(tài)任務(wù)常由圖文、符號、圖表等多元素混合數(shù)據(jù)構(gòu)成，這類任務(wù)稱為 “可視化信息檢索”（Vis-IR），因此，多模態(tài)模型不僅需要具備從復(fù)雜結(jié)構(gòu)中提取關(guān)鍵信息的視覺能力，還需精準(zhǔn)理解文本與視覺語義。目前，現(xiàn)有檢索模型在此類任務(wù)中表現(xiàn)欠佳。

BGE-VL-Sc 基于截圖與文本檢索

BGE-VL-Screenshot 模型基于 Qwen2.5-VL-3B-Instruct ，以新聞、商品、論文、文檔、項目主頁等七類數(shù)據(jù)源進(jìn)行訓(xùn)練，收集超過 1300 萬張截圖和 700 萬組標(biāo)注截圖問答樣本。

為了準(zhǔn)確評估模型在 Vis-IR 任務(wù)上的表現(xiàn)，團(tuán)隊設(shè)計并推出了多模態(tài)檢索基準(zhǔn) MVRB (Massive Visualized IR Benchmark，榜單鏈接：https://huggingface.co/spaces/BAAI/MVRB_leaderboard)，涵蓋截圖檢索、復(fù)合截圖檢索、截圖 QA 和開放分類 4 項任務(wù)共 20 個數(shù)據(jù)集。

左為多語言 MVRB 測評結(jié)果，右為不同尺寸多模態(tài)檢索模型 MVRB 評測結(jié)果對比

BGE-VL-Screenshot 在 4 項任務(wù)中表現(xiàn)出色，以 60.61 的綜合得分達(dá)到 SOTA。在此基礎(chǔ)上，通過少量 query2screenshot 多語言數(shù)據(jù)訓(xùn)練，模型實(shí)現(xiàn)了在英文之外的多語言任務(wù)上的出色表現(xiàn)。

智源研究院將繼續(xù)深耕向量模型與檢索增強(qiáng)技術(shù)，進(jìn)一步提升 BGE 模型系列的能力與通用性。未來期待與更多科研機(jī)構(gòu)與產(chǎn)業(yè)伙伴合作，共同推動檢索與人工智能發(fā)展。歡迎廣大研究者與開發(fā)者關(guān)注并使用 BGE 系列模型，共建開放繁榮的開源生態(tài)。