導(dǎo)語(yǔ)

在信息爆炸的時(shí)代，如何從海量數(shù)據(jù)中精準(zhǔn)獲取知識(shí)并生成智能回答，已成為AI落地的核心挑戰(zhàn)。騰訊優(yōu)圖實(shí)驗(yàn)室憑借前沿的RAG體系，突破傳統(tǒng)檢索與生成的局限，打造了一套覆蓋語(yǔ)義檢索、結(jié)構(gòu)化表檢索、圖檢索的全棧解決方案。

本文將為你深度解析優(yōu)圖實(shí)驗(yàn)室RAG技術(shù)的架構(gòu)設(shè)計(jì)與創(chuàng)新實(shí)踐：從多階段訓(xùn)練的2B級(jí)Embedding模型、Reranker分層蒸餾，到結(jié)構(gòu)化表的智能解析與查詢，再到自研GraphRAG框架在構(gòu)圖效率與復(fù)雜推理上的突破。目前，優(yōu)圖實(shí)驗(yàn)室自研的RAG技術(shù)已應(yīng)用在多個(gè)領(lǐng)域和產(chǎn)品，未來(lái)，我們更將著力于邁向Agentic RAG與低成本精細(xì)化方向，推動(dòng)產(chǎn)業(yè)智能化升級(jí)。

RAG技術(shù)架構(gòu)

語(yǔ)義檢索

1.1、Embedding模型

1.1.1、多階段訓(xùn)練管線

為了提升基于大語(yǔ)言模型（LLM）的向量模型的檢索能力，采用多階段訓(xùn)練策略，逐步增強(qiáng)向量模型的泛化能力和檢索效果。

圖1.1. 訓(xùn)練管線概覽圖

• 弱監(jiān)督對(duì)比學(xué)習(xí)訓(xùn)練。通過(guò)批次內(nèi)負(fù)樣本共享和跨設(shè)備負(fù)樣本共享技術(shù)，每個(gè)查詢文本對(duì)應(yīng)多達(dá)6萬(wàn)個(gè)負(fù)樣本，來(lái)極大增強(qiáng)向量模型的判別能力。
• 有監(jiān)督對(duì)比學(xué)習(xí)訓(xùn)練。通過(guò)優(yōu)化數(shù)據(jù)采樣方法，使跨設(shè)備共享的負(fù)樣本來(lái)源于同一個(gè)子數(shù)據(jù)集，來(lái)保證難負(fù)樣本的質(zhì)量和難度一致性，提升對(duì)比學(xué)習(xí)的有效性。在輸入文本中加入特定任務(wù)的指令詞，進(jìn)行指令感知的對(duì)比學(xué)習(xí)，使模型能夠根據(jù)不同任務(wù)調(diào)整語(yǔ)義匹配策略，來(lái)提升向量模型指令遵循的動(dòng)態(tài)檢索能力。

1.1.2、精細(xì)化數(shù)據(jù)工程

1.1.2.1、 數(shù)據(jù)構(gòu)造流程

訓(xùn)練數(shù)據(jù)的規(guī)模和質(zhì)量對(duì)向量模型的效果至關(guān)重要，一般地，構(gòu)建對(duì)比學(xué)習(xí)訓(xùn)練數(shù)據(jù)的流程如下：

• 構(gòu)建（問(wèn)題，相關(guān)文檔）的文本對(duì)。通常有兩種方式，一是在網(wǎng)絡(luò)上收集已經(jīng)構(gòu)建好的開源的問(wèn)答對(duì)數(shù)據(jù)；二是利用大語(yǔ)言模型杰出的文本生成能力，為文檔生成高質(zhì)量的問(wèn)題數(shù)據(jù)。通過(guò)收集開源數(shù)據(jù)和利用大語(yǔ)言模型合成數(shù)據(jù)，擴(kuò)充了訓(xùn)練數(shù)據(jù)的規(guī)模，增加訓(xùn)練數(shù)據(jù)的多樣性和豐富性，有助于提高向量模型的泛化能力。
• 挖掘難負(fù)樣本，構(gòu)建（問(wèn)題，正樣本，負(fù)樣本）三元組。構(gòu)建兩千萬(wàn)規(guī)模的文本語(yǔ)料庫(kù)用于難負(fù)樣本挖掘，通過(guò)擴(kuò)大語(yǔ)料庫(kù)規(guī)模、構(gòu)建特定行業(yè)語(yǔ)料庫(kù)、利用大語(yǔ)言模型識(shí)別過(guò)濾假負(fù)樣本的方法，優(yōu)化了挖掘負(fù)樣本的質(zhì)量和效果。

1.1.2.2、 數(shù)據(jù)質(zhì)量控制

圖1.2. 質(zhì)量控制邏輯示意圖

在上述內(nèi)容基礎(chǔ)上，借助 Reranker 模型對(duì)訓(xùn)練語(yǔ)料進(jìn)行篩選及重組，以進(jìn)一步提升數(shù)據(jù)質(zhì)量。大致的處理邏輯包含以下三項(xiàng)：

• 剔除相關(guān)性分?jǐn)?shù)極低的偽正例
• 基于相關(guān)性分布，過(guò)濾簡(jiǎn)單負(fù)樣本
• 識(shí)別強(qiáng)負(fù)例挖掘過(guò)程中的潛在正樣本，并進(jìn)行替換

Reranker 模型的評(píng)分在通過(guò)驗(yàn)證后，會(huì)應(yīng)用于編碼器的更新過(guò)程，實(shí)現(xiàn)label層面的知識(shí)蒸餾。

1.1.3、多任務(wù)均衡配置

圖3. 多任務(wù)跨GPU聯(lián)合訓(xùn)練示意圖

為充分發(fā)揮 Embedding 模型的潛力，解決不同任務(wù)屬性、不同領(lǐng)域數(shù)據(jù)之間的沖突問(wèn)題，我們?cè)O(shè)計(jì)了一套精密的聯(lián)合訓(xùn)練方案：

• 數(shù)據(jù)統(tǒng)一化：依據(jù)數(shù)據(jù)在組織形式等方面的差異，將整體語(yǔ)料劃分為 IR 和 STS 兩大類，并采用統(tǒng)一的聯(lián)調(diào)格式同時(shí)囊括二者，從而實(shí)現(xiàn)混合加載。
• 動(dòng)態(tài)采樣器：跨設(shè)備負(fù)采樣是編碼器微調(diào)過(guò)程中的常用技巧，但在多任務(wù)、多領(lǐng)域、多節(jié)點(diǎn)混合訓(xùn)練時(shí)，跨域數(shù)據(jù)的引入會(huì)為對(duì)比學(xué)習(xí)帶來(lái)噪音，影響模型表現(xiàn)。對(duì)此，通過(guò)重構(gòu)采樣器和加載器，保證一次 iteration 中，多個(gè) GPU 獲取的樣本嚴(yán)格出自同一數(shù)據(jù)集，并支持為它們?cè)O(shè)置差異化的 batch size 以充分平衡更新次數(shù)。
• 任務(wù)特定指令及損失：不同的檢索及匹配任務(wù)擁有不同的領(lǐng)域特點(diǎn)及評(píng)價(jià)標(biāo)準(zhǔn)。相較于不加區(qū)分地對(duì)待全體數(shù)據(jù)，差異性的設(shè)置可以在最大程度上為參數(shù)更新過(guò)程注入先驗(yàn)知識(shí)。經(jīng)過(guò)分析，我們針對(duì) STS 和 IR 這兩大類任務(wù)設(shè)計(jì)了不同的損失函數(shù)，同時(shí)支持配置個(gè)性化指令以靈活應(yīng)對(duì)下游任務(wù)。在這種方式下，通過(guò)與采樣器的聯(lián)合作用，每個(gè)批次將提供純粹的任務(wù)梯度，從而極大地避免強(qiáng)制適配時(shí)的潛在性能損失。
• 模型融合策略：以ModelSoups為代表的權(quán)重融合技術(shù)此前已被證實(shí)可以為CLIP等多模態(tài)模型帶來(lái)提升，而這一方案同樣適用于文本嵌入領(lǐng)域。在精調(diào)階段結(jié)束后，通過(guò)選取不同訓(xùn)練軌跡得到的模型，并精心設(shè)置它們的融合方式及權(quán)重，進(jìn)一步增強(qiáng)了網(wǎng)絡(luò)在各項(xiàng)任務(wù)的表現(xiàn)。 

1.1.4、任務(wù)定制損失

損失函數(shù)是模型優(yōu)化過(guò)程的目標(biāo)及主要參照，對(duì)于神經(jīng)網(wǎng)絡(luò)的性能具有重要影響。良好的損失函數(shù)應(yīng)充分貼近任務(wù)的評(píng)價(jià)指標(biāo)，從而為模型提供有效指導(dǎo)。

具體到編碼模型最主要的兩類應(yīng)用場(chǎng)景——文本語(yǔ)義相似性（STS）及信息檢索（IR）。STS任務(wù)采用Spearman相關(guān)系數(shù)作為根本指標(biāo)，該指標(biāo)通過(guò)計(jì)算樣本的預(yù)測(cè)排位與真實(shí)排位之差來(lái)衡量順序一致性。IR任務(wù)的核心指標(biāo)nDCG同樣是list-wise式的，但它更強(qiáng)調(diào)高位優(yōu)先性。鑒于在大部分IR任務(wù)中，與給定query相關(guān)的文檔其實(shí)非常稀少，因此將這些正樣本有效突出出來(lái)是提升模型表現(xiàn)的關(guān)鍵。

基于這兩類任務(wù)的差異性和共通性，我們?yōu)镾TS任務(wù)引入了多種順序性損失，希望模型從逆序?qū)?、分?jǐn)?shù)差異性等角度對(duì)Embedding分布進(jìn)行調(diào)整，以捕獲細(xì)粒度的語(yǔ)義區(qū)別。對(duì)于IR任務(wù)，則會(huì)在采集充分多的負(fù)樣本同時(shí)盡可能地?cái)U(kuò)大query和所有正樣本之間的相似度分?jǐn)?shù)，從而增強(qiáng)模型的判別能力。

1.1.5、模型效果

目前很多開源的Embedding模型在開源榜單測(cè)試集和業(yè)務(wù)側(cè)測(cè)試集上的效果沒(méi)法很好的平衡，往往顧此失彼。我們的apd-embedding-2b模型能夠在這兩種測(cè)試集上都達(dá)到比較好的效果。

我們驗(yàn)證了apd-embedding-2b模型在C-MTEB基準(zhǔn)測(cè)試中的表現(xiàn)，在中文IR任務(wù)和中文STS任務(wù)上均取得了SOTA的結(jié)果。

• 中文IR任務(wù) 

• 中文STS任務(wù)

同時(shí)我們也在業(yè)務(wù)集上進(jìn)行了實(shí)際測(cè)試，apd-embedding-2b以2B的參數(shù)量超越競(jìng)品4B、8B模型的效果，具體結(jié)果見下表：

1.2、Reranker模型

盡管向量模型的雙編碼器架構(gòu)在實(shí)際的檢索場(chǎng)景中計(jì)算效率高，耗時(shí)短，但它卻無(wú)法直接捕捉查詢文本和文檔文本之間的微妙關(guān)聯(lián)。為了提升檢索環(huán)節(jié)召回文檔的準(zhǔn)確性，需要采用基于LLM的Reranker模型對(duì)向量模型的檢索結(jié)果進(jìn)行重排序。這種方式可以有效捕捉到查詢文本和文檔文本之間深層次的語(yǔ)義關(guān)聯(lián)，從而給出更準(zhǔn)確的檢索結(jié)果。

1.2.1、Reranker模型升級(jí)為L(zhǎng)LM模型

傳統(tǒng)的Reranker模型通?；贐ERT、RoBERTa等模型進(jìn)行訓(xùn)練，包括BGE-Reranker-large、Jina-Reranker等，其模型參數(shù)量相對(duì)較?。?10M～400M），輸入長(zhǎng)度有限（512個(gè)token），對(duì)自然語(yǔ)言的理解能力遠(yuǎn)不及LLM。

為了提升Reranker模型在實(shí)際復(fù)雜場(chǎng)景中的表現(xiàn)，使用LLM訓(xùn)練Reranker模型成為必要方案。該方案能夠有效發(fā)揮LLM對(duì)復(fù)雜問(wèn)題和文檔的理解能力，從而提供更高質(zhì)量的文檔檢索結(jié)果，并且其所能支持的文本長(zhǎng)度更長(zhǎng)（達(dá)到8k甚至更長(zhǎng)）。同時(shí)，通過(guò)對(duì)特殊任務(wù)添加指令，模型也能夠適應(yīng)不同場(chǎng)景的重排序需求。下表是在某業(yè)務(wù)數(shù)據(jù)上進(jìn)行的評(píng)測(cè)：

1.2.2、分層知識(shí)蒸餾損失

對(duì)比學(xué)習(xí)損失是的Reranker模型訓(xùn)練時(shí)常用的損失函數(shù)，它的核心作用是幫助模型學(xué)習(xí)到區(qū)分相關(guān)和不相關(guān)查詢-文檔對(duì)的能力，從而有效地提升文檔的排序質(zhì)量。除此之外，知識(shí)蒸餾也是一種可用的訓(xùn)練策略。使用更強(qiáng)大的LLM作為教師模型，為查詢-文檔對(duì)給出更精確的相似度分?jǐn)?shù)，然后約束Reranker模型輸出和教師模型盡可能保持一致。這兩種損失均有助于模型提升文檔檢索能力，通?？梢詢烧叽钆湟黄鹗褂?。

為了進(jìn)一步發(fā)揮知識(shí)蒸餾的優(yōu)勢(shì)，我們對(duì)Reranker模型多個(gè)層級(jí)的Transformer的輸出添加約束，構(gòu)建分層（Layerwise）知識(shí)蒸餾損失。這種策略能夠強(qiáng)化模型在不同深度層給出較一致的查詢-文檔相似度分?jǐn)?shù)的能力，也稱層級(jí)輸出能力。如果訓(xùn)練數(shù)據(jù)中未提供教師模型給出的相似度分?jǐn)?shù)，則可以用模型最后一層的輸出狀態(tài)作為知識(shí)蒸餾的監(jiān)督信號(hào)，來(lái)約束之前的部分層輸出和最后一層一致的狀態(tài)，同樣可以實(shí)現(xiàn)分層知識(shí)蒸餾。

圖1.4. 分層知識(shí)蒸餾損失策略

使用該策略訓(xùn)練的Reranker模型具備層級(jí)輸出能力，允許用戶選擇模型不同層的輸出來(lái)計(jì)算最終的相關(guān)性分?jǐn)?shù)。這意味著用戶可以選擇使用模型較淺層或較深層的輸出來(lái)進(jìn)行重排序，這為檢索效率和性能提供了更大的靈活性。通過(guò)選擇合適的層，可以在性能和推理速度之間進(jìn)行權(quán)衡。

1.2.3、高質(zhì)量業(yè)務(wù)訓(xùn)練數(shù)據(jù)構(gòu)造

對(duì)于特定業(yè)務(wù)場(chǎng)景，通常缺乏領(lǐng)域適應(yīng)的高質(zhì)量訓(xùn)練數(shù)據(jù)用于Reranker模型的精調(diào)。對(duì)此，我們構(gòu)建了一套高效的數(shù)據(jù)自動(dòng)化構(gòu)造流程，能夠批量的清洗和構(gòu)造高質(zhì)量的訓(xùn)練數(shù)據(jù)。具體步驟如下：

• Query預(yù)處理（可選）：對(duì)于復(fù)雜問(wèn)題，可以優(yōu)先對(duì)問(wèn)題進(jìn)行拆解，用子問(wèn)題（或原問(wèn)題）借助向量模型進(jìn)行第一階段文檔檢索，同時(shí)檢查Query的明確性和拆解的合理性，去除無(wú)效的Query
• Query實(shí)體識(shí)別：對(duì)Query或子問(wèn)題進(jìn)行分析，識(shí)別其中所包含的有效實(shí)體，包括客觀實(shí)體和時(shí)間實(shí)體，以此作為文檔初篩的參考依據(jù)。
• 文檔實(shí)體召回：對(duì)于步驟1中檢索到的文檔，使用LLM判斷其中是否包含Query中存在的實(shí)體，并給出實(shí)體召回打分；客觀實(shí)體和時(shí)間實(shí)體需要分別打分，0為無(wú)召回，1為全部召回。
• 文檔初篩：根據(jù)實(shí)體召回結(jié)果，篩除實(shí)體召回打分均為0的文檔，不參與下一階段處理（這些文檔可視為簡(jiǎn)單負(fù)例）
• 文檔精評(píng)分：使用LLM對(duì)初篩后的文檔結(jié)合Query一起給出相關(guān)性打分（這一步的文檔數(shù)量將大幅度減少，提升精評(píng)分速度）
• 分?jǐn)?shù)校準(zhǔn)：對(duì)于打分后的文檔，根據(jù)實(shí)體召回的評(píng)分重新校準(zhǔn)分?jǐn)?shù)；這一步能有效緩解模型在評(píng)分時(shí)產(chǎn)生的幻覺，糾正一些LLM的不合理判斷。校準(zhǔn)后的分?jǐn)?shù)僅是針對(duì)單個(gè)Query的相對(duì)評(píng)分，只用于文檔排序
• 自適應(yīng)正負(fù)例篩選：

a.按照單個(gè)Query的分?jǐn)?shù)分布選取正例，遵循“高分突出的情況下固定正例數(shù)量    <=10”和“高分均衡的情況下保持最大分均為正例”兩個(gè)原則；

• 根據(jù)正例數(shù)量按固定比例確定負(fù)例數(shù)量，按分?jǐn)?shù)從高到低依次補(bǔ)齊負(fù)例，盡可能保留難負(fù)例。

圖1.5. 高相關(guān)性數(shù)據(jù)篩選流程

這套數(shù)據(jù)構(gòu)造流程的優(yōu)點(diǎn)在于：

• 通過(guò)實(shí)體召回對(duì)文檔進(jìn)行粗篩，能夠有效降低精評(píng)分步驟需要處理的文檔數(shù)量
• 通過(guò)實(shí)體召回打分對(duì)精評(píng)分進(jìn)行矯正，能夠有效避免LLM因?yàn)榛糜X打出錯(cuò)誤的高分或低分
• 自適應(yīng)正負(fù)例采樣策略保證了每個(gè)Query所構(gòu)造的正負(fù)例文檔都是高質(zhì)量且分布比例均衡

借助該數(shù)據(jù)構(gòu)造流程，目前已針對(duì)業(yè)務(wù)場(chǎng)景進(jìn)行了精調(diào)驗(yàn)證。根據(jù)業(yè)務(wù)評(píng)測(cè)報(bào)告，精調(diào)后的版本顯著優(yōu)于線上版本：

2.結(jié)構(gòu)化信息檢索

2.1、技術(shù)簡(jiǎn)介

在數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)的今天，企業(yè)內(nèi)部積累了海量的信息數(shù)據(jù)，其中，結(jié)構(gòu)化數(shù)據(jù)因其格式規(guī)整、語(yǔ)義明確，蘊(yùn)含著巨大的商業(yè)價(jià)值。然而，如何讓非技術(shù)人員也能輕松訪問(wèn)和分析這些數(shù)據(jù)，一直是業(yè)界的難題。

• 結(jié)構(gòu)化數(shù)據(jù)：具有固定格式和明確語(yǔ)義，如數(shù)據(jù)庫(kù)表格，便于計(jì)算機(jī)快速查詢和處理。
• 非結(jié)構(gòu)化數(shù)據(jù)：如文本文檔、圖片，無(wú)固定格式，語(yǔ)義理解難度大。

為應(yīng)對(duì)結(jié)構(gòu)化數(shù)據(jù)查詢的挑戰(zhàn)，我們基于經(jīng)典RAG框架融合Text2SQL技術(shù)，通過(guò)“理解-檢索-生成”的模式，將用戶的自然語(yǔ)言問(wèn)題高效轉(zhuǎn)化為精準(zhǔn)的數(shù)據(jù)結(jié)果。

2.2、方案總覽

2.2.1、多源數(shù)據(jù)檢索

結(jié)構(gòu)化數(shù)據(jù)常見數(shù)據(jù)源形態(tài)包括DB數(shù)據(jù)庫(kù)表、表格文件等，業(yè)務(wù)上通過(guò)支持不同數(shù)據(jù)源的載入，設(shè)計(jì)了基于文本切片檢索的RAG與Text2SQL融合的方案，將文本切片與text2sql查詢結(jié)果送給下游閱讀理解模型。閱讀理解模型會(huì)綜合兩類信息，生成更準(zhǔn)確、更全面的回答——既包含基于統(tǒng)計(jì)或字段的精確數(shù)據(jù)，也包含相關(guān)文本切片提供的上下文解釋或補(bǔ)充信息。  整體檢索問(wèn)答方案如下：

圖2.1. 不同數(shù)據(jù)源載入問(wèn)答系統(tǒng) 

2.2.2、Text2SQL核心技術(shù)

（1）自動(dòng)化數(shù)據(jù)合成和增強(qiáng)

數(shù)據(jù)合成對(duì)Text2SQL任務(wù)具有重要價(jià)值，主要體現(xiàn)在快速適配新場(chǎng)景和提升模型泛化能力兩方面。通過(guò)自動(dòng)化生成多語(yǔ)言的數(shù)據(jù)庫(kù)表結(jié)構(gòu)、自然語(yǔ)言問(wèn)題及帶推理過(guò)程的SQL答案對(duì)，系統(tǒng)能快速構(gòu)建適配不同數(shù)據(jù)庫(kù)方言（如SQLite、MySQL等）的訓(xùn)練數(shù)據(jù)。這種能力不僅顯著降低人工標(biāo)注成本，更重要的是使模型能預(yù)先學(xué)習(xí)到多樣化的schema結(jié)構(gòu)和查詢邏輯，當(dāng)面對(duì)真實(shí)業(yè)務(wù)中新出現(xiàn)的數(shù)據(jù)庫(kù)范式或查詢需求時(shí)，模型憑借合成數(shù)據(jù)訓(xùn)練獲得的"經(jīng)驗(yàn)"能更快實(shí)現(xiàn)性能收斂。特別是合成的"帶思考過(guò)程的SQL答案"通過(guò)顯式展現(xiàn)查詢邏輯的構(gòu)建路徑，有效增強(qiáng)了模型對(duì)復(fù)雜查詢的語(yǔ)義解析能力。

圖2.2. 數(shù)據(jù)合成方法

通過(guò)數(shù)據(jù)合成加訓(xùn)，對(duì)新場(chǎng)景提升效果如下：

（2）基于Agent的Text2SQL框架

Text2SQL 是一項(xiàng)將自然語(yǔ)言轉(zhuǎn)換為SQL的技術(shù)，它允許用戶通過(guò)日常語(yǔ)言與數(shù)據(jù)庫(kù)交互，而不需要掌握專業(yè)的SQL語(yǔ)法。在實(shí)際業(yè)務(wù)中落地應(yīng)用仍面臨諸多挑戰(zhàn)。例如領(lǐng)域知識(shí)的泛化能力，自然語(yǔ)言表達(dá)的多樣性與復(fù)雜性，語(yǔ)義不明確、不完整等。

我們提出基于大語(yǔ)言模型的多智能體（Multi-Agent）協(xié)作框架，該框架由三個(gè)Agent組成：

• 篩選器（Selector）：從眾多表中選擇相關(guān)表和列，減輕不相關(guān)信息的干擾；
• 分解器（Decomposer）：將復(fù)雜的問(wèn)題分解為子問(wèn)題并逐步解決它們；
• 優(yōu)化器（Refiner）：使用外部工具執(zhí)行SQL并獲取反饋，根據(jù)反饋信息優(yōu)化錯(cuò)誤的SQL。

圖2.3. MAC-SQL技術(shù)架構(gòu)概覽（中稿COLING 2025 [1]）

基于開源 BIRD 和 Spider 數(shù)據(jù)集，本框架配合自研的7B模型，執(zhí)行準(zhǔn)確率超過(guò)ChatGPT-3.5等。本框架的方法配合 GPT-4 使用，能夠達(dá)到SOTA的水平，遠(yuǎn)超單獨(dú)直接使用GPT-4的效果。

圖2.4. 效果對(duì)比

2.3、技術(shù)實(shí)踐與優(yōu)勢(shì)

2.3.1、表格文件場(chǎng)景

（1）高精度結(jié)構(gòu)化解析

由于Text2SQL僅支持標(biāo)準(zhǔn)結(jié)構(gòu)化表格，現(xiàn)實(shí)場(chǎng)景的表格文件會(huì)有許多非標(biāo)準(zhǔn)表格被排除在外。針對(duì)嵌套、合并等非標(biāo)準(zhǔn)情況，我們?cè)O(shè)計(jì)解析引擎-智能結(jié)構(gòu)化識(shí)別方案，將原本非結(jié)構(gòu)化表格自動(dòng)轉(zhuǎn)化為結(jié)構(gòu)化表格。調(diào)用智能結(jié)構(gòu)化解析，精度超過(guò)90%。主要階段包括：

• 階段①是否結(jié)構(gòu)化知識(shí)表格判斷
• 階段②表頭識(shí)別
• 階段③將原表格元素識(shí)別結(jié)果提取整合為可被Text2SQL查詢的結(jié)構(gòu)化表

圖2.5. 智能結(jié)構(gòu)化解析流程示意 

圖2.6. 非結(jié)構(gòu)化表格解析為結(jié)構(gòu)化表格效果

（2）靈活語(yǔ)義窗口切分

對(duì)于表格文件場(chǎng)景下的語(yǔ)義切片，支持可選窗口大小的切分策略，通過(guò)表頭屬性與表內(nèi)容的組合，在保留語(yǔ)義的同時(shí)，允許靈活配置多粒度切分方法：

（3）雙引擎SQL查詢

將解析后的結(jié)構(gòu)化表格數(shù)據(jù)存入Elasticsearch（ES）和MySQL，組成雙引擎檢索器。

圖2.7. SQL到ES/MySQL雙執(zhí)行引擎的路由

在雙引擎檢索架構(gòu)中，ES彌補(bǔ)了MySQL在模糊查詢和語(yǔ)義泛化上的局限性：

• 通過(guò)抽象語(yǔ)法樹解析SQL語(yǔ)句可以實(shí)現(xiàn)語(yǔ)法校驗(yàn)與自動(dòng)校正

抽象語(yǔ)法樹（AST）是源代碼語(yǔ)法結(jié)構(gòu)的一種抽象表示。它以樹狀的形式表現(xiàn)編程語(yǔ)言的語(yǔ)法結(jié)構(gòu)，樹上的每個(gè)節(jié)點(diǎn)都表示源代碼中的一種結(jié)構(gòu)。

圖2.8. SQL語(yǔ)句的AST及其動(dòng)作序列 (相關(guān)技術(shù)中稿ACL findings 2023[4])

• 利用ES強(qiáng)大的全文檢索能力處理模糊查詢，提升檢索召回
  以某售賣場(chǎng)景為例，若按照問(wèn)題中表述的售賣模式為'一次性售賣與租賃模式'，MySQL直接查詢執(zhí)行結(jié)果為空；若使用ES泛化查詢，則售賣模式模糊匹配可以找到'一次性售賣模式'和'租賃模式'，該策略有效提升了SQL值匹配不準(zhǔn)時(shí)查詢的召回率。

• 性能提升驗(yàn)證

基于SQL的ES查詢，首先將SQL語(yǔ)言通過(guò)AST解析，檢查SQL語(yǔ)法的正確性，對(duì)語(yǔ)法錯(cuò)誤的情況進(jìn)行校正，然后可以通過(guò)方言轉(zhuǎn)化將SQL AST轉(zhuǎn)化為ES的DSL語(yǔ)法進(jìn)行查詢召回。雙引擎表格查詢的評(píng)估結(jié)果如下：

2.3.2、通用DB場(chǎng)景

（1）表拼接與鏈接

針對(duì)Text2SQL的不同場(chǎng)景需要，提供DDL / SimpleDDL兩種數(shù)據(jù)schema的提示詞范式。

• “DDL”（數(shù)據(jù)定義語(yǔ)言）包含標(biāo)準(zhǔn)化語(yǔ)言，其中包括定義數(shù)據(jù)庫(kù)結(jié)構(gòu)和屬性的命令，提供創(chuàng)建數(shù)據(jù)庫(kù)所需的詳細(xì)信息，包括列類型和主鍵/外鍵。 相關(guān)信息輸入健全，輸入長(zhǎng)，查詢慢。
• 簡(jiǎn)化的 “SimpleDDL ”只提供表名和列名。相關(guān)信息輸入簡(jiǎn)潔，輸入短，查詢快。

表鏈接引入語(yǔ)義向量，為大模型SQL生成提供可靠的依據(jù)：

• Schema: 數(shù)據(jù)庫(kù)的邏輯結(jié)構(gòu)，描述數(shù)據(jù)的組織形式，包括表、字段、關(guān)系、約束等。定義數(shù)據(jù)如何存儲(chǔ)、關(guān)聯(lián)和驗(yàn)證。

a.例如：學(xué)生數(shù)據(jù)庫(kù) Schema 可能包含 學(xué)生表（學(xué)號(hào)、姓名、年齡）和 課程表（課程ID、課程名），并通過(guò)外鍵關(guān)聯(lián)選課記錄。

• Schema Linking（模式鏈接）: 指將Query與數(shù)據(jù)庫(kù)模式（Schema）中的元素進(jìn)行關(guān)聯(lián)的過(guò)程。關(guān)注表和字段的映射（如 "學(xué)生" → student 表）
• Value Linking（值鏈接）: 指將Query中的具體值（如數(shù)字、日期等）與數(shù)據(jù)庫(kù)中的實(shí)際存儲(chǔ)值進(jìn)行匹配和關(guān)聯(lián)的過(guò)程。確保查詢條件（where）中的值能正確映射到數(shù)據(jù)庫(kù)中的對(duì)應(yīng)字段值。關(guān)注查詢條件值的映射，如：

a.識(shí)別查詢中的條件值（如 "年齡大于20" → age > 20）

b.處理模糊或非標(biāo)準(zhǔn)表達(dá)（如 "上個(gè)月" → date >= '2023-09-01'）

c.匹配數(shù)據(jù)庫(kù)存儲(chǔ)的格式（如 "張偉" → 數(shù)據(jù)庫(kù)可能存儲(chǔ)為 '張偉' 或 'Zhang Wei'）

d.處理同義詞或縮寫（如 "CS" → "Computer Science"）

利用語(yǔ)義向量拼接提示語(yǔ)生成SQL，執(zhí)行準(zhǔn)確率結(jié)果如下：

（2）改寫信號(hào)拆解與融合

為了將上下文改寫信號(hào)更好的融入Text2SQL模型中，我們對(duì)復(fù)雜查詢場(chǎng)景采用拆解策略，將復(fù)雜查詢拆分為多個(gè)簡(jiǎn)單查詢；對(duì)多輪交互場(chǎng)景采用基于編輯矩陣 (包含插入和替換操作)的改寫信號(hào)表示方法，該編輯矩陣與表格-文本鏈接關(guān)系矩陣融合，一并融入到self-attention中。通過(guò)改寫信號(hào)的拆解與融合，可以顯著提升模型在SQL解析過(guò)程中對(duì)上下文語(yǔ)義的理解能力。

圖2.9. 改寫技術(shù)示意圖（中稿EMNLP  2022 [2]、PRICAI 2023[3]）

（3）SQL查詢與計(jì)算

Text2SQL技術(shù)作為連接自然語(yǔ)言與數(shù)據(jù)庫(kù)查詢的智能橋梁，能夠準(zhǔn)確捕捉用戶查詢意圖，并將其映射為結(jié)構(gòu)化的數(shù)據(jù)庫(kù)操作指令，在保持語(yǔ)義完整性的同時(shí)嚴(yán)格遵循SQL語(yǔ)法規(guī)范。應(yīng)用Text2SQL技術(shù)具有以下優(yōu)勢(shì)：①多維度查詢支持 ②智能條件處理 ③語(yǔ)義理解與擴(kuò)展

• 常見能力覆蓋如下：

• 騰訊云智能體開發(fā)平臺(tái)實(shí)踐效果示例：

2.4、問(wèn)答推理與潤(rùn)色

問(wèn)答系統(tǒng)中通過(guò)閱讀理解模型進(jìn)行答案推理與潤(rùn)色，能夠顯著提升Text2SQL直接查詢結(jié)果的可讀性，同時(shí)實(shí)現(xiàn)以下優(yōu)勢(shì)：

（1）精準(zhǔn)性與語(yǔ)義理解的統(tǒng)一

• Text2SQL可直接獲取結(jié)構(gòu)化數(shù)據(jù)中的關(guān)鍵字段或計(jì)算結(jié)果，確保查詢的精確性。
• 文本切片檢索提供語(yǔ)義層面的靈活匹配，豐富回答依據(jù)的信息量。

（2）復(fù)雜問(wèn)題的高效處理

對(duì)于需要結(jié)合結(jié)構(gòu)化查詢與文本推理的復(fù)雜問(wèn)題（如推理分析、趨勢(shì)解讀等），模型可同時(shí)利用：

• 數(shù)據(jù)庫(kù)字段的精確查詢結(jié)果。
• 關(guān)聯(lián)問(wèn)題的描述性內(nèi)容。

生成兼具數(shù)據(jù)支撐與語(yǔ)義連貫的綜合回答。

3.GraphRAG

3.1、自研GraphRAG-Benchmark

當(dāng)前GraphRAG技術(shù)發(fā)展還處于初期階段，業(yè)界缺少專門針對(duì)GraphRAG評(píng)測(cè)的規(guī)范數(shù)據(jù)集，同時(shí)缺少不同GraphRAG方法在相同benchmark下統(tǒng)一的效果評(píng)價(jià)方式，因此今年6月份優(yōu)圖發(fā)布了自研的GraphRAG benchmark[5][6]。

優(yōu)圖實(shí)驗(yàn)室GraphRAG-Bench在多個(gè)領(lǐng)域構(gòu)建了不同類型的問(wèn)題，構(gòu)建了適合衡量GraphRAG效果的復(fù)雜推理數(shù)據(jù)，并提出了一套完備的效果評(píng)估流程。

圖3.1. GraphRAG-Bench構(gòu)建邏輯及評(píng)測(cè)設(shè)計(jì)

在優(yōu)圖實(shí)驗(yàn)室的GraphRAG-Bench中，我們?cè)O(shè)計(jì)了四個(gè)維度來(lái)評(píng)價(jià)GraphRAG框架的質(zhì)量，并對(duì)當(dāng)前主流的GrphRAG框架進(jìn)行了評(píng)測(cè)分析。四個(gè)維度分別是：

• 構(gòu)圖成本：構(gòu)圖成本主要評(píng)估從原始文本數(shù)據(jù)離線構(gòu)建圖譜過(guò)程中的時(shí)間和token消耗。在我們的測(cè)評(píng)中，HippoRAG、DALK，ToG，GFM-RAG四種方法在構(gòu)建圖譜的時(shí)間消耗相當(dāng)，RAPTOR方法在圖譜構(gòu)建過(guò)程中token的消耗量具有顯著優(yōu)勢(shì)。
• 檢索效率：檢索效率主要評(píng)估每次查詢對(duì)圖譜檢索的平均時(shí)長(zhǎng)，在9種方法中，RAPTOR因?yàn)橹饕蕾囅蛄繖z索，速度最快；依賴GNN為代表的GFM-RAG框架速度達(dá)到秒級(jí)，以LightRAG為代表的圖檢索方法平均時(shí)長(zhǎng)在十幾秒級(jí)。
• 回復(fù)準(zhǔn)確率：用于評(píng)估各個(gè)框架在不同類別的任務(wù)下，回答問(wèn)題的準(zhǔn)確性。經(jīng)評(píng)測(cè)，GFM-RAG、GraphRAG、HippoRAG和Raptor方法平均準(zhǔn)確率效果領(lǐng)先。
• 推理能力：所有GraphRAG方法顯著提高了LLM的推理能力，增加了生成正確理由的概率。HippoRAG和RAPTOR在推理能力上表現(xiàn)最佳，這與它們檢索有用信息的能力密切相關(guān)。

3.2、自研GraphRAG框架

當(dāng)前以知識(shí)圖譜為主要知識(shí)組織形式的第一大類框架有 GraphRAG和LightRAG等，這類方法將知識(shí)粒度細(xì)化，但是缺點(diǎn)在于構(gòu)圖和檢索的質(zhì)量和效率偏低，難以在生產(chǎn)環(huán)境使用；

第二大類是樹結(jié)構(gòu)方案，代表框架有RAPTOR和E2GraphRAG等，這類方法通過(guò)層次化迭代對(duì)文本切片進(jìn)行知識(shí)總結(jié)，但是構(gòu)圖和總結(jié)高度依賴大模型且無(wú)法挖掘細(xì)粒度知識(shí)之間的關(guān)系。

3.2.1、領(lǐng)域圖譜構(gòu)建的質(zhì)量和效率提升

我們通過(guò)融入兩類方法的優(yōu)點(diǎn)，每個(gè)節(jié)點(diǎn)類型都有特定的功能和角色：實(shí)體和關(guān)系節(jié)點(diǎn)用于連接語(yǔ)義單元；屬性節(jié)點(diǎn)用于表示實(shí)體的特征；社區(qū)節(jié)點(diǎn)用于總結(jié)社區(qū)的核心信息。這種異構(gòu)圖結(jié)構(gòu)使得優(yōu)圖GraphRAG能夠?qū)崿F(xiàn)更細(xì)粒度的檢索和理解，從而提高整體性能，形成效果和效率均更貼近落地可用的創(chuàng)新GraphRAG方案。

圖3.2. Knowledge Tree與當(dāng)前基于圖/樹的GraphRAG 方法對(duì)比及優(yōu)勢(shì)

（1）通過(guò)知識(shí)樹對(duì)知識(shí)進(jìn)行有效組織

• 構(gòu)建屬性、知識(shí)圖(三元組)、關(guān)鍵詞、社區(qū)四級(jí)知識(shí)粒度的樹型圖譜結(jié)構(gòu)，實(shí)現(xiàn)了對(duì)文本知識(shí)的精確多級(jí)整合，從效果和效率上超越現(xiàn)有圖和樹的兩類方案；
• 同時(shí)保留了 圖的細(xì)粒度知識(shí)推理 和 樹的層次化匯總摘要。

（2）對(duì)GraphRAG社區(qū)檢測(cè)進(jìn)行創(chuàng)新 S2Dual-perception

圖3.3. 通過(guò)稀疏鄰接矩陣的結(jié)構(gòu)感知以及子圖語(yǔ)義相似度的語(yǔ)義感知提出的社區(qū)檢測(cè)算法

現(xiàn)有的圖社區(qū)檢測(cè)SOTA算法Leiden存在如下問(wèn)題：

• 強(qiáng)制按照連接性劃分社區(qū)，過(guò)分依賴圖構(gòu)建質(zhì)量，限制了推理發(fā)現(xiàn)和補(bǔ)全能力；
• 效率低下，全圖遍歷單個(gè)節(jié)點(diǎn)不斷計(jì)算與當(dāng)前社區(qū)合并后的質(zhì)量函數(shù)后更新社區(qū)，不適用于大規(guī)模圖數(shù)據(jù)。
• 為了解決這些缺陷，我們同時(shí)利用拓?fù)浣Y(jié)構(gòu)Structure和子圖語(yǔ)義信息Semantics，生成更高質(zhì)量的社區(qū)總結(jié)和發(fā)現(xiàn)，實(shí)現(xiàn)對(duì)結(jié)構(gòu)化知識(shí)的高效組織，克服傳統(tǒng)社區(qū)檢測(cè)算法的局限性。
• 通過(guò)稀疏鄰接矩陣計(jì)算Jaccard相似度量化錨節(jié)點(diǎn)與社區(qū)子圖間的拓?fù)渲睾隙?，反映錨節(jié)點(diǎn)與候選社區(qū)中鄰居間的連接強(qiáng)度；
• 編碼錨節(jié)點(diǎn)的特征與候選社區(qū)的子圖特征捕捉語(yǔ)義重合度，反映錨節(jié)點(diǎn)與候選社區(qū)子圖的文本相似度。

（3）支持不同領(lǐng)域的圖Schema結(jié)構(gòu)自適應(yīng)優(yōu)化

通過(guò)預(yù)置三大類的中英文領(lǐng)域圖Schema包括人物、事件和概念中的實(shí)體類型、關(guān)系類型和屬性類型+ 在構(gòu)圖時(shí)大模型的Schema信息補(bǔ)充，來(lái)自適應(yīng)調(diào)整最合適特定領(lǐng)域的構(gòu)圖Schema，在保證特定領(lǐng)域抽取質(zhì)量的同時(shí)減少人工干預(yù)。

3.2.2、優(yōu)化復(fù)雜query的理解和推理

領(lǐng)域內(nèi)對(duì)復(fù)雜Query理解缺乏關(guān)注，現(xiàn)有baseline在Query查詢過(guò)程中主要以文本切片和摘要的語(yǔ)義向量相似度進(jìn)行直接檢索，但復(fù)雜長(zhǎng)難句Query的向量直接匹配效果較差，導(dǎo)致難以真正理解復(fù)雜多跳Query。

圖3.4.  Agentic GraphQ，基于圖譜Schema進(jìn)行復(fù)雜問(wèn)題的針對(duì)性解耦

（1）復(fù)雜Query理解

圖Schema當(dāng)前在AutoSchemaKG及優(yōu)圖GraphRAG的兩個(gè)方法中被用于提升構(gòu)圖質(zhì)量。針對(duì)復(fù)雜長(zhǎng)難Query理解，我們首次提出將圖Schema應(yīng)用到Query理解和子任務(wù)解耦上，幫助模型對(duì)復(fù)雜多跳Query中的關(guān)鍵實(shí)體、關(guān)系和屬性精準(zhǔn)定位。

• 首次提出圖譜Schema感知的復(fù)雜Query理解模塊AgenticGraphQ。通過(guò)Agent對(duì)Schema的理解，挖掘Query中{Entity} / {Relation}/ {Attribute}之間的隱式關(guān)系和依存句法，實(shí)現(xiàn)多跳向單跳簡(jiǎn)化的子任務(wù)解耦；
• 基于Schema，結(jié)合Query理解和圖譜推理，大幅度提升復(fù)雜Query的理解能力及關(guān)鍵實(shí)體、關(guān)系等重要信息的定位能力；
• 通過(guò)將Query簡(jiǎn)化，輕量推理即可完成解耦后的子任務(wù)，極大降低下游對(duì)推理模型的依賴，模型減重。

（2）高效多路檢索

• 主題詞匹配或關(guān)鍵詞檢索；
• 采用Query-Triple的三元組向量匹配并對(duì)結(jié)果進(jìn)行相關(guān)性剪枝，融入更多結(jié)構(gòu)和語(yǔ)義信息，取代傳統(tǒng)Query-Node的單一向量匹配方案；
• 基于路徑的DFS鄰居檢索

3.2.3、框架效果

經(jīng)實(shí)驗(yàn)對(duì)比，相比當(dāng)前主流開源GraphRAG框架（如微軟GraphRAG、LightRAG等），優(yōu)圖GraphRAG框架在構(gòu)圖成本和回答準(zhǔn)確率上有大幅度的優(yōu)化。

（1）構(gòu)圖成本

在hotpotQA、2wiki和musique三個(gè)開源數(shù)據(jù)集上對(duì)比評(píng)測(cè)，優(yōu)圖GraphRAG的構(gòu)圖效率大幅提升。在社區(qū)檢測(cè)上首次提出創(chuàng)新，相比當(dāng)前社區(qū)檢測(cè)的SOTA算法Leiden，效率提升近100%。

優(yōu)圖實(shí)驗(yàn)室GraphRAG的大模型調(diào)用成本顯著降低。在hotpotQA數(shù)據(jù)集構(gòu)圖階段，微軟GraphRAG(Global)消耗token量為億級(jí)，LightRAG構(gòu)圖token消耗量在千萬(wàn)級(jí)，優(yōu)圖GraphRAG在相同的數(shù)據(jù)上構(gòu)圖的大模型調(diào)用成本降低到百萬(wàn)級(jí)。

（2）檢索效果提升

效果方面，優(yōu)圖實(shí)驗(yàn)室GraphRAG對(duì)比微軟GraphRAG(Global) 提升200%+、對(duì)比LightRAG提升20%-100%，在GraphRAG專注的復(fù)雜數(shù)據(jù)集上效果提升顯著。

未來(lái)展望

目前，我們的RAG技術(shù)已在汽車、文旅、泛政、金融等多個(gè)行業(yè)成功落地，深度助力騰訊云智能客服、QQ瀏覽器、IMA等騰訊內(nèi)部產(chǎn)品。隨著大語(yǔ)言模型和RAG技術(shù)的快速發(fā)展，我們也將持續(xù)打磨技術(shù)架構(gòu)，提升原子能力效果，也將圍繞Agentic RAG、精細(xì)化、低成本的趨勢(shì)進(jìn)一步實(shí)踐：

（1） Agentic RAG：通過(guò)引入智能體技術(shù)，實(shí)現(xiàn)復(fù)雜問(wèn)題的自動(dòng)化分解和多步驟推理。結(jié)合動(dòng)態(tài)規(guī)劃、實(shí)時(shí)反饋和工具調(diào)用能力，提升系統(tǒng)在復(fù)雜場(chǎng)景下的推理準(zhǔn)確性和解釋性。

（2） 精細(xì)化與低成本：以GraphRAG作為新興技術(shù)的代表，在保障精細(xì)化知識(shí)管理優(yōu)勢(shì)的同時(shí)，重點(diǎn)優(yōu)化構(gòu)圖成本和計(jì)算效率。通過(guò)動(dòng)態(tài)增量式更新、輕量化建模等技術(shù)手段，降低部署門檻，使技術(shù)更普惠。

未來(lái)的RAG技術(shù)將不再局限于簡(jiǎn)單的“檢索-生成”的線性流程，而是發(fā)展為“規(guī)劃-決策-檢索-驗(yàn)證-推理”一體化閉環(huán)智能系統(tǒng)。也期待更多業(yè)界伙伴與我們攜手，共同探索RAG技術(shù)在更廣泛場(chǎng)景的創(chuàng)新應(yīng)用，推動(dòng)產(chǎn)業(yè)智能化升級(jí)！

參考文獻(xiàn)

[1]MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL,COLING,2025.

[2]Cqr-sql: Conversational question reformulation enhanced context-dependent text-to-sql parsers,EMNLP,2022.

[3]QURG: Question rewriting guided context-dependent text-to-SQL semantic parsing,PRICAI,2023.

[4]G3R: A Graph-Guided Generate-and-Rerank Framework for Complex and Cross-domain Text-to-SQL Generation,ACL,2023.

[5]GraphRAG-Bench: Challenging Domain-Specific Reasoning for Evaluating Graph Retrieval-Augmented Generation, arxiv,2025.

[6]首個(gè)！騰訊優(yōu)圖聯(lián)合香港理工大學(xué)發(fā)布為GraphRAG設(shè)計(jì)的評(píng)測(cè)基準(zhǔn)+數(shù)據(jù)集