知識圖譜推理新sota,兼顧性能+效率!中科大新作 | NeurIPS'25
知識圖譜推理(Knowledge Graph Reasoning)是人工智能的重要組成部分,在問答系統(tǒng)、推薦系統(tǒng)、語義檢索和知識增強大模型等場景中具有廣泛應用。
然而,隨著知識圖譜規(guī)模的爆炸式增長,現(xiàn)有推理方法在計算效率、模型表達能力和泛化能力方面面臨巨大挑戰(zhàn)。
現(xiàn)有知識圖譜推理方法主要存在以下三類問題:
- 推理效率低:隨著知識圖譜實體規(guī)模增長,候選實體空間極速膨脹,導致推理階段計算成本急劇上升;
- 表達能力不足:輕量級嵌入模型雖計算高效,但難以捕捉多跳關(guān)系和高階語義結(jié)構(gòu);
- 過平滑問題突出:基于全局注意力或深層GNN的方法容易在圖上過度聚合信息,導致表示不具判別力(如圖1所示)。
這些瓶頸嚴重限制了知識圖譜推理在真實大規(guī)模場景中的落地。

圖1 知識圖譜推理模型區(qū)分能力對比
為此,中科大研究團隊在NeurIPS 2025上提出了DuetGraph:一種雙階段粗到細推理框架,并創(chuàng)新性地引入了Dual-Pathway Global-Local Fusion Model(雙通路全局-局部特征融合模型)。

論文鏈接:https://arxiv.org/pdf/2507.11229
代碼鏈接:https://github.com/USTC-DataDarknessLab/DuetGraph.git
DuetGraph在推理精度與推理效率之間實現(xiàn)了新的平衡,為高效大規(guī)模知識推理提供了可落地的系統(tǒng)性解決方案。
DuetGraph解決方案
粗到細的協(xié)同推理
DuetGraph的核心思想是將推理拆分為粗粒度召回和細粒度精排兩個階段,在候選空間和模型表達能力之間取得平衡:
- 粗粒度階段(Coarse Reasoning)使用高效的知識圖譜嵌入模型在全圖范圍內(nèi)進行快速推理,召回一小部分高概率候選實體,從而大幅縮小搜索空間。
- 細粒度階段(Fine Reasoning)對召回的候選實體使用更具表達力的推理模型進行高質(zhì)量排序,實現(xiàn)復雜推理路徑的精準捕捉。
這種兩階段的Coarse-to-Fine架構(gòu),將原本不可承受的全圖精排,轉(zhuǎn)化為在小規(guī)模候選集上的高效精排,使得性能與計算成本得到兼顧。
雙通路全局-局部特征融合模型
在細粒度推理階段,DuetGraph并未簡單采用傳統(tǒng)的單一的Transformer和GNN路徑,而是設(shè)計了一個創(chuàng)新的雙通路架構(gòu):
- Local-Pathway:利用圖神經(jīng)網(wǎng)絡(luò)(GNN)建模局部結(jié)構(gòu)信息,捕捉實體之間的鄰域交互模式,強調(diào)局部語義一致性;
- Global-Pathway:采用Transformer的全局注意力機制捕捉全局結(jié)構(gòu)依賴,挖掘長距離、多跳推理路徑信息。
為了避免簡單拼接帶來的信息冗余和過平滑,DuetGraph引入了Adaptive Fusion 模塊,通過一個自適應參數(shù)α在局部路徑與全局路徑之間進行動態(tài)加權(quán),實現(xiàn):

其中α可在訓練過程中自動學習,適應不同關(guān)系模式和上下文復雜度。這一機制兼具局部魯棒性與全局表達能力,使 DuetGraph在復雜推理任務(wù)中具有更強的泛化性。

圖 2 DuetGraph框架示意圖
理論分析
在知識圖譜推理中,過平滑(over-smoothing) 是影響推理精度的核心瓶頸之一。
隨著傳播層數(shù)增加,實體的表示逐漸趨同,正確答案與干擾實體之間的得分差距被快速抹平,從而導致模型的判別能力下降。
DuetGraph 在理論設(shè)計上,通過雙通路全局-局部特征融合(Dual-Pathway Global-Local Fusion)和粗到細推理(Coarse-to-Fine Reasoning),在結(jié)構(gòu)上減緩了得分收斂速度,并在推理過程中放大了正確與錯誤實體的得分差距,從而顯著緩解過平滑問題。
雙通路融合:從結(jié)構(gòu)上減緩過平滑
傳統(tǒng)單通路模型通常將GNN和Transformer串聯(lián),會導致特征經(jīng)過多層傳播后快速趨同,使得實體得分的上界以指數(shù)形式收斂。
DuetGraph將推理分解為局部路徑(Local Pathway)和全局路徑(Global Pathway),并通過自適應融合參數(shù)α對兩路輸出進行動態(tài)加權(quán)。
從理論上來看,模型中得分差距的收斂速度與其特征傳播矩陣的最大奇異值(σ(max))直接相關(guān)。
- 單路徑模型的傳播矩陣
較小, 因此得分差異在多層傳播后被迅速壓縮; - 雙通路模型的傳播矩陣
,由于引入了包含α的加權(quán)融合機制,其理論上界顯著大于單路徑模型,即

在實際訓練過程中,α的取值始終處于穩(wěn)定且合理的范圍,使得該不等式始終成立,即

這意味著在相同傳播深度下,雙通路模型的得分差距上界下降得更慢,模型更不容易陷入過平滑狀態(tài)。
換句話說,DuetGraph在模型結(jié)構(gòu)層面天然具備抗過平滑能力,即便在大規(guī)模圖和多跳推理場景中,也能保持對實體間差異的敏感性。
粗到細推理:放大得分差距,增強判別力
除了結(jié)構(gòu)上的改進,DuetGraph在推理過程中進一步引入粗粒度 + 細粒度的兩階段策略。
在粗粒度階段,模型首先利用輕量級推理機制快速篩選出一小部分高概率候選實體,并劃分為高分子集與低分子集;
在細粒度階段,對兩個子集分別使用雙通路模型精排,并通過設(shè)定閾值Δ來動態(tài)選擇最優(yōu)答案。
理論推導表明,由于低分子集
的規(guī)模遠大于高分子集
,二者得分的期望差值滿足:

其中σ為實體得分的標準差。
在實際數(shù)據(jù)集(如FB15k-237)上,的比例可超過1000,因此兩者的得分下界差值可達0.1σ以上,而傳統(tǒng)單階段推理的得分差距通常不足0.02σ這種顯著的得分差距放大,使模型在最終決策時擁有更加清晰的判斷邊界,從而有效提高正確實體的命中率P:

實驗評估
在多個大規(guī)模知識圖譜基準數(shù)據(jù)集上對DuetGraph進行了系統(tǒng)評估,涵蓋Transductive與Inductive兩類推理場景。
結(jié)果表明,DuetGraph取得了顯著性能提升:
- 推理質(zhì)量:在Transductive場景中,DuetGraph在Hits@K和MRR等指標上全面超越Baseline模型,充分彰顯了其卓越的推理質(zhì)量與精確性。

- 泛化能力:在更具挑戰(zhàn)性的Inductive場景中,DuetGraph的表現(xiàn)進一步領(lǐng)先于其他Baseline方法,凸顯了其在未見三元組上的強大泛化能力與穩(wěn)健性。

- 推理效率與可擴展性:無論是在訓練階段還是在超大規(guī)模知識圖譜上的推理階段,DuetGraph都表現(xiàn)出顯著的時間優(yōu)勢,充分驗證了其高效的推理能力和良好的大規(guī)模數(shù)據(jù)可擴展性。

- 魯棒性:當更換了不同的粗粒度模型后,DuetGraph依然能夠保持SOTA的性能,充分體現(xiàn)了其出色的魯棒性與穩(wěn)定性。

- 通用性:DuetGraph不僅在知識圖譜補全任務(wù)中表現(xiàn)優(yōu)異,在三元組分類等其他知識圖譜任務(wù)上同樣展現(xiàn)出出色的性能,體現(xiàn)了其良好的任務(wù)適應性與廣泛適用性。

未來展望
靈活模型組合:DuetGraph框架支持在保持細粒度模型不變的前提下靈活更換粗粒度模型,從而適配不同的任務(wù)場景與應用需求。
與LLM融合:未來將探索將DuetGraph與大語言模型結(jié)合,提升結(jié)構(gòu)化知識推理能力;
真實場景落地:在推薦、搜索、金融風控、問答等高復雜度推理任務(wù)中具有巨大潛力。
































