偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

知識圖譜推理新sota,兼顧性能+效率!中科大新作 | NeurIPS'25

人工智能 新聞
知識圖譜推理是人工智能的關(guān)鍵技術(shù),在多領(lǐng)域有廣泛應用,但現(xiàn)有方法存在推理效率低、表達能力不足、過平滑問題等挑戰(zhàn)。中科大研究團隊提出DuetGraph,采用雙階段粗到細推理框架與雙通路全局 - 局部特征融合模型,實現(xiàn)推理精度與效率的平衡,為大規(guī)模知識推理提供解決方案。

知識圖譜推理(Knowledge Graph Reasoning)是人工智能的重要組成部分,在問答系統(tǒng)、推薦系統(tǒng)、語義檢索和知識增強大模型等場景中具有廣泛應用。

然而,隨著知識圖譜規(guī)模的爆炸式增長,現(xiàn)有推理方法在計算效率、模型表達能力和泛化能力方面面臨巨大挑戰(zhàn)。

現(xiàn)有知識圖譜推理方法主要存在以下三類問題:

  • 推理效率低:隨著知識圖譜實體規(guī)模增長,候選實體空間極速膨脹,導致推理階段計算成本急劇上升;
  • 表達能力不足:輕量級嵌入模型雖計算高效,但難以捕捉多跳關(guān)系和高階語義結(jié)構(gòu);
  • 過平滑問題突出:基于全局注意力或深層GNN的方法容易在圖上過度聚合信息,導致表示不具判別力(如圖1所示)。

這些瓶頸嚴重限制了知識圖譜推理在真實大規(guī)模場景中的落地。

圖1 知識圖譜推理模型區(qū)分能力對比

為此,中科大研究團隊在NeurIPS 2025上提出了DuetGraph:一種雙階段粗到細推理框架,并創(chuàng)新性地引入了Dual-Pathway Global-Local Fusion Model(雙通路全局-局部特征融合模型)。

論文鏈接:https://arxiv.org/pdf/2507.11229

代碼鏈接:https://github.com/USTC-DataDarknessLab/DuetGraph.git

DuetGraph在推理精度與推理效率之間實現(xiàn)了新的平衡,為高效大規(guī)模知識推理提供了可落地的系統(tǒng)性解決方案。

DuetGraph解決方案

粗到細的協(xié)同推理

DuetGraph的核心思想是將推理拆分為粗粒度召回細粒度精排兩個階段,在候選空間和模型表達能力之間取得平衡:

  1. 粗粒度階段(Coarse Reasoning)使用高效的知識圖譜嵌入模型在全圖范圍內(nèi)進行快速推理,召回一小部分高概率候選實體,從而大幅縮小搜索空間。
  2. 細粒度階段(Fine Reasoning)對召回的候選實體使用更具表達力的推理模型進行高質(zhì)量排序,實現(xiàn)復雜推理路徑的精準捕捉。

這種兩階段的Coarse-to-Fine架構(gòu),將原本不可承受的全圖精排,轉(zhuǎn)化為在小規(guī)模候選集上的高效精排,使得性能與計算成本得到兼顧。

雙通路全局-局部特征融合模型

在細粒度推理階段,DuetGraph并未簡單采用傳統(tǒng)的單一的TransformerGNN路徑,而是設(shè)計了一個創(chuàng)新的雙通路架構(gòu):

  • Local-Pathway:利用圖神經(jīng)網(wǎng)絡(luò)(GNN)建模局部結(jié)構(gòu)信息,捕捉實體之間的鄰域交互模式,強調(diào)局部語義一致性;
  • Global-Pathway:采用Transformer的全局注意力機制捕捉全局結(jié)構(gòu)依賴,挖掘長距離、多跳推理路徑信息。

為了避免簡單拼接帶來的信息冗余和過平滑,DuetGraph引入了Adaptive Fusion 模塊,通過一個自適應參數(shù)α在局部路徑與全局路徑之間進行動態(tài)加權(quán),實現(xiàn):

其中α可在訓練過程中自動學習,適應不同關(guān)系模式和上下文復雜度。這一機制兼具局部魯棒性與全局表達能力,使 DuetGraph在復雜推理任務(wù)中具有更強的泛化性。

圖 2 DuetGraph框架示意圖

理論分析

在知識圖譜推理中,過平滑(over-smoothing) 是影響推理精度的核心瓶頸之一。

隨著傳播層數(shù)增加,實體的表示逐漸趨同,正確答案與干擾實體之間的得分差距被快速抹平,從而導致模型的判別能力下降。

DuetGraph 在理論設(shè)計上,通過雙通路全局-局部特征融合(Dual-Pathway Global-Local Fusion)粗到細推理(Coarse-to-Fine Reasoning),在結(jié)構(gòu)上減緩了得分收斂速度,并在推理過程中放大了正確與錯誤實體的得分差距,從而顯著緩解過平滑問題。

雙通路融合:從結(jié)構(gòu)上減緩過平滑

傳統(tǒng)單通路模型通常將GNNTransformer串聯(lián),會導致特征經(jīng)過多層傳播后快速趨同,使得實體得分的上界以指數(shù)形式收斂。

DuetGraph將推理分解為局部路徑(Local Pathway)全局路徑(Global Pathway),并通過自適應融合參數(shù)α對兩路輸出進行動態(tài)加權(quán)。

從理論上來看,模型中得分差距的收斂速度與其特征傳播矩陣的最大奇異值(σ(max))直接相關(guān)。

  • 單路徑模型的傳播矩陣較小, 因此得分差異在多層傳播后被迅速壓縮;

  • 雙通路模型的傳播矩陣,由于引入了包含α的加權(quán)融合機制,其理論上界顯著大于單路徑模型,即

在實際訓練過程中,α的取值始終處于穩(wěn)定且合理的范圍,使得該不等式始終成立,即

這意味著在相同傳播深度下,雙通路模型的得分差距上界下降得更慢,模型更不容易陷入過平滑狀態(tài)。 

換句話說,DuetGraph在模型結(jié)構(gòu)層面天然具備抗過平滑能力,即便在大規(guī)模圖和多跳推理場景中,也能保持對實體間差異的敏感性。

粗到細推理:放大得分差距,增強判別力

除了結(jié)構(gòu)上的改進,DuetGraph在推理過程中進一步引入粗粒度 + 細粒度的兩階段策略。 

在粗粒度階段,模型首先利用輕量級推理機制快速篩選出一小部分高概率候選實體,并劃分為高分子集與低分子集; 

在細粒度階段,對兩個子集分別使用雙通路模型精排,并通過設(shè)定閾值Δ來動態(tài)選擇最優(yōu)答案。

理論推導表明,由于低分子集的規(guī)模遠大于高分子集,二者得分的期望差值滿足:

其中σ為實體得分的標準差。

在實際數(shù)據(jù)集(如FB15k-237)上,的比例可超過1000,因此兩者的得分下界差值可達0.1σ以上,而傳統(tǒng)單階段推理的得分差距通常不足0.02σ這種顯著的得分差距放大,使模型在最終決策時擁有更加清晰的判斷邊界,從而有效提高正確實體的命中率P

實驗評估

在多個大規(guī)模知識圖譜基準數(shù)據(jù)集上對DuetGraph進行了系統(tǒng)評估,涵蓋TransductiveInductive兩類推理場景。

結(jié)果表明,DuetGraph取得了顯著性能提升:

  • 推理質(zhì)量:在Transductive場景中,DuetGraphHits@KMRR等指標上全面超越Baseline模型,充分彰顯了其卓越的推理質(zhì)量與精確性。

  • 泛化能力:在更具挑戰(zhàn)性的Inductive場景中,DuetGraph的表現(xiàn)進一步領(lǐng)先于其他Baseline方法,凸顯了其在未見三元組上的強大泛化能力與穩(wěn)健性。

  • 推理效率與可擴展性:無論是在訓練階段還是在超大規(guī)模知識圖譜上的推理階段,DuetGraph都表現(xiàn)出顯著的時間優(yōu)勢,充分驗證了其高效的推理能力和良好的大規(guī)模數(shù)據(jù)可擴展性。
  • 魯棒性:當更換了不同的粗粒度模型后,DuetGraph依然能夠保持SOTA的性能,充分體現(xiàn)了其出色的魯棒性與穩(wěn)定性。

  • 通用性:DuetGraph不僅在知識圖譜補全任務(wù)中表現(xiàn)優(yōu)異,在三元組分類等其他知識圖譜任務(wù)上同樣展現(xiàn)出出色的性能,體現(xiàn)了其良好的任務(wù)適應性與廣泛適用性。

未來展望

靈活模型組合:DuetGraph框架支持在保持細粒度模型不變的前提下靈活更換粗粒度模型,從而適配不同的任務(wù)場景與應用需求。

與LLM融合:未來將探索將DuetGraph與大語言模型結(jié)合,提升結(jié)構(gòu)化知識推理能力;

真實場景落地:在推薦、搜索、金融風控、問答等高復雜度推理任務(wù)中具有巨大潛力。

責任編輯:張燕妮 來源: 新智元
相關(guān)推薦

2024-11-11 17:27:26

2024-12-04 09:15:00

AI模型

2013-06-19 11:32:32

計算性能ISCHPC

2022-03-08 09:15:29

人工智能語音識別模型

2024-01-15 13:11:22

模型數(shù)據(jù)

2025-04-27 00:10:00

AI人工智能知識圖譜

2021-01-19 10:52:15

知識圖譜

2017-03-06 16:48:56

知識圖譜構(gòu)建存儲

2024-11-07 13:19:03

2024-11-04 08:30:00

2023-09-11 08:12:39

圖形結(jié)構(gòu)圖譜

2020-11-29 19:03:00

人工智能機器學習技術(shù)

2021-01-25 10:36:32

知識圖譜人工智能

2025-06-10 09:07:00

2025-06-12 11:56:30

模型框架開源

2021-01-19 11:07:19

深度學習神經(jīng)+符號知識圖譜

2024-06-03 07:28:43

2025-06-06 01:00:00

AI人工智能知識圖譜

2024-06-17 07:10:00

點贊
收藏

51CTO技術(shù)棧公眾號