導(dǎo)語

當(dāng)我們用大模型回答復(fù)雜問題時(shí)，最怕兩件事：一本正經(jīng)地“胡說八道”，以及答非所問。原因往往并不在模型“不會(huì)”，而是訓(xùn)練語料里知識(shí)缺失或過時(shí)、推理路徑不可靠。來自西安交通大學(xué)等機(jī)構(gòu)的團(tuán)隊(duì)提出了一個(gè)簡(jiǎn)單而有效的思路：把知識(shí)圖譜里本來就存在的“先驗(yàn)”用起來，用結(jié)構(gòu)先驗(yàn)提升推理“忠實(shí)度”，用約束先驗(yàn)提升答案“可靠性”。他們把這套方法命名為 Deliberation on Priors（DP），論文已上線 arXiv，代碼也已開源。

論文地址：https://arxiv.org/abs/2505.15210  

代碼地址：https://github.com/reml-group/Deliberation-on-Priors 

這項(xiàng)工作關(guān)注一個(gè)具體但常被忽略的事實(shí)：知識(shí)圖譜不僅有三元組事實(shí)，更蘊(yùn)含兩類關(guān)鍵先驗(yàn)知識(shí)。第一類是結(jié)構(gòu)先驗(yàn)，比如從問題中的主題實(shí)體到答案實(shí)體的關(guān)系路徑，這些路徑能夠教會(huì)模型“怎么在圖上走”；第二類是約束先驗(yàn)，比如答案的類型限制、是否涉及多實(shí)體、是否有顯式或隱式時(shí)間要求、是否包含排序規(guī)則，這些都能幫助模型在生成前后自查自證，避免“貌似有理”的錯(cuò)誤。

方法

DP 的整體流程分為離線和在線兩個(gè)階段：

1. 離線階段

團(tuán)隊(duì)先自動(dòng)收集“問題→關(guān)系路徑”的弱監(jiān)督信號(hào)，不是只對(duì)齊一條“標(biāo)準(zhǔn)路徑”，而是挖掘所有從話題實(shí)體到答案實(shí)體的最短可行路徑，盡可能覆蓋圖上的合理推理軌跡。隨后，使用監(jiān)督微調(diào)讓模型學(xué)會(huì)按問題生成關(guān)系路徑；再用 Kahneman-Tversky Optimization（KTO）做偏好優(yōu)化，通過有針對(duì)性的“壞樣本”擾動(dòng)（如截?cái)嗦窂?、錯(cuò)配實(shí)體路徑、刪除關(guān)鍵關(guān)系）讓模型在不平衡樣本下也能更穩(wěn)地偏好語義一致、結(jié)構(gòu)忠實(shí)的路徑。

2. 在線階段

模型先基于問題為每個(gè)話題實(shí)體生成多條候選關(guān)系路徑，再在圖上實(shí)例化得到具體的“推理路徑”。與以往方法直接據(jù)此作答不同，DP 會(huì)先進(jìn)行“自省”——從問題中抽取約束，再驗(yàn)證當(dāng)前推理路徑是否滿足這些約束；若不滿足，就把“違反了什么約束”的反饋喂回，觸發(fā)回溯，重新選擇路徑并實(shí)例化，如此迭代，直到找到滿足約束的路徑再給出答案。這一步等于把“先驗(yàn)規(guī)則”變成了推理中的剎車與方向盤。

實(shí)驗(yàn)結(jié)果

這套方法的實(shí)驗(yàn)結(jié)果相當(dāng)亮眼，如下圖所示。團(tuán)隊(duì)在 WebQSP、CWQ 和 MetaQA 三個(gè)多跳知識(shí)圖譜問答基準(zhǔn)上進(jìn)行評(píng)測(cè)，報(bào)告了 Hit、Hits@1 和 F1 三項(xiàng)指標(biāo)，并強(qiáng)調(diào)了嚴(yán)格區(qū)分 Hit 與 Hits@1 的評(píng)估口徑。DP 在多個(gè)數(shù)據(jù)集上刷新了最新結(jié)果，尤其在 CWQ 上 Hits@1 提升達(dá)到13.0%。更重要的是，DP 以更少的大模型交互與更低的 token 消耗成本達(dá)成了更高的可靠性，說明把“先驗(yàn)”系統(tǒng)性納入推理流程，確實(shí)能減少無效探索與錯(cuò)誤路徑帶來的干擾。

技術(shù)細(xì)節(jié)與消融

從技術(shù)細(xì)節(jié)看，DP 的兩大抓手各司其職：一方面，漸進(jìn)式知識(shí)蒸餾通過“一對(duì)多”的弱監(jiān)督路徑收集，并配合 KTO 偏好優(yōu)化，讓模型在生成關(guān)系路徑時(shí)更“貼圖”，顯著提升路徑生成的忠實(shí)度。消融結(jié)果顯示，去掉 KTO 后 WebQSP 與 CWQ 的 Hits@1 分別下降約 2.0% 與 1.2%，說明偏好對(duì)齊對(duì)穩(wěn)健的路徑規(guī)劃至關(guān)重要。另一方面，“推理—自省”把類型、多實(shí)體、顯式時(shí)間、隱式時(shí)間、序關(guān)系等五類通用約束轉(zhuǎn)化為對(duì)候選路徑的驗(yàn)真與回溯觸發(fā)器，顯著提升最終答案的可靠性；去掉自省環(huán)節(jié)，性能下滑最為明顯。需要說明的是，在當(dāng)前實(shí)現(xiàn)下，用模型自動(dòng)歸納約束替代通用約束庫，指標(biāo)仍有小幅回落，這更多反映了自動(dòng)歸納技術(shù)的成熟度尚需提升；長(zhǎng)期目標(biāo)仍是以自動(dòng)歸納為主，在可控性與可驗(yàn)證性保障下盡量減少人工預(yù)定義。 

為評(píng)估“自省—回溯”的工程開銷與實(shí)際收益，團(tuán)隊(duì)對(duì)測(cè)試階段的回溯觸發(fā)進(jìn)行了統(tǒng)計(jì)：當(dāng)檢測(cè)到約束違背時(shí)，系統(tǒng)會(huì)迭代重做路徑選擇、實(shí)例化與自省。整體來看，如下圖所示，回溯觸發(fā)頻率較低、額外交互成本可控；同時(shí)，指令遵循能力更強(qiáng)的模型（GPT-4.1）往往因更嚴(yán)格的約束核查而更容易觸發(fā)必要回溯，這一現(xiàn)象與整體性能提升的趨勢(shì)相吻合，也側(cè)面印證了“可靠回溯”機(jī)制對(duì)推理質(zhì)量的正向作用。

應(yīng)用價(jià)值與局限

為什么這件事值得關(guān)心？首先，它把“知識(shí)圖譜的價(jià)值”從檢索增強(qiáng)，進(jìn)一步推進(jìn)到了“推理增強(qiáng)”。過去我們更關(guān)注把對(duì)的三元組取出來交給模型，如今 DP 證明了結(jié)構(gòu)與約束先驗(yàn)同樣是強(qiáng)信號(hào)。其次，它讓“可信”不僅停留在輸出事實(shí)的對(duì)錯(cuò)，還體現(xiàn)在過程可檢驗(yàn)、錯(cuò)誤可回溯的機(jī)制設(shè)計(jì)上，這對(duì)醫(yī)療、法律等高風(fēng)險(xiǎn)場(chǎng)景尤為重要。最后，它在工程上是務(wù)實(shí)的：路徑生成做離線蒸餾，在線階段的交互次數(shù)和 token 成本更低，更接近真實(shí)系統(tǒng)落地的成本預(yù)期。

對(duì)于研究者與開發(fā)者而言，DP 也提供了一個(gè)清晰的集成模板：保留現(xiàn)有的檢索與問答 pipeline，在前置階段加入“路徑規(guī)劃”的訓(xùn)練與推理，在后置階段用“約束自省—反饋回溯”把關(guān)答案。若遷移到垂直領(lǐng)域，只需把領(lǐng)域內(nèi)常見的類型、時(shí)間、排序、多實(shí)體等約束做成“先驗(yàn)庫”，即可低成本復(fù)用整套方法。

論文也坦誠指出了局限：在跨領(lǐng)域時(shí)，約束條件集合仍需要人工梳理與適配，后續(xù)工作將探索自動(dòng)歸納與總結(jié)約束類型的途徑，以進(jìn)一步降低門檻。

案例

最后，以一個(gè)實(shí)際問題為例，展示 DP 如何利用生成的候選關(guān)系路徑、用約束自省觸發(fā)必要回溯，并在可控成本下產(chǎn)出可解釋的可靠答案：

如果你正在關(guān)注“如何讓大模型少犯錯(cuò)、敢解釋、可回溯”，DP 是一篇值得細(xì)讀與上手復(fù)現(xiàn)的工作。

論文鏈接：https://arxiv.org/abs/2505.15210 

開源代碼：??https://github.com/reml-group/Deliberation-on-Priors。??

本文轉(zhuǎn)載自??知識(shí)圖譜科技??，作者：KGGPT