大模型與知識(shí)圖譜結(jié)合的幾種方式 原創(chuàng)
大模型自從去年底爆火出圈以后，很多人把大模型和知識(shí)圖譜進(jìn)行比較，甚至大量業(yè)內(nèi)人士認(rèn)為在大模型的發(fā)展下，知識(shí)圖譜已經(jīng)沒有存在的必要了。那么真實(shí)情況，或者未來更有可能的一種情況是什么樣的呢？
相信經(jīng)過一段時(shí)間的使用后，大家會(huì)發(fā)現(xiàn)大模型確實(shí)功能非常強(qiáng)大，能夠在諸多方面相比之前的方式，有了大幅的效率提升，但其仍然存在固有的問題難以解決，尤其是模型的幻覺在面臨事實(shí)準(zhǔn)確性問題時(shí)，始終無法給出完美的正確答案。這就是人們?cè)趩柎鸫竽Ｐ途珳?zhǔn)知識(shí)的時(shí)候，總感覺不那么靠譜，雖然90%以上的回答都是準(zhǔn)確的，但因?yàn)橐恍〔糠值牟粶?zhǔn)確，就會(huì)造成人們感知上的不靠譜。
而眾所周知，知識(shí)圖譜的特點(diǎn)是精準(zhǔn)，在面對(duì)具體的知識(shí)問答時(shí)，能夠給出非常準(zhǔn)確的答案。但，知識(shí)圖譜有個(gè)致命的缺陷，那就是構(gòu)建知識(shí)圖譜的復(fù)雜度非常高，要構(gòu)建一個(gè)大規(guī)模的知識(shí)圖譜，需要耗費(fèi)大量的人力物力，成本非常高。
因此，是否存在一種可能，將兩者進(jìn)行結(jié)合，既可以解決大模型的知識(shí)幻覺問題，又可以解決知識(shí)圖譜的構(gòu)建復(fù)雜度問題呢？
事實(shí)上，這方面的研究在學(xué)術(shù)和工業(yè)界其實(shí)已經(jīng)進(jìn)行了諸多的工作。本文的目的是綜述下兩者結(jié)合的方式和方法，為未來的工作形成一些指引。
大模型與知識(shí)圖譜優(yōu)缺點(diǎn)
如上圖所示，知識(shí)圖譜的結(jié)構(gòu)化知識(shí)、準(zhǔn)確性、確定性、可解釋性、領(lǐng)域?qū)I(yè)知識(shí)、推理知識(shí)對(duì)于大模型的隱式知識(shí)、幻覺、不確定、黑河、缺乏領(lǐng)域和新知識(shí)，都會(huì)形成很好的補(bǔ)充。而大模型的通用知識(shí)、自然語言處理、泛化性對(duì)于知識(shí)圖譜的不完整、缺乏語言理解、未知事實(shí)缺乏等又會(huì)所有幫助。
大模型與知識(shí)圖譜結(jié)合的幾種方式
通常而言，LLM與KG的結(jié)合有三種方式：
1.KG增強(qiáng)的LLM：也即將KG應(yīng)用到LLM中，提升LLM的能力
2.LLM增強(qiáng)的KG：也即用LLM來賦能KG相關(guān)的各種任務(wù)，包括構(gòu)建任務(wù)和應(yīng)用任務(wù)
3.LLM與KG協(xié)同作用：兩者相互協(xié)同進(jìn)行應(yīng)用
具體到每一種增強(qiáng)，又可以細(xì)分為如下的情況：
用KG增強(qiáng)LLM
用KG去增強(qiáng)LLM，一般有三種作用的方式，在預(yù)訓(xùn)練階段、推理階段和可解釋性。
具體到預(yù)訓(xùn)練階段，比較典型的方法又分為三種：將知識(shí)圖譜整合進(jìn)訓(xùn)練目標(biāo)、將知識(shí)圖譜整合進(jìn)大模型的輸入、將知識(shí)圖譜整合進(jìn)附加的融合模塊，如下面三個(gè)圖的結(jié)構(gòu)分別表示：
因?yàn)轭A(yù)訓(xùn)練的頻率很低，很多新知識(shí)無法訓(xùn)練到模型里，因此在推理階段，也可以用知識(shí)圖譜來增強(qiáng)。在推理階段，增強(qiáng)LLM的方式又有兩種：
其中，第一種是將LLM和知識(shí)圖譜進(jìn)行動(dòng)態(tài)融合，第二種則是比較常見的通過檢索外部知識(shí)來增強(qiáng)LLM。
在提高LLM的解釋性方面，可以發(fā)揮知識(shí)圖譜結(jié)構(gòu)化知識(shí)可以為推理結(jié)果提供優(yōu)良可解釋性的優(yōu)勢(shì)。這方面相關(guān)的研究集中在兩個(gè)方面：用于語言模型探測(cè)的知識(shí)圖譜，以及用于語言模型分析的知識(shí)圖譜。
用LLM來增強(qiáng)知識(shí)圖譜
下表詳細(xì)羅列了用LLM來增強(qiáng)KG的方法：
用LLM來增強(qiáng)KG Embedding（KGE），傳統(tǒng)的KGE是將每個(gè)實(shí)體和關(guān)系映射到低維的向量空間，這些嵌入包含了知識(shí)圖譜語義和結(jié)構(gòu)信息，可以用于問答、推理和推薦等任務(wù)。傳統(tǒng)的做法，依靠知識(shí)圖譜的結(jié)構(gòu)信息來優(yōu)化一個(gè)評(píng)分函數(shù)。但這種方法優(yōu)于結(jié)構(gòu)連接性限制，難以表示未曾見過的實(shí)體和長尾的關(guān)系。
使用LLM來編碼和實(shí)體和關(guān)系的文本描述，可以豐富知識(shí)圖譜的表征。以下為兩種方式：將LLM用作KGE的文本編碼器；聯(lián)合文本與KGE的LLM。
用LLM來對(duì)KG進(jìn)行補(bǔ)全的任務(wù)主要是推斷給定知識(shí)圖譜中缺失的事實(shí)。傳統(tǒng)的做法關(guān)注的是KG的結(jié)構(gòu)，但不會(huì)考慮廣泛的文本信息。將LLM用于KGC的實(shí)現(xiàn)分為兩類：將LLM作為編碼器（PaE）和將LLM用作生成器（PaG）。
知識(shí)圖譜的構(gòu)建一般涉及到特定領(lǐng)域內(nèi)知識(shí)結(jié)構(gòu)化的過程，這里面包含實(shí)體發(fā)現(xiàn)以及實(shí)體間關(guān)系的發(fā)現(xiàn)。通過包含實(shí)體發(fā)現(xiàn)、共指消歧和關(guān)系提取等階段。將LLM用于知識(shí)圖譜構(gòu)建各個(gè)階段的框架如下：
還有直接用LLM進(jìn)行知識(shí)蒸餾的方法：
KG-to-Text的目標(biāo)是生成能準(zhǔn)確描述知識(shí)圖譜知識(shí)的文本，用于連接知識(shí)圖譜和文本。但是收集大量知識(shí)圖譜-文本平行數(shù)據(jù)難度很大，導(dǎo)致訓(xùn)練不充分，從而生成質(zhì)量差。用LLM增強(qiáng)KG到文本的過程如下：
基于知識(shí)圖譜的問答（KGQA）目標(biāo)是根據(jù)知識(shí)圖譜存儲(chǔ)的結(jié)構(gòu)化知識(shí)來尋找問題的答案。這里面的核心挑戰(zhàn)是將檢索的KG知識(shí)的推理優(yōu)勢(shì)擴(kuò)展到問答任務(wù)上。用LLM來增強(qiáng)KGQA的方式包括：
LLM與KG的協(xié)同
將LLM和KG的優(yōu)點(diǎn)融合，更好應(yīng)對(duì)下游任務(wù)。將LLM和知識(shí)圖譜聯(lián)合起來可以形成知識(shí)表征和推理的強(qiáng)大模型。
總計(jì)一下，知識(shí)圖譜的應(yīng)用場景可簡要概括為以下方向：
- 搜索引擎：增強(qiáng)搜索結(jié)果（如Google知識(shí)面板），直接展示實(shí)體關(guān)聯(lián)信息。
- 智能問答：支持語音助手（如Siri）、客服機(jī)器人精準(zhǔn)回答事實(shí)類問題。
- 推薦系統(tǒng)：電商、視頻平臺(tái)基于實(shí)體關(guān)系推薦商品或內(nèi)容（如電影關(guān)聯(lián)導(dǎo)演/演員）。
- 金融風(fēng)控：分析企業(yè)股權(quán)、擔(dān)保網(wǎng)絡(luò)，識(shí)別欺詐或信貸風(fēng)險(xiǎn)。
- 醫(yī)療健康：輔助診斷（關(guān)聯(lián)癥狀/疾病/藥物）、藥物研發(fā)（挖掘靶點(diǎn)關(guān)系）。
- 企業(yè)智能：構(gòu)建客戶/供應(yīng)鏈知識(shí)庫，優(yōu)化決策或文檔管理。
- 工業(yè)物聯(lián)網(wǎng)：關(guān)聯(lián)設(shè)備數(shù)據(jù)，實(shí)現(xiàn)故障預(yù)測(cè)或生產(chǎn)優(yōu)化。
- 公共安全：分析犯罪團(tuán)伙關(guān)系網(wǎng)絡(luò)，追蹤資金或人員關(guān)聯(lián)。
- 教育：個(gè)性化學(xué)習(xí)推薦，構(gòu)建學(xué)科知識(shí)點(diǎn)圖譜。
- 科研：挖掘?qū)W術(shù)文獻(xiàn)中的實(shí)體關(guān)系，加速學(xué)科交叉發(fā)現(xiàn)。
核心價(jià)值：將分散數(shù)據(jù)轉(zhuǎn)化為可推理的網(wǎng)絡(luò)結(jié)構(gòu)，支撐語義理解與智能決策。
本文轉(zhuǎn)載自???數(shù)字化助推器??? 作者：天涯咫尺TGH
