大模型與知識圖譜結合的幾種方式 原創(chuàng)
大模型自從去年底爆火出圈以后，很多人把大模型和知識圖譜進行比較，甚至大量業(yè)內(nèi)人士認為在大模型的發(fā)展下，知識圖譜已經(jīng)沒有存在的必要了。那么真實情況，或者未來更有可能的一種情況是什么樣的呢？
相信經(jīng)過一段時間的使用后，大家會發(fā)現(xiàn)大模型確實功能非常強大，能夠在諸多方面相比之前的方式，有了大幅的效率提升，但其仍然存在固有的問題難以解決，尤其是模型的幻覺在面臨事實準確性問題時，始終無法給出完美的正確答案。這就是人們在問答大模型精準知識的時候，總感覺不那么靠譜，雖然90%以上的回答都是準確的，但因為一小部分的不準確，就會造成人們感知上的不靠譜。
而眾所周知，知識圖譜的特點是精準，在面對具體的知識問答時，能夠給出非常準確的答案。但，知識圖譜有個致命的缺陷，那就是構建知識圖譜的復雜度非常高，要構建一個大規(guī)模的知識圖譜，需要耗費大量的人力物力，成本非常高。
因此，是否存在一種可能，將兩者進行結合，既可以解決大模型的知識幻覺問題，又可以解決知識圖譜的構建復雜度問題呢？
事實上，這方面的研究在學術和工業(yè)界其實已經(jīng)進行了諸多的工作。本文的目的是綜述下兩者結合的方式和方法，為未來的工作形成一些指引。
大模型與知識圖譜優(yōu)缺點
如上圖所示，知識圖譜的結構化知識、準確性、確定性、可解釋性、領域專業(yè)知識、推理知識對于大模型的隱式知識、幻覺、不確定、黑河、缺乏領域和新知識，都會形成很好的補充。而大模型的通用知識、自然語言處理、泛化性對于知識圖譜的不完整、缺乏語言理解、未知事實缺乏等又會所有幫助。
大模型與知識圖譜結合的幾種方式
通常而言，LLM與KG的結合有三種方式：
1.KG增強的LLM：也即將KG應用到LLM中，提升LLM的能力
2.LLM增強的KG：也即用LLM來賦能KG相關的各種任務，包括構建任務和應用任務
3.LLM與KG協(xié)同作用：兩者相互協(xié)同進行應用
具體到每一種增強，又可以細分為如下的情況：
用KG增強LLM
用KG去增強LLM，一般有三種作用的方式，在預訓練階段、推理階段和可解釋性。
具體到預訓練階段，比較典型的方法又分為三種：將知識圖譜整合進訓練目標、將知識圖譜整合進大模型的輸入、將知識圖譜整合進附加的融合模塊，如下面三個圖的結構分別表示：
因為預訓練的頻率很低，很多新知識無法訓練到模型里，因此在推理階段，也可以用知識圖譜來增強。在推理階段，增強LLM的方式又有兩種：
其中，第一種是將LLM和知識圖譜進行動態(tài)融合，第二種則是比較常見的通過檢索外部知識來增強LLM。
在提高LLM的解釋性方面，可以發(fā)揮知識圖譜結構化知識可以為推理結果提供優(yōu)良可解釋性的優(yōu)勢。這方面相關的研究集中在兩個方面：用于語言模型探測的知識圖譜，以及用于語言模型分析的知識圖譜。
用LLM來增強知識圖譜
下表詳細羅列了用LLM來增強KG的方法：
用LLM來增強KG Embedding（KGE），傳統(tǒng)的KGE是將每個實體和關系映射到低維的向量空間，這些嵌入包含了知識圖譜語義和結構信息，可以用于問答、推理和推薦等任務。傳統(tǒng)的做法，依靠知識圖譜的結構信息來優(yōu)化一個評分函數(shù)。但這種方法優(yōu)于結構連接性限制，難以表示未曾見過的實體和長尾的關系。
使用LLM來編碼和實體和關系的文本描述，可以豐富知識圖譜的表征。以下為兩種方式：將LLM用作KGE的文本編碼器；聯(lián)合文本與KGE的LLM。
用LLM來對KG進行補全的任務主要是推斷給定知識圖譜中缺失的事實。傳統(tǒng)的做法關注的是KG的結構，但不會考慮廣泛的文本信息。將LLM用于KGC的實現(xiàn)分為兩類：將LLM作為編碼器（PaE）和將LLM用作生成器（PaG）。
知識圖譜的構建一般涉及到特定領域內(nèi)知識結構化的過程，這里面包含實體發(fā)現(xiàn)以及實體間關系的發(fā)現(xiàn)。通過包含實體發(fā)現(xiàn)、共指消歧和關系提取等階段。將LLM用于知識圖譜構建各個階段的框架如下：
還有直接用LLM進行知識蒸餾的方法：
KG-to-Text的目標是生成能準確描述知識圖譜知識的文本，用于連接知識圖譜和文本。但是收集大量知識圖譜-文本平行數(shù)據(jù)難度很大，導致訓練不充分，從而生成質量差。用LLM增強KG到文本的過程如下：
基于知識圖譜的問答（KGQA）目標是根據(jù)知識圖譜存儲的結構化知識來尋找問題的答案。這里面的核心挑戰(zhàn)是將檢索的KG知識的推理優(yōu)勢擴展到問答任務上。用LLM來增強KGQA的方式包括：
LLM與KG的協(xié)同
將LLM和KG的優(yōu)點融合，更好應對下游任務。將LLM和知識圖譜聯(lián)合起來可以形成知識表征和推理的強大模型。
總計一下，知識圖譜的應用場景可簡要概括為以下方向：
- 搜索引擎：增強搜索結果（如Google知識面板），直接展示實體關聯(lián)信息。
- 智能問答：支持語音助手（如Siri）、客服機器人精準回答事實類問題。
- 推薦系統(tǒng)：電商、視頻平臺基于實體關系推薦商品或內(nèi)容（如電影關聯(lián)導演/演員）。
- 金融風控：分析企業(yè)股權、擔保網(wǎng)絡，識別欺詐或信貸風險。
- 醫(yī)療健康：輔助診斷（關聯(lián)癥狀/疾病/藥物）、藥物研發(fā)（挖掘靶點關系）。
- 企業(yè)智能：構建客戶/供應鏈知識庫，優(yōu)化決策或文檔管理。
- 工業(yè)物聯(lián)網(wǎng)：關聯(lián)設備數(shù)據(jù)，實現(xiàn)故障預測或生產(chǎn)優(yōu)化。
- 公共安全：分析犯罪團伙關系網(wǎng)絡，追蹤資金或人員關聯(lián)。
- 教育：個性化學習推薦，構建學科知識點圖譜。
- 科研：挖掘學術文獻中的實體關系，加速學科交叉發(fā)現(xiàn)。
核心價值：將分散數(shù)據(jù)轉化為可推理的網(wǎng)絡結構，支撐語義理解與智能決策。
本文轉載自???數(shù)字化助推器??? 作者：天涯咫尺TGH
