近日，在 2024 Inclusion?外灘大會 “超越平面思維，圖計算讓 AI 洞悉復(fù)雜世界” 見解論壇上，螞蟻集團(tuán)知識圖譜負(fù)責(zé)人梁磊分享了 “構(gòu)建知識增強(qiáng)的專業(yè)智能體” 相關(guān)工作，并帶來了知識圖譜與大模型結(jié)合最新研發(fā)成果 —— 知識增強(qiáng)大模型服務(wù)框架 KAG。

梁磊介紹，專業(yè)領(lǐng)域增強(qiáng)大模型服務(wù)框架 KAG 通過圖譜邏輯符號引導(dǎo)決策和檢索，顯著提升了垂直領(lǐng)域決策的精準(zhǔn)性和邏輯嚴(yán)謹(jǐn)性；通過信息檢索可補全知識圖譜的稀疏性和知識覆蓋的不足，同時充分利用大語言模型的理解和生成能力降低領(lǐng)域知識圖譜的構(gòu)造門檻。KAG 框架在垂直領(lǐng)域的適用性得到了有效驗證。比如，支付寶最新推出的 AI 原生 App “支小寶” 采用這套框架，在政務(wù)問答場景的準(zhǔn)確率提升到了 91%，醫(yī)療問答垂直的指標(biāo)解讀準(zhǔn)確率可達(dá) 90% 以上。梁磊還透露，KAG 框架會進(jìn)一步向社區(qū)開放，并在開源框架 OpenSPG (https://github.com/OpenSPG/openspg) 中原生支持，也歡迎社區(qū)共建。

以下是梁磊在外灘大會上的演講內(nèi)容摘要，機(jī)器之心做了不改變原意的整理。

1、可信是大語言模型真正落地應(yīng)用的前提

大語言模型有著很好的理解和生成能力，在垂直領(lǐng)域的應(yīng)用有巨大的機(jī)會，但同時也存在著非常大的挑戰(zhàn)。比如在垂直領(lǐng)域跟專家經(jīng)驗、一些具體業(yè)務(wù)結(jié)合的時候，依然存在著不懂領(lǐng)域知識、做不了復(fù)雜決策、不可靠等問題。

首先，大語言模型本身不具備比較嚴(yán)謹(jǐn)?shù)乃伎寄芰ΑＴ谝恍y試中，我們讓大語言模型做復(fù)雜問題的拆解，問兩部電影之間的共同主演是誰，結(jié)果顯示總體上回復(fù)的準(zhǔn)確性和一致性相對較低，甚至還有一些拆解錯誤。這種情況下，大語言模型很難嚴(yán)格遵從人類的指令。此外，大語言模型還存在事實性不足的問題。今年以來行業(yè)嘗試把 RAG、搜索引擎之類的技術(shù)引入到大語言模型，來補充事實性不足的問題，以及 GraphRAG，用圖的方式去重新組織它的檢索。但問題是，即便引入了一些外部知識庫，把一些垂直領(lǐng)域的知識庫和事實文檔給到語言模型，模型也不見得能夠完全生成一個準(zhǔn)確的答案。

除此以外，大模型在外部知識庫召回的時候，也依然會存在召回不準(zhǔn)的問題。舉個基于向量計算的 RAG 的例子。比如問 “怎么查找我的養(yǎng)老金”，常見的有兩種做法，一種是直接基于向量計算去召回文檔，但是往往和業(yè)務(wù)專家定義的知識不相關(guān)。但在垂直領(lǐng)域，有很多知識在字面上不相似，但卻是很相關(guān)的。比如政策明確規(guī)定了五險一金的范圍，大模型不能對這些內(nèi)容做胡亂生成，這就必須有一些預(yù)定義的領(lǐng)域知識和預(yù)定義的知識結(jié)構(gòu)，來約束大模型的行為，甚至給它提供一個更有效的知識注入，而這些都是模型在文本上不相似，但卻是強(qiáng)相關(guān)的。在這種情況下，今年討論引入知識圖譜技術(shù)的也越來越多。通過知識圖譜的語義相關(guān)性來提升模型內(nèi)容的相關(guān)性，以此可以做更好的語義計算和語義的召回。

大模型幻覺也是阻礙應(yīng)用的關(guān)鍵挑戰(zhàn)之一。那么，引入了 RAG、知識庫之后，大模型就能解決幻覺問題了嗎？其實不然，而且有些幻覺問題不仔細(xì)觀察便難以察覺。舉個例子，比如原文提到功能飲料中的維生素、礦物質(zhì)等，對運動后補充身體營養(yǎng)、消除疲勞具有一定作用，而大模型重新生成以后，可能會改寫成對于增加疲勞有一定作用。這種其實就會給一個錯誤的引導(dǎo)，但這種錯誤的引導(dǎo)，尤其是大模型生成的文案可能是幾百字，甚至上千字的，這時候就很難從里面觀察到這類細(xì)節(jié)問題。通過測評發(fā)現(xiàn)，大語言模型即便是加入 RAG 以后，依然有大概 30% 到 40% 的幻覺率。

在真實業(yè)務(wù)決策場景，挑戰(zhàn)就更多了。以金融場景為例，無論是研報生成，還是醫(yī)療問診等等，業(yè)務(wù)上都有比較嚴(yán)格的問題規(guī)劃、信息獲取、決策建議，甚至生成和反饋的過程。也就是說，因為大語言模型還是要為人類服務(wù)，應(yīng)用在一個個垂直業(yè)務(wù)場景，每一類都需要準(zhǔn)確的決策過程，如果這個決策過程不能得到很好的控制的話，就很難真正意義上用在垂直領(lǐng)域。在專業(yè)性的知識服務(wù)場景，大語言模型服務(wù)的首要前提是知識精準(zhǔn)。這就包括知識的邊界是完備的，知識的結(jié)構(gòu)及語義清晰、邏輯嚴(yán)謹(jǐn)。另外，在垂直領(lǐng)域落地，也一定要對時間、數(shù)字和邏輯敏感，無論讓它做多跳推理，還是邏輯規(guī)則數(shù)字計算，而這些恰好是大語言模型所不擅長的，包括前一段時間熱議的 9.9 和 9.12 比大小的例子。

基于此，我們認(rèn)為在垂直領(lǐng)域落地的時候，大語言模型一定確保專業(yè)和可信。可信是大語言模型真正意義上落地的前提。如果不能保證可信，我們可能不會迎來真正意義上的 AGI 的變革。這也是螞蟻為什么要做知識增強(qiáng)的重要原因。

2、KAG：專業(yè)領(lǐng)域知識增強(qiáng)大模型服務(wù)框架

應(yīng)對大模型在真實應(yīng)用場景遇到的挑戰(zhàn)，螞蟻研發(fā)了基于知識增強(qiáng)在垂直領(lǐng)域的可控生成框架 KAG。

KAG 可控生成框架是基于開源系統(tǒng) OpenSPG 升級，并且結(jié)合了螞蟻自研的圖數(shù)據(jù)庫 TuGraph-DB 的能力。TuGraph-DB 作為 KAG 中知識圖譜 SPG 的底層圖引擎，為 KAG 提供了高效的知識存儲與檢索能力。KAG 將抽取的知識存儲于 SPG 中，由 TuGraph-DB 提供圖存儲；在檢索流程中，SPG 通過 TuGraph-DB 的 Cypher 接口檢索與用戶提問相關(guān)的知識信息，并將結(jié)果反饋給大模型生成回答。

KAG 框架針對大語言模型和圖譜的結(jié)合做了五方面的增強(qiáng)：分別是知識表示的增強(qiáng)、圖結(jié)構(gòu)與文本互索引、符號引導(dǎo)的拆解和推理、基于概念的知識對齊、KAG Model。具體包括以下關(guān)鍵能力：

1） KAG: LLMs 友好的知識表示

今年，我們對語義表示進(jìn)行了升級，旨在進(jìn)一步發(fā)展 OpenSPG 項目，推動知識圖譜從靜態(tài)二元結(jié)構(gòu)向多元動態(tài)結(jié)構(gòu)持續(xù)升級。通過原始文本增強(qiáng)深度上下文感知，我們實現(xiàn)了更豐富的可解釋文本的知識關(guān)聯(lián)，對大語言模型也更友好，同時，參考 DIKW 層次范式在同一實體空間中支持 Schema 約束、無模式建模及文本結(jié)構(gòu)的分層表示。

同時，我們探討了 GraphRAG 范式的兩種主要實現(xiàn)：微軟的 GraphRAG 和 HippoRAG。盡管微軟的 GraphRAG 在摘要生成類任務(wù)上有不錯表現(xiàn)，但在事實問答準(zhǔn)確率上表現(xiàn)不佳。而 HippoRAG 通過圖結(jié)構(gòu)構(gòu)建倒排索引，顯著提升了文檔召回的相關(guān)性和事實問答的準(zhǔn)確性。我們的目標(biāo)是在專業(yè)領(lǐng)域內(nèi)實現(xiàn)準(zhǔn)確的事實性回答和報告生成，融合不同層級知識創(chuàng)建從嚴(yán)格到寬松的決策范式。

2） 互索引：結(jié)構(gòu)化知識與文本數(shù)據(jù)互索引結(jié)構(gòu)

我們將原有的 term-based 倒排索引升級為 graph-based 倒排索引，通過開放信息抽取獲取原始文檔中的關(guān)鍵元素和描述性信息，進(jìn)行有效的語義切分，最終形成一個包含業(yè)務(wù)實體、通用概念知識和文本塊的圖結(jié)構(gòu)。這種結(jié)構(gòu)不僅便于遍歷和檢索文本塊，還能有效分析文檔間的關(guān)聯(lián)。

3） 混合推理：符號決策、向量檢索與大模型混合推理

我們在 KAG 中構(gòu)建了一個混合推理引擎，旨在解決知識圖譜在嚴(yán)謹(jǐn)決策中的應(yīng)用問題。目標(biāo)是開發(fā)一套技術(shù)范式，支持復(fù)雜推理決策的執(zhí)行，同時通過信息檢索來彌補知識圖譜的不足。

該框架采用符號驅(qū)動的方法生成邏輯可執(zhí)行的查詢表達(dá)式（Logic form Query）。通過圖結(jié)構(gòu)操作，利用分層知識進(jìn)行決策：先在邏輯知識層檢索，若無解則轉(zhuǎn)向開放信息層，再通過關(guān)聯(lián)文檔檢索提高召回率和準(zhǔn)確性。在生成階段，我們應(yīng)用 query-focused summary 方法，以通過查詢結(jié)構(gòu)提取答案，解決傳統(tǒng)知識圖譜與用戶查詢的粒度匹配問題。同時，基于知識圖譜的反饋有助于抑制語言模型生成中的幻覺，提高準(zhǔn)確性。系統(tǒng)將問題拆解為邏輯符號表達(dá)，可轉(zhuǎn)化為 KGDSL 或 GQL。我們的兩階段規(guī)劃包含圖譜存儲中的精確匹配和 SPO 子圖檢索，最后集成知識圖譜以減輕幻覺。通過文本抽取的三元組注入語言模型，在生成時遵循結(jié)構(gòu)范式，有效降低幻覺率。這種方法在內(nèi)部業(yè)務(wù)中如區(qū)域風(fēng)險報告生成中已顯著改善，我們將繼續(xù)深入探索這一方向。

4） 語義對齊：平衡信息檢索與專業(yè)決策

問題的關(guān)鍵在于如何有效整合信息檢索和專業(yè)決策。信息檢索允許一定的錯誤率，而專業(yè)決策對準(zhǔn)確性要求則是嚴(yán)格的。因此，我們通過開放信息抽取構(gòu)建結(jié)構(gòu)化知識，并應(yīng)用 schema 約束以提升決策的嚴(yán)謹(jǐn)性。此外，基于概念的語義對齊讓我們能兼顧這兩者，形成一個基于 SPG 的領(lǐng)域知識圖譜，從而改善信息檢索和專業(yè)決策的能力。

我們通過傳統(tǒng)圖譜方法，如實體鏈接和概念分層等，提升了圖結(jié)構(gòu)的稠密性和語義完備性。借助與浙江大學(xué)的 OpenKG 合作，推進(jìn) OneGraph 項目，我們致力于通過增強(qiáng)知識對齊能力，降低構(gòu)建成本。同時，在垂直領(lǐng)域的探索中，例如醫(yī)療和法律術(shù)語的應(yīng)用，我們優(yōu)化了開放抽取的效率，顯著提升了與領(lǐng)域知識的對齊準(zhǔn)確性。我們的框架在通用數(shù)據(jù)集上較現(xiàn)有 SOTA 的 F1 提高了 10-20 個百分點，并在實際應(yīng)用中，比如政務(wù)和醫(yī)療問答場景，取得了顯著的精度提升，表明其在專業(yè)決策中的有效性。

5） KAG 模型：定義 LLMs 與 KGs 之間的協(xié)同任務(wù)

KAG 模型旨在降低大型語言模型（LLMs）與知識圖譜（KGs）結(jié)合的成本，利用指令合成技術(shù)使較小模型在性能上接近更大模型。我們對 LLMs 和 KGs 的能力進(jìn)行對齊，強(qiáng)調(diào)自然語言理解、推理和生成能力，確保從文本中提取結(jié)構(gòu)化信息并提升知識融合效率。結(jié)構(gòu)化、語義化的知識圖譜和原始文檔之間形成了良好的雙向映射，從文本到圖譜則是刻畫文本內(nèi)的關(guān)鍵信息和符號結(jié)構(gòu)，從圖譜到文本則是描述文本生成中所必須滿足的知識和邏輯約束。

為構(gòu)建知識圖譜，我們注重知識點的文本可解釋性，要求附帶描述信息、關(guān)聯(lián)原始文本段， 避免僅只有原始詞條。知識圖譜的結(jié)構(gòu)化特性有助于生成高質(zhì)量指令，通過邏輯拆解和語義關(guān)系合成提升大語言模型的自然語言理解和推理能力。此外，指令的合成和語義對齊使小參數(shù)量模型達(dá)到接近或超越更大參數(shù)模型的效果，同時大幅提升性能。實踐中發(fā)現(xiàn)圖譜指令合成微調(diào)后的小模型在概念補全、信息抽取等圖譜專用任務(wù)上的準(zhǔn)確率均高于更大參數(shù)模型。

3. KAG 在垂直領(lǐng)域的典型應(yīng)用

今年以來，我們在業(yè)務(wù)應(yīng)用中不斷完善 KAG 框架。在支付寶 AI 生活管家 “支小寶” 的熱點事件功能、政務(wù)民生場景，以及研報生成類任務(wù)，KAG 都能夠生成邏輯上更為準(zhǔn)確的內(nèi)容。此外，支付寶今年在政務(wù)辦事和醫(yī)療健康兩個重要功能升級中也應(yīng)用了知識圖譜技術(shù)。例如，“去醫(yī)院針灸能否報銷？” 這一問題包含了特定條件，而帶有條件的檢索是傳統(tǒng)搜索引擎或向量計算所不具備的功能。通過知識圖譜的方式，我們可以更有效地找到相關(guān)知識并生成更加完備的回答。

近期，螞蟻將發(fā)布 KAG 的整體技術(shù)報告。我們希望真正融合知識圖譜的符號計算和向量檢索的優(yōu)勢，因為它們在很多方面是互補的。同時，利用大型語言模型的理解和生成能力，構(gòu)建一個知識增強(qiáng)的大語言模型生成系統(tǒng)。

在這個過程中，我們首先需要解決的是垂直領(lǐng)域應(yīng)用的問題。系統(tǒng)既能進(jìn)行復(fù)雜的符號決策，又能在復(fù)雜符號決策無法滿足需求時，通過向量檢索進(jìn)行補充。在框架的后續(xù)版本中，我們將提供一些用戶可調(diào)的參數(shù)。這意味著，如果用戶對準(zhǔn)確率有極高要求，可以減少基于信息檢索生成的內(nèi)容；如果對準(zhǔn)確率有一定容忍度，則可以適當(dāng)放寬標(biāo)準(zhǔn)。這為用戶提供了一個可調(diào)節(jié)的垂直領(lǐng)域解決方案。因為并不是所有垂直領(lǐng)域應(yīng)用場景都要求絕對的準(zhǔn)確率，而是存在一定的容忍范圍。因此，我們可以為用戶提供更多的動態(tài)選擇。

除了上述工作，為加速知識圖譜與大語言模型的雙向融通，螞蟻集團(tuán)也和浙江大學(xué)成立了知識圖譜聯(lián)合實驗室。聯(lián)合實驗室已發(fā)布了大模型抽取框架 OneKE，下一步還將構(gòu)建增強(qiáng)語言模型的 OneGraph。 

后記：在 2024Inclusion?外灘大會 “超越平面思維，圖計算讓 AI 洞悉復(fù)雜世界” 見解論壇上，美國伊利諾伊大學(xué)芝加哥分校計算機(jī)科學(xué)與技術(shù)系特聘教授俞士綸、國際關(guān)聯(lián)數(shù)據(jù)基準(zhǔn)委員會（LDBC）副主席 Alastair Green、中國人壽財產(chǎn)保險有限公司人工智能開發(fā)團(tuán)隊負(fù)責(zé)人孔宇飛、螞蟻數(shù)字科技 AI 技術(shù)負(fù)責(zé)人章鵬、螞蟻集團(tuán)圖計算解決方案架構(gòu)師崔安頎等嘉賓也帶來了精彩分享，更多觀點可點擊閱讀原文查看。