摘要

檢索增強(qiáng)生成（RAG）是一種適用于檢索敏感電子健康記錄（EHR）的合適技術(shù)。它可以作為醫(yī)療副駕駛員Copilot的關(guān)鍵模塊，幫助減少醫(yī)療從業(yè)者和患者的誤診。然而，現(xiàn)有基于啟發(fā)式的醫(yī)療領(lǐng)域RAG模型的診斷準(zhǔn)確性和特異性不足，特別是對(duì)于癥狀相似的疾病。本文提出MedRAG，一種通過知識(shí)圖譜（KG）引導(dǎo)推理提升的醫(yī)療領(lǐng)域RAG模型，根據(jù)癥狀檢索診斷和治療建議。MedRAG系統(tǒng)地構(gòu)建了一個(gè)全面的四層分級(jí)診斷知識(shí)圖譜，涵蓋各種疾病的關(guān)鍵診斷差異。這些差異與從EHR數(shù)據(jù)庫檢索到的相似EHR動(dòng)態(tài)整合，并在大型語言模型中進(jìn)行推理。這一過程使決策支持更加準(zhǔn)確和具體，同時(shí)也主動(dòng)提供后續(xù)問題以增強(qiáng)個(gè)性化醫(yī)療決策。MedRAG在公共數(shù)據(jù)集DDXPlus和從新加坡陳篤生醫(yī)院收集的私人慢性疼痛診斷數(shù)據(jù)集（CPDD）上進(jìn)行了評(píng)估，其性能與各種現(xiàn)有的RAG方法進(jìn)行了比較。實(shí)驗(yàn)結(jié)果顯示，利用知識(shí)圖譜的信息整合和關(guān)系能力，我們的MedRAG提供了更具體的診斷洞察力，并在降低誤診率方面優(yōu)于最先進(jìn)的模型。我們的代碼將在??https://github.com/SNOWTEAM2023/MedRAG??上可用。

[2502.04413] MedRAG: Enhancing Retrieval-augmented Generation with Knowledge Graph-Elicited Reasoning for Healthcare Copilot

??https://arxiv.org/abs/2502.04413??

核心速覽

研究背景

1. 研究問題：這篇文章要解決的問題是如何在醫(yī)療領(lǐng)域中使用檢索增強(qiáng)生成（RAG）技術(shù)來提高診斷的準(zhǔn)確性和特異性，特別是對(duì)于癥狀相似的疾病。
2. 研究難點(diǎn)：該問題的研究難點(diǎn)包括：現(xiàn)有基于啟發(fā)式的RAG模型在處理相似癥狀的疾病時(shí)表現(xiàn)不佳，難以提供精確的診斷和個(gè)性化的治療建議。
3. 相關(guān)工作：該問題的研究相關(guān)工作有：LLMs和RAG在醫(yī)療領(lǐng)域的應(yīng)用，知識(shí)圖譜增強(qiáng)LLMs和RAG的研究。現(xiàn)有的醫(yī)療RAG和LLMs通常依賴于啟發(fā)式方法，導(dǎo)致輸出不準(zhǔn)確或模糊，特別是在疾病癥狀相似的情況下。
   

研究方法

這篇論文提出了MedRAG，一種通過知識(shí)圖譜引導(dǎo)推理的RAG模型，用于解決醫(yī)療領(lǐng)域的診斷問題。具體來說，

• 診斷知識(shí)圖譜構(gòu)建：首先，系統(tǒng)地構(gòu)建一個(gè)四層 hierarchical 診斷知識(shí)圖譜，涵蓋各種疾病的臨界診斷差異。通過疾病聚類和層次聚合技術(shù)，從EHR數(shù)據(jù)庫中提取潛在診斷和相應(yīng)的癥狀。然后，使用大型語言模型（LLM）增強(qiáng)圖譜，添加關(guān)鍵的診斷差異。

  

• 診斷差異知識(shí)圖譜搜索：通過將患者癥狀分解為臨床特征（如癥狀和位置），并在診斷知識(shí)圖譜中進(jìn)行多級(jí)匹配和向上遍歷，識(shí)別與輸入患者相關(guān)的關(guān)鍵診斷差異知識(shí)圖譜。
• KG引導(dǎo)推理RAG：最后，結(jié)合檢索到的EHR和診斷差異知識(shí)圖譜，在大語言模型中進(jìn)行推理，生成精確的診斷、治療建議和后續(xù)問題。該模塊包括文檔檢索器和KG引導(dǎo)推理LLM引擎。

公式解釋：

• 知識(shí)圖譜構(gòu)建過程中，疾病知識(shí)圖譜D通過層次聚合生成：
• 診斷差異知識(shí)圖譜搜索過程中，通過多級(jí)匹配和向上遍歷，識(shí)別與患者癥狀最相關(guān)的疾病子類別：
• RAG過程中，結(jié)合檢索到的EHR和診斷差異知識(shí)圖譜進(jìn)行推理：

實(shí)驗(yàn)設(shè)計(jì)

1. 數(shù)據(jù)集：使用兩個(gè)數(shù)據(jù)集進(jìn)行評(píng)估，一個(gè)是公共數(shù)據(jù)集DDXPlus，另一個(gè)是私人數(shù)據(jù)集CPDD。DDXPlus是一個(gè)大規(guī)模合成的EHR數(shù)據(jù)集，包含49種診斷和超過130萬名患者。CPDD是一個(gè)專注于慢性疼痛患者的專用EHR數(shù)據(jù)集，包含551名患者和33種診斷。
2. 基線模型：與六種其他SOTA RAG模型進(jìn)行比較，包括Naive RAG+COT、FL-RAG、FS-RAG、FLARE、DRAGIN和SR-RAG。
3. 評(píng)估指標(biāo)：使用準(zhǔn)確性、特異性和文本生成指標(biāo)（如BERTScore、BLEU、ROUGE、METEOR）進(jìn)行評(píng)估。此外，還進(jìn)行了主觀評(píng)估，由醫(yī)生根據(jù)Mini-CEX標(biāo)準(zhǔn)對(duì)生成的報(bào)告進(jìn)行評(píng)分。

結(jié)果與分析

1. 定量比較：在CPDD和DDXPlus數(shù)據(jù)集上，MedRAG在多個(gè)指標(biāo)上表現(xiàn)最佳或次優(yōu)。在CPDD數(shù)據(jù)集上，MedRAG在L3指標(biāo)上比第二好的模型高出11.32%。在DDXPlus數(shù)據(jù)集上，MedRAG在L3指標(biāo)上比第二好的模型高出1.23%。
2. 兼容性、泛化性和適應(yīng)性：在不同的大型語言模型（如Mixtral-8x7B、Qwen-2.5、Llama-3.1-Instruct、GPT-3.5-turbo和GPT-4o）上，MedRAG顯著提高了診斷準(zhǔn)確性。特別是對(duì)于較小的模型，KG引導(dǎo)推理顯著提升了性能。
3. 主動(dòng)診斷提問機(jī)制：通過目標(biāo)導(dǎo)向的提問，MedRAG逐步收集了更多關(guān)鍵細(xì)節(jié)，顯著提高了診斷準(zhǔn)確性。當(dāng)覆蓋到100%的關(guān)鍵癥狀時(shí)，L3準(zhǔn)確性從52.83%提高到66.04%。
4. 消融研究：評(píng)估了不同組件的有效性，結(jié)果表明檢索器和KG引導(dǎo)推理模塊顯著提高了性能。隨機(jī)選擇的文檔比沒有文檔的情況表現(xiàn)更好，加入正確的KG增強(qiáng)知識(shí)后，噪聲效應(yīng)得到緩解，準(zhǔn)確性在所有指標(biāo)上都有提升。

總體結(jié)論

MedRAG通過整合KG引導(dǎo)推理與RAG模型，顯著提高了醫(yī)療領(lǐng)域的診斷準(zhǔn)確性和特異性。系統(tǒng)性地檢索和推理EHR，動(dòng)態(tài)地結(jié)合關(guān)鍵的診斷差異知識(shí)圖譜，提供了更精確的診斷和個(gè)性化的治療建議。此外，MedRAG的主動(dòng)診斷提問機(jī)制證明其有效性，能夠向醫(yī)生和患者提供有針對(duì)性的問題，增強(qiáng)診斷性能和咨詢效率。公共和私人數(shù)據(jù)集的評(píng)估表明，MedRAG在減少相似癥狀疾病的誤診率方面表現(xiàn)優(yōu)異，展示了其在醫(yī)療助手中的潛力。未來工作包括整合多模態(tài)數(shù)據(jù)（如醫(yī)學(xué)影像、生理信號(hào)數(shù)據(jù)和血液測(cè)試數(shù)據(jù)）以進(jìn)一步提高診斷準(zhǔn)確性，并將MedRAG部署到實(shí)際的醫(yī)療助手系統(tǒng)中。

論文評(píng)價(jià)

優(yōu)點(diǎn)與創(chuàng)新

1. 系統(tǒng)構(gòu)建四層診斷知識(shí)圖譜：MedRAG通過系統(tǒng)構(gòu)建一個(gè)四層診斷知識(shí)圖譜，涵蓋各種疾病的關(guān)鍵診斷差異，顯著提高了推理能力。
2. 增強(qiáng)的RAG方法：提出了一種結(jié)合知識(shí)圖譜推理的RAG方法，顯著提高了RAG在做出準(zhǔn)確和高度特定診斷決策方面的能力。
3. 個(gè)性化治療建議和藥物指導(dǎo)：不僅支持個(gè)性化治療建議，還能在必要時(shí)主動(dòng)生成后續(xù)問題，進(jìn)一步澄清模糊的患者信息。
4. 跨LLM的魯棒性：在各種LLM上展示了強(qiáng)大的泛化能力，并證明了其在生成基于推理的后續(xù)診斷問題方面的有效性。
5. 公共和私有數(shù)據(jù)集的綜合評(píng)估：在公共數(shù)據(jù)集DDXPlus和私有數(shù)據(jù)集CPDD上的綜合實(shí)驗(yàn)表明，MedRAG在減少相似表現(xiàn)疾病的誤診率方面優(yōu)于現(xiàn)有的RAG模型。
6. 主動(dòng)診斷提問機(jī)制：提出了一個(gè)優(yōu)化的主動(dòng)診斷提問機(jī)制，能夠在初始輸入缺乏關(guān)鍵信息時(shí)，提供有針對(duì)性的后續(xù)問題，增強(qiáng)診斷性能。

不足與反思

1. 未來工作：計(jì)劃通過整合多模態(tài)數(shù)據(jù)（如醫(yī)學(xué)影像、生理信號(hào)數(shù)據(jù)和血液測(cè)試數(shù)據(jù)）來進(jìn)一步提高診斷準(zhǔn)確性，并將MedRAG部署到實(shí)際的醫(yī)療輔助系統(tǒng)中進(jìn)行醫(yī)院測(cè)試。
2. 用戶體驗(yàn)改進(jìn)：為了提高醫(yī)生的使用便利性，計(jì)劃將語音識(shí)別模塊集成到系統(tǒng)中，使其能夠在咨詢過程中被動(dòng)地聽取醫(yī)生和患者的對(duì)話，并提供實(shí)時(shí)的后續(xù)問題和相關(guān)解釋。

關(guān)鍵問題及回答

問題1：MedRAG在構(gòu)建診斷知識(shí)圖譜時(shí)，如何確保圖譜的詳細(xì)性和準(zhǔn)確性？

MedRAG通過以下步驟確保診斷知識(shí)圖譜的詳細(xì)性和準(zhǔn)確性：

1. 疾病聚類：首先，使用疾病聚類技術(shù)將EHR數(shù)據(jù)庫中的疾病統(tǒng)一表示，確保同一疾病的不同形式和表示被歸為一類。
2. 層次聚合：通過層次聚合技術(shù)，將疾病聚類結(jié)果進(jìn)一步聚合為更廣泛的類別和子類別，形成四層 hierarchical 診斷知識(shí)圖譜。
3. 大型語言模型增強(qiáng)：利用大型語言模型（LLM）的語義理解和主題提取能力，對(duì)圖譜進(jìn)行增強(qiáng)，添加關(guān)鍵的診斷差異信息。
4. 臨床特征匹配：通過將患者癥狀分解為臨床特征（如癥狀和位置），并在診斷知識(shí)圖譜中進(jìn)行多級(jí)匹配和向上遍歷，確保圖譜中包含詳細(xì)的疾病特征和診斷差異。

問題2：MedRAG的診斷差異知識(shí)圖譜搜索模塊是如何工作的？請(qǐng)?jiān)敿?xì)描述其過程。

1. 癥狀分解：將患者的癥狀描述分解為更詳細(xì)的臨床特征，如癥狀和位置。
2. 特征匹配：計(jì)算每個(gè)特征與診斷知識(shí)圖譜中節(jié)點(diǎn)（疾病或癥狀）的語義相似度，選擇最相似的特征節(jié)點(diǎn)。
3. 多級(jí)匹配和向上遍歷：通過多級(jí)匹配和向上遍歷，識(shí)別與患者癥狀最相關(guān)的疾病子類別。具體來說，計(jì)算每個(gè)特征節(jié)點(diǎn)到各疾病子類別的最短路徑距離，并通過投票機(jī)制確定最相關(guān)的疾病子類別。
4. 生成診斷差異知識(shí)圖譜：將識(shí)別出的關(guān)鍵診斷差異知識(shí)圖譜與患者癥狀進(jìn)行關(guān)聯(lián)，形成完整的診斷差異知識(shí)圖譜，用于后續(xù)的推理過程。

問題3：MedRAG在不同大型語言模型上的表現(xiàn)如何？其兼容性和適應(yīng)性如何？

MedRAG在不同大型語言模型（LLMs）上均表現(xiàn)出色，證明了其兼容性和適應(yīng)性。具體表現(xiàn)如下：

1. 兼容性：MedRAG能夠在多種開源和閉源的大型語言模型（如Mixtral-8x7B、Qwen-2.5、Llama-3.1-Instruct、GPT-3.5-turbo和GPT-4o）上運(yùn)行，并顯著提高診斷準(zhǔn)確性。
2. 適應(yīng)性：MedRAG在不同類型的LLMs上均表現(xiàn)出較高的診斷準(zhǔn)確性，特別是在使用GPT-4o作為 backbone LLM 時(shí)，表現(xiàn)最為出色，顯示出其強(qiáng)大的適應(yīng)性和推理能力。
3. 消融研究：通過消融研究評(píng)估了不同組件的有效性，結(jié)果表明，引入知識(shí)圖譜引導(dǎo)推理顯著提高了MedRAG在不同LLMs上的診斷準(zhǔn)確性，特別是在小型模型中效果更為顯著。

附錄

本文轉(zhuǎn)載自??知識(shí)圖譜科技??