導(dǎo)讀：本次分享的題目是圖表示學(xué)習(xí)技術(shù)在藥物推薦系統(tǒng)中的應(yīng)用。

主要包括以下四個(gè)部分：

• 研究背景與挑戰(zhàn)
• 判別式藥品包推薦 
• 生成式藥品包推薦
• 總結(jié)與展望

一、研究背景與挑戰(zhàn)

1、研究背景

• 醫(yī)療資源總體不足，分布不均帶來沉重壓力

藥物推薦是智慧醫(yī)療的一個(gè)子問題，首先從智慧醫(yī)療的大背景說起，在我國智慧醫(yī)療存在緊迫性，隨著人口增長(zhǎng)、老齡化加劇，人們對(duì)于高質(zhì)量醫(yī)療服務(wù)的需求不斷攀升。圖中兩組數(shù)據(jù)，一是全國醫(yī)療機(jī)構(gòu)的就診人數(shù)在 60.5 億人次，同比增長(zhǎng) 22.4%；二是柳葉刀上關(guān)于各國醫(yī)療衛(wèi)生條件統(tǒng)計(jì)，我國醫(yī)生大學(xué)本科以上學(xué)歷僅 57.4%，包括醫(yī)生、護(hù)士、社區(qū)衛(wèi)生工作者等 16 類衛(wèi)生工作職業(yè)的每萬人從業(yè)者數(shù)量上，中國僅達(dá)到美國的 1/3 。我國的診療人數(shù)不斷攀升，但醫(yī)療資源和醫(yī)療水平相對(duì)于發(fā)達(dá)國家還有較大的不足，此外還存在著醫(yī)療資源分配不均的問題?；鶎俞t(yī)療機(jī)構(gòu)的醫(yī)療水平相對(duì)有限，而頂層機(jī)構(gòu)是供不應(yīng)求的。因此如何充分利用高水平醫(yī)療機(jī)構(gòu)的診療經(jīng)驗(yàn)，協(xié)助提升基層醫(yī)療機(jī)構(gòu)的醫(yī)療水平，是一個(gè)亟待解決的重要問題。

• 智慧醫(yī)療，人工智能技術(shù)帶來了曙光

隨著近些年醫(yī)療機(jī)構(gòu)數(shù)字化進(jìn)程加快，我國大量的醫(yī)療機(jī)構(gòu)尤其是三甲醫(yī)院等高水平醫(yī)療機(jī)構(gòu)都已經(jīng)積累了非常豐富的電子病歷數(shù)據(jù)。如果能夠利用大數(shù)據(jù)人工智能技術(shù)，充分挖掘此信息并提取相關(guān)知識(shí)，則有可能幫助我們理解這些高水平機(jī)構(gòu)中醫(yī)療專家的一些診療方式和思想，進(jìn)而支撐智慧復(fù)診、醫(yī)療影像分析、慢性病隨訪等一系列的下游智慧醫(yī)療的應(yīng)用，這些具有顯著的意義。

2、研究挑戰(zhàn)

當(dāng)下越來越多的醫(yī)療 AI 技術(shù)正在取得更加廣泛的應(yīng)用，也推動(dòng)了醫(yī)療服務(wù)的公平化和普惠化。部分 AI 技術(shù)如醫(yī)療影像分析等已經(jīng)取得了一些令人矚目的成果，但在藥品推薦系統(tǒng)中卻存在較少應(yīng)用，原因是藥品推薦系統(tǒng)和傳統(tǒng)的推薦系統(tǒng)有著非常大的差別，技術(shù)上也存在著諸多的難點(diǎn)。

• 包推薦系統(tǒng)

第一個(gè)挑戰(zhàn)是傳統(tǒng)基于協(xié)同過濾等方法的推薦系統(tǒng)的應(yīng)用場(chǎng)景主要是一次為一名用戶推薦一個(gè)物品，他們的輸入是單個(gè)物品和單個(gè)用戶的表示，輸出的是二者之間的匹配程度打分。然而在藥品推薦中，醫(yī)生往往需要一次為患者開出一組藥品。藥品推薦系統(tǒng)實(shí)際上是一個(gè)包推薦系統(tǒng)，叫做 package recommendation system，同時(shí)為一個(gè)用戶推薦一組藥品。如何結(jié)合包推薦系統(tǒng)進(jìn)行藥品推薦，是我們面臨的第一個(gè)大挑戰(zhàn)。

• 藥品間相互作用

藥品推薦系統(tǒng)的第二個(gè)挑戰(zhàn)是藥品之間存在著多種多樣的相互作用。有些藥品之間存在藥效互相促進(jìn)的協(xié)同作用，有些藥品間存在藥效互相抵消的拮抗作用，甚至有些藥品的合用會(huì)導(dǎo)致毒性或者其他副作用。圖中病人是患有某種腎臟疾病，左邊部分是醫(yī)生為病人所開藥品，其中部分藥品存在協(xié)同作用，可以促進(jìn)藥效。右邊部分是統(tǒng)計(jì)分析出來的對(duì)癥高頻藥品?？梢钥吹竭@些藥品可能是由于一些拮抗作用而沒有被選取，下面的藥品可能是跟已有的某種藥品產(chǎn)生了毒性，因此也沒有被此患者使用。

此外，藥品的相互作用影響是個(gè)性化的。我們?cè)跀?shù)據(jù)統(tǒng)計(jì)中發(fā)現(xiàn)存在大量有拮抗作用、甚至是有毒性作用的藥品同時(shí)使用。根據(jù)分析，其實(shí)醫(yī)生是會(huì)根據(jù)病人的病情考慮相互作用影響而開出藥物。比如一些腎臟健康的病人，他往往可以承受一定的藥品腎臟毒性的，因此我們需要對(duì)藥品之間的相互作用進(jìn)行個(gè)性化的建模和分析。

3、圖表示學(xué)習(xí)技術(shù)成為了新的可能

總結(jié)來說，結(jié)合以上的挑戰(zhàn)，圖表示學(xué)習(xí)技術(shù)是非常適合解決藥品推薦系統(tǒng)中存在的問題。隨著圖神經(jīng)網(wǎng)絡(luò)的飛速發(fā)展，人們意識(shí)到圖神經(jīng)網(wǎng)絡(luò)技術(shù)可以非常有效的建模節(jié)點(diǎn)之間的組合效應(yīng)與節(jié)點(diǎn)之間的關(guān)系，這啟發(fā)我們圖表示學(xué)習(xí)技術(shù)或許將會(huì)成為構(gòu)建藥品推薦系統(tǒng)的一個(gè)利器。

圖中舉例來說，我們可以將一個(gè)藥品包根據(jù)其中的相互作用構(gòu)建成圖，通過已有的圖神經(jīng)網(wǎng)絡(luò)進(jìn)行建模?；谝陨舷敕?，我們使用圖深度學(xué)習(xí)技術(shù)在藥品推薦系統(tǒng)上做了兩篇工作，分別發(fā)表在 WWW 和 TOIS 期刊上，以下是詳細(xì)介紹。

二、判別式藥品包推薦

首先介紹一下我們發(fā)表在 WWW2021 上的關(guān)于藥品包推薦論文。這篇文章采用了包推薦系統(tǒng)中廣泛應(yīng)用的判別式模型定義方法建模，同時(shí)使用了圖表示學(xué)習(xí)技術(shù)作為核心技術(shù)部分。

1、數(shù)據(jù)描述

• 電子病例數(shù)據(jù)

首先介紹工作中使用的數(shù)據(jù)描述。

我們?cè)谘芯抗ぷ髦惺褂玫碾娮硬v是來自于一個(gè)大型三甲醫(yī)院的真實(shí)電子病歷數(shù)據(jù)庫，其中每條電子病歷都包括了以下幾類信息：一是患者的基本信息，包括患者的年齡、性別、醫(yī)保等等；二是患者的化驗(yàn)信息，包括醫(yī)生關(guān)注的化驗(yàn)結(jié)果的異常，以及異常的種類：偏高、偏低、是否陽性等；三是醫(yī)生為患者撰寫的病情描述：包括患者為什么入院、以及初步體格檢查等信息；最后是醫(yī)生為患者開的一組藥品。

此電子病歷數(shù)據(jù)是一個(gè)異構(gòu)數(shù)據(jù)，包括年齡、性別、化驗(yàn)等結(jié)構(gòu)化信息以及病情描述等非結(jié)構(gòu)化文本信息。

• 藥品數(shù)據(jù)

為了研究藥品之間的相互作用，我們從 DrugBank 與藥制網(wǎng)兩個(gè)大型在線開源藥品知識(shí)庫里收集了部分藥品的屬性及相互作用數(shù)據(jù)。藥品相互作用是基于一些模板的自然語言描述，如上圖中 description 一欄是在講某種藥品可能可以增加代謝或減弱代謝等，中間話是模板，前后是填充的藥品名字。因此只要清楚模型分類，則可以把數(shù)據(jù)庫里所有的藥品相互作用進(jìn)行標(biāo)記。

因此，我們?cè)趯I(yè)醫(yī)師的指導(dǎo)下，把藥品相互作用考慮了無相互作用、協(xié)同作用和拮抗作用三類，把模板進(jìn)行了標(biāo)注，得到了藥品相互作用的分類。

2、數(shù)據(jù)預(yù)處理與問題定義

數(shù)據(jù)預(yù)處理來說，對(duì)于電子病歷數(shù)據(jù)，我們將其分為了兩個(gè)部分：患者的基本信息和化驗(yàn)信息，我們將其處理為一個(gè) One-hot 的向量；病情描述文本部分，我們通過一些 Padding 與 Cut off 將其轉(zhuǎn)化為定長(zhǎng)文本。對(duì)于藥品相互作用數(shù)據(jù)：我們將其轉(zhuǎn)化為一個(gè)藥品的相互作用矩陣。

同時(shí)問題定義如下：給定一組患者的描述以及對(duì)應(yīng) Ground-truth 藥品包，我們將訓(xùn)練一個(gè)個(gè)性化的打分函數(shù)，該函數(shù)可以輸入給定患者和樣品包，輸出一個(gè)匹配程度打分。很明顯，這是一個(gè)判別式模型的定義方式。

3、模型概覽

本文提出的論文題目是 DPR：Drug Package Recommendation via Interaction-aware Graph Induction。模型包括三個(gè)部分：

預(yù)訓(xùn)練部分，我們基于 NCF 框架得到病人與藥品初始表征。

藥品包構(gòu)建部分，我們提出了一種基于藥品相互作用關(guān)系類型，將藥品包構(gòu)建成藥品圖的方法。

最后一個(gè)部分是基于圖的藥品包的推薦框架，其中設(shè)計(jì)了兩個(gè)不同的變種，從兩種不同的角度去理解如何建模藥品之間的相互作用。

• 預(yù)訓(xùn)練

首先預(yù)訓(xùn)練部分是按照傳統(tǒng)的一對(duì)一推薦方式進(jìn)行的。給定一個(gè)病例，醫(yī)生為給病人使用過的藥品是正例，未使用過的藥品是負(fù)例。通過 BPRLoss 進(jìn)行預(yù)訓(xùn)練，使用過的藥品得分比沒使用過的高。

預(yù)訓(xùn)練部分主要是要捕捉基本的藥效信息，為后面捕捉更復(fù)雜的交互作用提供基礎(chǔ)。對(duì)于 One-hot 部分，我們使用 MLP 提取特征；對(duì)于文本部分，我們使用LSTM提取文本特征。

• 藥品圖構(gòu)建

與傳統(tǒng)推薦相比，藥品推薦的核心問題是如何考慮藥品間的相互作用關(guān)系，得到藥品包的表征?；诖?，本文提出了基于圖模型的藥品包建模方法。

首先，已標(biāo)注好的藥品相互作用關(guān)系會(huì)轉(zhuǎn)化成一個(gè)藥品相互作用矩陣，其中不同的數(shù)值表示不同的相互作用類型。隨后基于此矩可以將任意一個(gè)給定的藥品包轉(zhuǎn)化成一個(gè)異構(gòu)藥品圖，圖中節(jié)點(diǎn)對(duì)應(yīng)藥品包中的藥品，節(jié)點(diǎn)屬性是節(jié)點(diǎn)對(duì)應(yīng)上一個(gè)步驟中的預(yù)訓(xùn)練過的Embedding。同時(shí)為了避免計(jì)算量過大，我們并沒有把藥品圖構(gòu)建成完全圖，即沒有讓任意兩個(gè)藥品之間都有一條邊，而是有選擇的進(jìn)行保留，具體而言只保留了那些被標(biāo)注過的藥品對(duì)的邊以及頻率超過一定閾值的邊。

• 藥品圖構(gòu)建

為了對(duì)藥品圖進(jìn)行有效表征，我們提出了兩種方式對(duì)藥品圖上的邊屬性進(jìn)行形式化。

第?一種形式是 DPR-WG，使用帶權(quán)圖表示藥品圖。首先是根據(jù)標(biāo)注好的藥品相互作用，對(duì)邊全值進(jìn)行初始化，其中使用-1表示拮抗，+1表示協(xié)同，0 是表示無相互作用或者未知。隨后使用了掩碼向量對(duì)藥品圖中的邊權(quán)值進(jìn)行個(gè)性化的更新。

該掩碼向量反映了不同藥品的相互作用，對(duì)于個(gè)?病人的個(gè)性化的影響程度，它的計(jì)算方法是使用一個(gè)非線性層加 Sigmoid 的函數(shù)使得每一個(gè)維度取值都是從 0~1 之間，從而實(shí)現(xiàn)特征選擇的作用，對(duì)藥品的相互作用進(jìn)行個(gè)性化調(diào)整。藥品圖更新過程是在 DPR-WG 中先算出一個(gè)更新因子，更新因子與對(duì)應(yīng)邊上的權(quán)重相乘或者相加等進(jìn)行更新。后續(xù)實(shí)驗(yàn)中發(fā)現(xiàn)其實(shí)更新方法對(duì)結(jié)果影響不大，在藥品圖表征過程中，我們?cè)O(shè)計(jì)了基于帶權(quán)圖的表示藥品的方法。

總結(jié)來說，我們首先設(shè)計(jì)了一個(gè)針對(duì)帶權(quán)圖的信息更新過程：聚合鄰居信息，在聚合的過程中，根據(jù)邊的權(quán)重，個(gè)性化調(diào)整它聚合程度。隨后我們使用了一個(gè) Self Attention 機(jī)制把不同節(jié)點(diǎn)之間的權(quán)重計(jì)算，使用一個(gè)聚合 MLP 把圖聚合起來得到最終整個(gè)藥品圖的表征。后續(xù)把病人表征與藥品圖表征輸入到打分函數(shù)里面去，可以得到輸出進(jìn)行推薦。

此外，本文使用 BPRLoss 訓(xùn)練模型，引入負(fù)采樣方法，對(duì)應(yīng) 1 個(gè)正樣本有 10 個(gè)負(fù)樣本。

第二個(gè)變種是使用屬性圖表示藥品圖。首先是通過一個(gè) MLP 融合邊兩端的節(jié)點(diǎn)向量初始化邊向量。隨后同樣使用掩碼向量對(duì)邊向量進(jìn)行更新，此時(shí)更新方法就不再是更新因子，而是計(jì)算一個(gè)更新向量，使用更新向量與藥品的邊向量進(jìn)行逐元素相乘，得到更新后的邊屬性向量。我們專門設(shè)計(jì)了針對(duì)屬性圖的 GNN，其 message passsing 過程首先是根據(jù)邊向量及兩端的節(jié)點(diǎn) Embedding計(jì)算出message進(jìn)行傳播，通過self attention及聚合方法得到Graph Embedding。

同樣我們可以采用 BPRLoss 進(jìn)行訓(xùn)練，不同的是我們額外引進(jìn)了一個(gè)針對(duì)邊分類的交叉熵?fù)p失函數(shù)，希望邊向量可以包含藥品相互作用的類別信息。因?yàn)樯弦粋€(gè)變種中初始化的正負(fù)號(hào)天然的保留了此信息，但此變種的圖沒有，因此通過引入損失函數(shù)來把此信息補(bǔ)上。

從實(shí)驗(yàn)結(jié)果來看，我們的兩個(gè)模型均在不同的評(píng)價(jià)指標(biāo)上超出了其他判別式模型。同時(shí)我們也進(jìn)行了案例分析：采用 t-SNE 方法，把之前提到的掩碼向量投影到一個(gè)二維的空間上。圖中所示，比如孕婦、嬰兒以及肝臟病人等，他們使用的藥物有非常明顯的聚集成簇的趨勢(shì)，證明了我們方法的有效性。

三、生成式藥品包推薦

以上判別式模型只能在已有藥品包中進(jìn)行挑選，沒有生成新的藥品包能力，會(huì)影響推薦效果，接下來我們將會(huì)介紹發(fā)表在 TOIS 期刊上的針對(duì)上一篇工作的擴(kuò)展工作，目的是希望模型能夠生成全新的為新病人量身定做藥品包。

此工作是保留了上一篇論文中圖表示學(xué)習(xí)的核心思想，同時(shí)完全改變問題定義，把模型定義成生成模型，引入序列生成與強(qiáng)化學(xué)習(xí)技術(shù)，大幅的提高了推薦效果。

1、判別式推薦->生成式推薦

判別式模型與生成式模型的核心區(qū)別是判別式模型是給定病人與給定藥品包的匹配程度打分，而生成式模型是為病人生成候選藥品包并挑選最佳藥品包。

2、啟發(fā)式生成方法

針對(duì)上文中提出的判別式模型的缺點(diǎn)，我們?cè)O(shè)計(jì)了一些啟發(fā)式生成方法：通過在相似病人的藥品包中進(jìn)行增加和刪除部分藥品的操作，形成一些歷史記錄中從來沒有出現(xiàn)過的藥品包供模型挑選。實(shí)驗(yàn)結(jié)果證明這種簡(jiǎn)單的方法十分有效，為后續(xù)方法提供了基礎(chǔ)。

3、模型概覽

接下來是發(fā)表在 TOIS 的 Interaction-aware Drug Package Recommendation via Policy Gradient 文章。文中提出的模型叫做 DPG，不同于上一篇的 DPR，這里的 G 是 Generation。

此模型主要包含三個(gè)部分，分別是藥品相互作用圖上的信息傳播，病人的表征以及藥品包生成模塊，與上文的最大的區(qū)別是藥品包生成模塊。

• 藥品相互作用圖

首先構(gòu)建藥品相互作用圖部分，文中保留了圖神經(jīng)網(wǎng)絡(luò)捕捉藥品間相互作用的方法，不同的是判別式模型中，藥品包是給定的，可以方便的轉(zhuǎn)化為藥品圖，而在生成式模型中，藥品圖是不固定的，由于計(jì)算量原因，無法把所有的藥品包都構(gòu)建成圖。

本文把所有的藥品全部包含在了一個(gè)藥品相互作用圖中，同樣采用 Attributed graph 進(jìn)行圖形式化，同時(shí)也保留了邊分類損失函數(shù)，保留邊的 Embedding 信息，最后也構(gòu)建了基于此藥品相互作用圖上的 GNN。

經(jīng)過幾輪（一般為2）的 message passing 后，我們提取其中節(jié)點(diǎn) Embedding 作為要使用的藥品 Embedding。

• 病人表征

病人表征部分，同樣采用了 MLP 和 LSTM 提取病人的表征向量，同時(shí)也會(huì)計(jì)算掩碼向量，后續(xù)用于捕捉病人個(gè)性化表示向量。

• 基于序列生成的藥品包生成

藥品包生成任務(wù)可以視為一個(gè)序列生成任務(wù)，采用循環(huán)神經(jīng)網(wǎng)絡(luò) RNN 實(shí)現(xiàn)。但此方法也帶來了兩大挑戰(zhàn)：

第一個(gè)挑戰(zhàn)是在生成過程中如何考慮生成出的藥品和已有的藥品之間的相互作用。為此我們提出了一種基于藥品相互作用向量的方法顯式建模藥品之間的相互作用。

第二個(gè)挑戰(zhàn)是樣品包是一個(gè)集合，本質(zhì)是無序的，但是序列生成任務(wù)往往針對(duì)有序序列順序的方法。為此我們提出了一種基于策略梯度的強(qiáng)化學(xué)習(xí)方法，同時(shí)增加了基于SCST的方法來提升此算法的效果和穩(wěn)定性。

• 基于極大似然的藥品包生成

首先介紹如何在基于極大自然的藥品包生成過程中考慮藥品間的相互作用，此部分也是后面用強(qiáng)化學(xué)習(xí)部分的基礎(chǔ)?；跇O大似然的序列生成方法在 NLP 領(lǐng)域已經(jīng)得到了廣泛使用，在生成過程中，每生成一個(gè)藥品都依賴于之前生成的其他藥品。

為了考慮到藥品間的相互作用，同時(shí)又不為模型帶來過大的計(jì)算負(fù)擔(dān)，我們提出在每一個(gè)時(shí)間步，顯式計(jì)算最新生成的藥品與之前藥品的相互作用向量，此向量計(jì)算方法來自于之前圖神經(jīng)網(wǎng)絡(luò)里的一個(gè)層。

同時(shí)我們?cè)黾友诖a向量與相互作用向量進(jìn)行對(duì)應(yīng)元素相乘，引入患者的個(gè)性化信息。

最后把所有藥品的相互作用向量求和，使用 MLP 將其融合得到綜合的相互作用向量。

后續(xù)把此向量融入經(jīng)典的序列模型中進(jìn)行生成，則是解決了第一個(gè)挑戰(zhàn)。

與經(jīng)典的序列生成不同的是藥品包其實(shí)是一個(gè)集合，不應(yīng)該出現(xiàn)重復(fù)藥品，因此我們后續(xù)增加了一個(gè)限制，讓模型不能生成已經(jīng)生成過的這個(gè)藥品，保證生成結(jié)果一定是一個(gè)集合。最后我們采用了基于極大似然的 MLE 損失函數(shù)訓(xùn)練模型。

• 基于強(qiáng)化學(xué)習(xí)的藥品包生成

以上基于最大似然的方法最大的缺點(diǎn)是藥品包具有嚴(yán)格順序，部分人工為藥品指定順序的方法，如根據(jù)頻率排序，根據(jù)首字母排序等等，會(huì)破壞藥品包集合的特性，同時(shí)也會(huì)損失掉部分模型的 performance，因此我們提出了基于強(qiáng)化學(xué)習(xí)的藥品包生成模型。強(qiáng)化學(xué)習(xí)中模型的目標(biāo)是最大化人工設(shè)置的 reward 函數(shù)，在模型生成完整的藥品包之后，給一個(gè)和順序無關(guān)的 reward 損失函數(shù)，則可以減弱模型對(duì)順序的依賴性。

本文采用的是 F-value 作為 reward，它是一個(gè)順序無關(guān)的函數(shù)，同時(shí)是我們所關(guān)注的評(píng)價(jià)指標(biāo)。本文采用 F-value 作為評(píng)價(jià)指標(biāo)，在訓(xùn)練方式上采用了基于策略梯度的訓(xùn)練方式，在此就不進(jìn)行詳細(xì)推導(dǎo)。

基于策略梯度的訓(xùn)練方法中，其重一個(gè)廣為人知的方法是使用一個(gè) baseline 減少梯度估計(jì)的方差，從而增加訓(xùn)練的穩(wěn)定性。因此我們使用了基于 SCST 的訓(xùn)練方式，即 Self-critical sequence training 方法。baseline 同樣來自于模型自身生成的這個(gè)藥品包所獲得的 reward，自己生成的方式我設(shè)計(jì)為 Greedy search 的正常序列生成方法。

我們希望模型根據(jù) Policy gradient 采樣出來的藥品包的 reward 要高于傳統(tǒng)給予 Greedy search 生成出來藥品包?；诖吮疚脑O(shè)計(jì)了強(qiáng)化學(xué)習(xí)的損失函數(shù)，如圖中所示，這里就不詳細(xì)的介紹推導(dǎo)過程。

• 極大似然預(yù)訓(xùn)練+強(qiáng)化學(xué)習(xí)

此外，強(qiáng)化學(xué)習(xí)的一個(gè)特性是訓(xùn)練較難，因此我們結(jié)合了以上兩種訓(xùn)練方式，首先采用極大自然的估計(jì)方法對(duì)模型進(jìn)行預(yù)訓(xùn)練，隨后采用強(qiáng)化學(xué)習(xí)的方法，對(duì)模型參數(shù)進(jìn)行微調(diào)。

• 實(shí)驗(yàn)結(jié)果

接下來是模型的實(shí)驗(yàn)結(jié)果。

在上表中，所有的藥品包都是用 Greedy search 生成的。首先基于生成式模型的表現(xiàn)普遍優(yōu)于基于判別式模型方法，該實(shí)驗(yàn)證明了生成式模型將會(huì)是一個(gè)更加優(yōu)秀的選擇。此模型在 F value 上超越了其他所有的 Baseline。此外，基于強(qiáng)化學(xué)習(xí)的模型表現(xiàn)大大超越了基于極大似然模型，證明了強(qiáng)化學(xué)習(xí)方法的有效性。

后續(xù)我們還進(jìn)行了一系列的消融實(shí)驗(yàn)。我們分別去掉了相互作用圖，包括相互作用的掩碼向量以及強(qiáng)化學(xué)習(xí)的模塊進(jìn)行消融，結(jié)果證明我們的各個(gè)模塊都是有效的。同時(shí)可以看到，把 SCST 模塊去掉，模型效果下降非常多，因此也證明了強(qiáng)化學(xué)習(xí)確實(shí)比較難訓(xùn)練。如果不加 Baseline 限制，整個(gè)訓(xùn)練過程會(huì)非常抖動(dòng)。

最后我們也做了大量的案例分析，可以看到孕婦和嬰兒有明顯的個(gè)性化偏好。同時(shí)我們額外加了一些常見病如胃病、心臟病等，這些病的掩碼向量則分布非常分散，沒有形成簇。常見病的患者情況多種多樣，不會(huì)有特別個(gè)性化的情況出現(xiàn)，不像孕婦和嬰兒有著非常明顯的對(duì)于藥品的篩選，如某些需要指定小兒藥品，有些藥品孕婦不能使用等。

同時(shí)我們對(duì)藥品的相互作用向量進(jìn)行了投影，可以看到協(xié)同作用和拮抗作用兩種藥品相互作用形成了兩個(gè)不同的對(duì)立情況，說明模型捕捉到了兩種不同相互作用帶來的不同效果。

四、總結(jié)與展望

總結(jié)來說，我們的研究主要是相互作用感知的個(gè)性化藥品包推薦，包括判別式的藥品包推薦以及生成式的藥品包推薦。

兩者共同點(diǎn)是都使用了圖表示學(xué)習(xí)技術(shù)來建模藥品間的相互作用、都使用了掩碼向量考慮病人病情對(duì)于相互作用的個(gè)性化的感知。

兩項(xiàng)工作最大的區(qū)別是問題定義差別，對(duì)于判別模型我們要的是一個(gè)打分函數(shù)，那么對(duì)于生成模型我們要的是一個(gè)生成器，通過實(shí)驗(yàn)證明，生成式模型其實(shí)是對(duì)于問題更好的一個(gè)定義。