一、前言

隨著IT技術(shù)的飛速發(fā)展，各行各業(yè)都已在廣泛嘗試使用大數(shù)據(jù)技術(shù)提供更穩(wěn)健和優(yōu)質(zhì)的服務(wù)。目前，醫(yī)療IT系統(tǒng)收集了大量***價(jià)值的數(shù)據(jù)，但這些歷史醫(yī)療數(shù)據(jù)并沒(méi)有發(fā)揮出其應(yīng)有的價(jià)值。為此 ，本文擬利用醫(yī)院現(xiàn)有的歷史數(shù)據(jù)，挖掘出有價(jià)值的基于統(tǒng)計(jì)學(xué)的醫(yī)學(xué)規(guī)則、知識(shí)，并 基于這些信息構(gòu)建專業(yè)的臨床知識(shí)庫(kù)，提供診斷、處方、用藥推薦功能，基于強(qiáng)大的關(guān)聯(lián)推薦能力，極大地提高醫(yī)療服務(wù)質(zhì)量，減輕醫(yī)療人員的工作強(qiáng)度。

二、Hadoop&Spark

目前大數(shù)據(jù)處理領(lǐng)域的框架有很多。

從計(jì)算的角度上看，主要有MapReduce框架(屬于Hadoop生態(tài)系統(tǒng))和Spark框架。 其中Spark是近兩年出現(xiàn)的新一代計(jì)算框架，基于內(nèi)存的特性使它在計(jì)算效率上大大優(yōu)于MapReduce框架; 從存儲(chǔ)角度來(lái)看，當(dāng)前主要還是在用Hadoop生態(tài)環(huán)境中的HDFS框架。 HDFS的一系列特性使得它非常適合大數(shù)據(jù)環(huán)境下的存儲(chǔ)。

1、Hadoop

Hadoop不是一個(gè)軟件，而是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，是由Apache基金會(huì)主持開(kāi)發(fā)的一個(gè)開(kāi)源項(xiàng)目。Hadoop可以使用戶在不了解分布式底層實(shí)現(xiàn)的情況下，開(kāi)發(fā)分布式程序，從而充分利用電腦集群的威力，實(shí)現(xiàn)高速運(yùn)算和大規(guī)模數(shù)據(jù)存儲(chǔ)。Hadoop主要有HDFS、MapReduce、Hbase等子項(xiàng)目組成。

Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，并且使用可靠、高效、可伸縮的方式進(jìn)行數(shù)據(jù)處理。Hadoop假設(shè)數(shù)據(jù)處理和存儲(chǔ)會(huì)失敗，因此系統(tǒng)維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。Hadoop通過(guò)并行工作，提高數(shù)據(jù)處理速度。Hadoop能夠處理PB級(jí)數(shù)據(jù)，這是常規(guī)數(shù)據(jù)服務(wù)器所不能實(shí)現(xiàn)的。此外，Hadoop依賴于開(kāi)源社區(qū)，任何問(wèn)題都可以及時(shí)得到解決，這也是Hadoop的一大優(yōu)勢(shì)。Hadoop建立在Linux 集群上，因此成本低，并且任何人都可以使用。它主要具有以下優(yōu)點(diǎn)：

高可靠性。Hadoop系統(tǒng)中數(shù)據(jù)默認(rèn)有三個(gè)備份，并且Hadoop有系統(tǒng)的數(shù)據(jù)檢查維護(hù)機(jī)制，因而提供了高可靠性的數(shù)據(jù)存儲(chǔ)。

擴(kuò)展性強(qiáng)。Hadoop在普通PC服務(wù)器集群上分配數(shù)據(jù)，通過(guò)并行運(yùn)算完成計(jì)算任務(wù)，可以很方便的為集群擴(kuò)展更多的節(jié)點(diǎn)。

高效性。Hadoop能夠在集群的不同節(jié)點(diǎn)之間動(dòng)態(tài)的轉(zhuǎn)移數(shù)據(jù)。并且保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡，因此處理速度非?？?。

高容錯(cuò)性。Hadoop能夠保存數(shù)據(jù)的多個(gè)副本，這樣就能夠保證失敗時(shí)，數(shù)據(jù)能夠重新分配。

Hadoop總體架構(gòu)如下圖所示， Hadoop架構(gòu)中核心的是MapReduce和HDFS兩大組件。

Google曾發(fā)表論文《Google File System》，系統(tǒng)闡述了Google的分布式文件系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)，Apache針對(duì)GFS，進(jìn)行開(kāi)源開(kāi)發(fā)，發(fā)布了Hadoop的分布式文件系統(tǒng)：Hadoop Distributed File System，縮寫(xiě)為HDFS。MapReduce的核心思想也由Google的一篇論文《MapReduce:Simplified Data Processing on Large Clusters》 提出，簡(jiǎn)單解釋MapReduce的核心思想就是：任務(wù)分解執(zhí)行，執(zhí)行結(jié)果匯總。

2、Spark

Spark是UC Berkeley大學(xué)AMP實(shí)驗(yàn)室開(kāi)源的類似MapReduce的計(jì)算框架，它是一個(gè)基于內(nèi)存的集群計(jì)算系統(tǒng)，最初的目標(biāo)是解決MapReduce磁盤(pán)讀寫(xiě)的開(kāi)銷問(wèn)題，當(dāng)前***的版本是1.5.0。Spark—經(jīng)推出，就以它的高性能和易用性吸引著很多大數(shù)據(jù)研究人員，在眾多愛(ài)好者的努力下，Spark逐漸形成了自己的生態(tài)系統(tǒng)( Spark為基礎(chǔ)，上層包括Spark SQL，MLib，Spark Streaming和GraphX)，并成為Apache的***項(xiàng)目。

Spark的核心概念是彈性分布式存儲(chǔ) (Resilient Distributed Datasets， RDD)間，它是Spark對(duì)分布式內(nèi)存進(jìn)行的抽象，使用者可以像操作本地?cái)?shù)據(jù)集一樣操作RDD，從而可以將精力集中于業(yè)務(wù)處理。在Spark程序中，數(shù)據(jù)的操作都是基于RDD的，例如經(jīng)典的WordCount程序，其在Spark編程模型下的操作方式如下圖所示：

可以看到Spark先從文件系統(tǒng)抽象出RDD1，然后由RDD1經(jīng)過(guò)flatMap算子轉(zhuǎn)換得到RDD2，RDD2再經(jīng)過(guò)reduceByKey算子得到RDD3，***RDD3中的數(shù)據(jù)重新寫(xiě)回文件系統(tǒng)，一切操作都是基于RDD的。

三、思路和架構(gòu)

經(jīng)過(guò)多方面的思考，最終決定基于Spark技術(shù)進(jìn)行構(gòu)建和實(shí)現(xiàn)醫(yī)院臨床知識(shí)庫(kù)系統(tǒng)，采用MongoDB/Sequoiadb構(gòu)建大數(shù)據(jù)倉(cāng)庫(kù)，做為大數(shù)據(jù)的存儲(chǔ)中心，采用Hadoop+Spark1構(gòu)建大數(shù)據(jù)分析平臺(tái)，基于AgileEAS.NET SOA中間件構(gòu)建ETL數(shù)據(jù)抽取轉(zhuǎn)換工具(后期部分換用了Pentaho Kettle)，基于AgileEAS.NET SOA中間件構(gòu)建知識(shí)庫(kù)的服務(wù)門(mén)戶，通過(guò)WCF/WebService與HIS系統(tǒng)進(jìn)行業(yè)務(wù)整合集成，使用AgileEAS.NET SOA+FineUI構(gòu)建基礎(chǔ)字典管理以后分析結(jié)構(gòu)的圖像化展示功能。

最初我們選擇了SequoiaDB做為大數(shù)據(jù)存儲(chǔ)中心，為此我還特意的為SequoiaDB完成了C#驅(qū)動(dòng)，參考本人為巨杉數(shù)據(jù)庫(kù)(開(kāi)源NoSQL)寫(xiě)的C#驅(qū)動(dòng)，支持Linq，全部開(kāi)源，已提交Github一文，但是一方面熟悉SequoiaDB的技術(shù)人員太少了，維護(hù)是個(gè)問(wèn)題，***，在差不多8多個(gè)月這后我們換用了MongoDB 3.0做為大數(shù)據(jù)存儲(chǔ)中心。

最初我們選擇了Hadoop2.0+Spark1.3.1版本之上使用scala2.10開(kāi)發(fā)完成了醫(yī)院臨床知識(shí)庫(kù)系統(tǒng)，請(qǐng)參考centos+scala2.11.4+Hadoop2.3+Spark1.3.1環(huán)境搭建，但是在后期替換Sequoiadb為MongoDB的同時(shí)，我們把計(jì)算框架也由Hadoop2.0+Spark1.3.1升級(jí)到了Hadoop2.6+Spark1.6.2。

考慮到Spark都部署在Linux的情況，對(duì)于Spark分析的結(jié)果輸出存儲(chǔ)在MySQL5.6數(shù)據(jù)庫(kù)之中，系統(tǒng)所使用的各種字典信息也存儲(chǔ)在MySQL之中。

Spark數(shù)據(jù)分析部分的代碼使用IntelliJ IDEA 14.1.4工具進(jìn)行編寫(xiě)，其他部分的代碼使用VS2010進(jìn)行編寫(xiě)。

1、總體架構(gòu)

整個(gè)系統(tǒng)由數(shù)據(jù)采集層、存儲(chǔ)分析層和應(yīng)用邏輯層三大部分以及本系統(tǒng)所選所以來(lái)的外部數(shù)據(jù)源。

本系統(tǒng)的外部數(shù)據(jù)源目前主要是醫(yī)院信息系統(tǒng)所產(chǎn)生的臨床數(shù)據(jù)，目前主要集中在HIS系統(tǒng)之中，后期將采依賴于EMR、LIS、PACS系統(tǒng)。

數(shù)據(jù)采集層 主要負(fù)責(zé)從臨床業(yè)務(wù)系統(tǒng)采集海量歷史臨床數(shù)據(jù)同，歷史記錄采集方式分為批采集和實(shí)時(shí)采集，在數(shù)據(jù)采集過(guò)程之中對(duì)原始數(shù)據(jù)進(jìn)行格工檢查，并對(duì)原始數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換，并將處理后的數(shù)據(jù)存儲(chǔ)在大數(shù)據(jù)倉(cāng)庫(kù)之中。

存儲(chǔ)分析層 主要負(fù)責(zé)數(shù)據(jù)存儲(chǔ)以及數(shù)據(jù)分析兩大部分業(yè)務(wù)，經(jīng)過(guò)清洗轉(zhuǎn)換的合理有效數(shù)據(jù)被存儲(chǔ)在大數(shù)據(jù)集群之中，使用JSON格式，大數(shù)據(jù)存儲(chǔ)引用使用SequoiaDB數(shù)據(jù)庫(kù)，數(shù)據(jù)分析部分由Hadoop/Spark集群來(lái)完成，大數(shù)據(jù)存儲(chǔ)經(jīng)由Spark導(dǎo)入并進(jìn)行分析，分析結(jié)果寫(xiě)入臨床知識(shí)數(shù)據(jù)庫(kù)，臨床知識(shí)數(shù)據(jù)庫(kù)使用MySQL數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)。

應(yīng)用邏輯層 主要負(fù)責(zé)人機(jī)交互以及分析結(jié)構(gòu)回饋臨床系統(tǒng)的渠道，通過(guò)WebUI的方式向臨床醫(yī)生、業(yè)務(wù)管理人員提供列表式、圖像化的知識(shí)展示，也為臨床系統(tǒng)的業(yè)務(wù)輔助、推薦功能提供調(diào)用的集成API，目前API主要通過(guò)WebService、WebAPI兩種方式提供。

2、總體流程

整個(gè)系統(tǒng)經(jīng)由數(shù)據(jù)源數(shù)據(jù)采集，寫(xiě)入大數(shù)據(jù)存儲(chǔ)SequoiaDB集群，然后由Spark進(jìn)行分析計(jì)算，分析生成的臨床知識(shí)寫(xiě)入MySQL知識(shí)庫(kù)，經(jīng)由WebUI以及標(biāo)準(zhǔn)的API交由臨床使用。

3、數(shù)據(jù)導(dǎo)入流程

歷史數(shù)據(jù)的采集導(dǎo)入使用初期使用AgileEAS.NET SOA 的計(jì)劃任務(wù)配何C#腳本進(jìn)行實(shí)現(xiàn)，由計(jì)劃任務(wù)進(jìn)行協(xié)調(diào)定時(shí)執(zhí)行，具體的數(shù)據(jù)導(dǎo)入代碼根據(jù)不同的臨床業(yè)務(wù)系統(tǒng)不同進(jìn)行腳本代碼的調(diào)整，也可以使用Pentaho Kettle進(jìn)行實(shí)現(xiàn)，通過(guò)Pentaho Kettle可配置的實(shí)現(xiàn)數(shù)據(jù)的導(dǎo)入。

4、物理結(jié)構(gòu)設(shè)計(jì)

臨床數(shù)據(jù)源為本系統(tǒng)進(jìn)行分析的數(shù)據(jù)來(lái)源，源自于臨床HIS、EMR，目前醫(yī)院的HIS使用SQL Server 2008 R2數(shù)據(jù)庫(kù)，EMR使用ORACLE 11G數(shù)據(jù)庫(kù)，運(yùn)行于Windows2008操作系統(tǒng)之上。

SequoiaDB集群為大數(shù)據(jù)存儲(chǔ)數(shù)制庫(kù)集群，目前使用SequoiaDB v2.0，運(yùn)行于Centos6.5操作系統(tǒng)之上，根據(jù)業(yè)務(wù)來(lái)規(guī)模使用2-16節(jié)點(diǎn)集群，其用于存儲(chǔ)經(jīng)過(guò)清洗轉(zhuǎn)換處理的海量歷史臨床數(shù)據(jù)，供Spark集群進(jìn)行分析，以及供應(yīng)SOA服務(wù)器進(jìn)行歷史數(shù)據(jù)查詢和歷史相關(guān)推薦使用。

Hadoop/Spark集群為本系統(tǒng)的分析計(jì)算核心節(jié)點(diǎn)，用于對(duì)SequoiaDB集群之中的歷史數(shù)據(jù)進(jìn)行分析，生成輔助臨床醫(yī)生使用的醫(yī)學(xué)知識(shí)，本集群根據(jù)業(yè)務(wù)來(lái)規(guī)模使用2-16節(jié)點(diǎn)集群，使用Centos6.5操作系統(tǒng)，安裝JAVA1.7.79運(yùn)行環(huán)境、scala2.11.4語(yǔ)言，使用Hadoop2.3，Spark1.3.1分析框架。

MySQL知識(shí)庫(kù)為本系統(tǒng)的知識(shí)庫(kù)存儲(chǔ)數(shù)據(jù)庫(kù)，Hadoop/Spark集群所生產(chǎn)的分析結(jié)構(gòu)寫(xiě)入本數(shù)據(jù)庫(kù)，經(jīng)由SOA服務(wù)器和Web服務(wù)處理供臨床系統(tǒng)集成使用和WebGUI展現(xiàn)，目前使用MySQL5.6版本，安裝于Windows2008/Centos6操作系統(tǒng)之上。

SOA Server為本系統(tǒng)的對(duì)外接口應(yīng)用服務(wù)器，向臨床業(yè)務(wù)系統(tǒng)和Web Server提供業(yè)務(wù)運(yùn)算邏輯，以及向臨床業(yè)務(wù)系統(tǒng)提供服務(wù)API，目前運(yùn)行于Windows2008操作系統(tǒng)，部署有.NET Framework 4.0環(huán)境，運(yùn)行AgileEAS.NET SOA 中間件的SOA服務(wù)，由AgileEAS.NET SOA 中間件SOA服務(wù)向外部系統(tǒng)提供標(biāo)準(zhǔn)的WebService以及WebAPI。

Web Server為系統(tǒng)提供基于標(biāo)準(zhǔn)的B/S瀏覽器用戶接口，供業(yè)務(wù)人員通過(guò)B/S網(wǎng)頁(yè)對(duì)系統(tǒng)進(jìn)行管理，查詢使用知識(shí)庫(kù)之中的醫(yī)學(xué)知識(shí)，目前運(yùn)行于Windows2008操作系統(tǒng)，部署有.NET Framework 4.0環(huán)境，運(yùn)行于IIS7.0之中。

臨床工作站系統(tǒng)運(yùn)行HIS、EMR系統(tǒng)，兩系統(tǒng)均使用C#語(yǔ)言SOA架構(gòu)思路進(jìn)行開(kāi)發(fā)，與本系統(tǒng)集成改造后，使用標(biāo)準(zhǔn)WebService接口本系統(tǒng)，使用本系統(tǒng)所提供的API為臨床提供診療輔助。

四、環(huán)境、安裝、坑

目前系統(tǒng)跑在虛擬化環(huán)境之中，其中三臺(tái)Centos6組成大數(shù)據(jù)存儲(chǔ)、計(jì)算集群，每臺(tái)分配16CPU(核)16G內(nèi)存2T硬盤(pán)，3臺(tái)共48核48G，這三臺(tái)機(jī)器每臺(tái)都安裝了Java1.8.25+scala2.10+Hadoop2.6，Spark1.62，MongoDB3.0組合3節(jié)點(diǎn)的集群，Spark采用Standalone Cluster模式，單一master節(jié)點(diǎn)，為每臺(tái)機(jī)器分配其中12核12G用于Worker，其余CPU內(nèi)存留給MongoDB集群使用，運(yùn)行截圖如下：

一臺(tái)Win2008做為SOA|應(yīng)用服務(wù)器，分配32核64G內(nèi)存，部署了MySQL5.6，IIS，AgileEAS.NET SOA 服務(wù)，整個(gè)系統(tǒng)的SOA服務(wù)和Web管理界面由本服務(wù)器進(jìn)行承載，一方面提供Web方式的管理和查詢，另一方面以webservice、webAPI為臨床系統(tǒng)提供服務(wù)。

具體環(huán)境的安裝過(guò)程由于篇幅的原因在此就不在一一細(xì)說(shuō)，我將會(huì)單獨(dú)寫(xiě)一篇文章為大家進(jìn)行詳細(xì)的介紹。

***次使用Spark，又沒(méi)有多少資料可參考，所以在開(kāi)發(fā)過(guò)程之中遇到不少的坑，特別是初期的時(shí)間，搭建環(huán)境就費(fèi)了一周，寫(xiě)代碼過(guò)程之中坑也是一直發(fā)現(xiàn)一直填坑，有點(diǎn)坑也填不了，直好換思路繞了，記得在Spark sql的udf自定義函數(shù)上，并不是所有函數(shù)都有坑，偶爾自己寫(xiě)的udf函數(shù)怎么都是過(guò)不去，找不到原因，看Spark的源代碼也沒(méi)看出個(gè)所以然，***不得改寫(xiě)代碼，換思路搞。

感覺(jué)特別有愛(ài)的就是scala語(yǔ)言了， 我覺(jué)得使用.net 4.0(C#)的朋友們，特別是用熟Linq的兄弟們，scala語(yǔ)言太方便了，我感覺(jué)他基本上就是和linq一樣方便，更沒(méi)有節(jié)操的是，在函數(shù)之中可以定義類，不過(guò)，真的是很方便，我不是很喜歡Java，但是我喜歡scala。

五、效果展示

1、門(mén)診診斷排名

門(mén)診診斷排名是門(mén)診診斷知識(shí)的圖形化界面展示顯示，用于展示全院或者指定?？频腡opN位常用診斷，也為每一個(gè)診斷與性別、年齡等人群相關(guān)性以及與節(jié)氣相關(guān)性圖表展示。

2、門(mén)診伴生診斷查詢

門(mén)診伴生診斷排名是門(mén)診診斷并發(fā)癥的知識(shí)展示界面，用于展示得某一種疾病另其他疾病的可能性。

3、門(mén)診自動(dòng)組方查詢

門(mén)診自動(dòng)組方查詢，用于展示臨床最常用的用藥、治療自動(dòng)組方知識(shí)，即比如最常用的0.9%氯化鈉注射液100ml配注射用頭孢硫咪1g，常適用于扁桃體發(fā)炎、喘息性之氣管炎、上呼吸道感染等疾病，給以靜脈點(diǎn)滴方式每日一次使用。

4、門(mén)診診斷組方推斷

門(mén)診診斷組方推斷，用于展示臨床疾病診斷與常用藥品、治療給合方案的相關(guān)性關(guān)聯(lián)，即如上圖展示上呼吸道感染常使用氨酚麻美干混懸劑1包、四季抗病毒合劑、0.9%氯化鈉注射液100ml+注射用頭孢硫咪1g、滅菌注射用水2ml+注射用重組人干擾素a1b 10ug等這樣的組合治療方案。

5、醫(yī)療臨床系統(tǒng)整合

為了實(shí)現(xiàn)來(lái)源于臨床系統(tǒng)，并且服務(wù)于臨床系統(tǒng)的總體系統(tǒng)，我們聯(lián)動(dòng)了本院的HIS系統(tǒng)之中的門(mén)診醫(yī)生站，與本系統(tǒng)進(jìn)行基于WebService的整合，如下圖所示的整合界面：

臨床醫(yī)生在完成基本的門(mén)診病歷之后，系統(tǒng)會(huì)自動(dòng)為其體檢待選的門(mén)診疾病診斷，80%-90%的情況可以直接選擇，在少數(shù)情況下沒(méi)有推薦合適的時(shí)候大夫才會(huì)錄入，省去大夫錄入診斷的麻煩，也減少因大夫錄入的不規(guī)范而導(dǎo)致的數(shù)據(jù)的混亂。

在臨床醫(yī)生寫(xiě)完門(mén)診病歷，進(jìn)行開(kāi)立檢驗(yàn)、檢查、用藥、治療的時(shí)間，系統(tǒng)會(huì)根據(jù)當(dāng)有的診斷信息推薦合適的治療方案選擇，臨床醫(yī)生只需求在右邊的推薦組方上雙擊即可實(shí)現(xiàn)快速的處方開(kāi)方，大大的方便的臨床醫(yī)生的工作。

針對(duì)中醫(yī)院，系統(tǒng)集成了3W多個(gè)經(jīng)典成方，根據(jù)歷史數(shù)據(jù)與成方字典的組合分析對(duì)比，極大的方便中醫(yī)大夫日常工作：

六、實(shí)現(xiàn)細(xì)節(jié)、后續(xù)文章

對(duì)于大數(shù)據(jù)技術(shù)，以及大數(shù)據(jù)技術(shù)在醫(yī)療化信息行業(yè)的實(shí)踐，以及實(shí)現(xiàn)之中的思路和細(xì)節(jié)，不是短短這么一點(diǎn)篇幅就能介紹完成的，此文也是在我實(shí)現(xiàn)需求，實(shí)踐之后所寫(xiě)，所以總覺(jué)得東西都比較簡(jiǎn)單，我只期望本文能達(dá)到拋轉(zhuǎn)引用的作用，能對(duì)同行做相關(guān)工作的朋友們有所參考，思路可以得到借鑒，然本文也實(shí)在沒(méi)有講清楚所有的細(xì)節(jié)。