偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

Hadoop+Spark 大數(shù)據(jù)開(kāi)發(fā)項(xiàng)目最佳實(shí)踐

大數(shù)據(jù) Hadoop Spark
醫(yī)療IT系統(tǒng)收集了大量極具價(jià)值的數(shù)據(jù),但這些歷史醫(yī)療數(shù)據(jù)并沒(méi)有發(fā)揮出其應(yīng)有的價(jià)值。為此 ,本文擬利用醫(yī)院現(xiàn)有的歷史數(shù)據(jù),挖掘出有價(jià)值的基于統(tǒng)計(jì)學(xué)的醫(yī)學(xué)規(guī)則、知識(shí),并 基于這些信息構(gòu)建專業(yè)的臨床知識(shí)庫(kù),提供診斷、處方、用藥推薦功能,基于強(qiáng)大的關(guān)聯(lián)推薦能力,極大地提高醫(yī)療服務(wù)質(zhì)量,減輕醫(yī)療人員的工作強(qiáng)度。

 一、前言

隨著IT技術(shù)的飛速發(fā)展,各行各業(yè)都已在廣泛嘗試使用大數(shù)據(jù)技術(shù)提供更穩(wěn)健和優(yōu)質(zhì)的服務(wù)。目前,醫(yī)療IT系統(tǒng)收集了大量***價(jià)值的數(shù)據(jù),但這些歷史醫(yī)療數(shù)據(jù)并沒(méi)有發(fā)揮出其應(yīng)有的價(jià)值。為此 ,本文擬利用醫(yī)院現(xiàn)有的歷史數(shù)據(jù),挖掘出有價(jià)值的基于統(tǒng)計(jì)學(xué)的醫(yī)學(xué)規(guī)則、知識(shí),并 基于這些信息構(gòu)建專業(yè)的臨床知識(shí)庫(kù),提供診斷、處方、用藥推薦功能,基于強(qiáng)大的關(guān)聯(lián)推薦能力,極大地提高醫(yī)療服務(wù)質(zhì)量,減輕醫(yī)療人員的工作強(qiáng)度。

二、Hadoop&Spark

目前大數(shù)據(jù)處理領(lǐng)域的框架有很多。

從計(jì)算的角度上看,主要有MapReduce框架(屬于Hadoop生態(tài)系統(tǒng))和Spark框架。 其中Spark是近兩年出現(xiàn)的新一代計(jì)算框架,基于內(nèi)存的特性使它在計(jì)算效率上大大優(yōu)于MapReduce框架; 從存儲(chǔ)角度來(lái)看,當(dāng)前主要還是在用Hadoop生態(tài)環(huán)境中的HDFS框架。 HDFS的一系列特性使得它非常適合大數(shù)據(jù)環(huán)境下的存儲(chǔ)。

1、Hadoop

Hadoop不是一個(gè)軟件,而是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu),是由Apache基金會(huì)主持開(kāi)發(fā)的一個(gè)開(kāi)源項(xiàng)目。Hadoop可以使用戶在不了解分布式底層實(shí)現(xiàn)的情況下,開(kāi)發(fā)分布式程序,從而充分利用電腦集群的威力,實(shí)現(xiàn)高速運(yùn)算和大規(guī)模數(shù)據(jù)存儲(chǔ)。Hadoop主要有HDFS、MapReduce、Hbase等子項(xiàng)目組成。

Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架,并且使用可靠、高效、可伸縮的方式進(jìn)行數(shù)據(jù)處理。Hadoop假設(shè)數(shù)據(jù)處理和存儲(chǔ)會(huì)失敗,因此系統(tǒng)維護(hù)多個(gè)工作數(shù)據(jù)副本,確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。Hadoop通過(guò)并行工作,提高數(shù)據(jù)處理速度。Hadoop能夠處理PB級(jí)數(shù)據(jù),這是常規(guī)數(shù)據(jù)服務(wù)器所不能實(shí)現(xiàn)的。此外,Hadoop依賴于開(kāi)源社區(qū),任何問(wèn)題都可以及時(shí)得到解決,這也是Hadoop的一大優(yōu)勢(shì)。Hadoop建立在Linux 集群上,因此成本低,并且任何人都可以使用。它主要具有以下優(yōu)點(diǎn):

高可靠性。Hadoop系統(tǒng)中數(shù)據(jù)默認(rèn)有三個(gè)備份,并且Hadoop有系統(tǒng)的數(shù)據(jù)檢查維護(hù)機(jī)制,因而提供了高可靠性的數(shù)據(jù)存儲(chǔ)。

擴(kuò)展性強(qiáng)。Hadoop在普通PC服務(wù)器集群上分配數(shù)據(jù),通過(guò)并行運(yùn)算完成計(jì)算任務(wù),可以很方便的為集群擴(kuò)展更多的節(jié)點(diǎn)。

高效性。Hadoop能夠在集群的不同節(jié)點(diǎn)之間動(dòng)態(tài)的轉(zhuǎn)移數(shù)據(jù)。并且保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡,因此處理速度非???。

高容錯(cuò)性。Hadoop能夠保存數(shù)據(jù)的多個(gè)副本,這樣就能夠保證失敗時(shí),數(shù)據(jù)能夠重新分配。

Hadoop總體架構(gòu)如下圖所示, Hadoop架構(gòu)中核心的是MapReduce和HDFS兩大組件。

Google曾發(fā)表論文《Google File System》,系統(tǒng)闡述了Google的分布式文件系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn),Apache針對(duì)GFS,進(jìn)行開(kāi)源開(kāi)發(fā),發(fā)布了Hadoop的分布式文件系統(tǒng):Hadoop Distributed File System,縮寫(xiě)為HDFS。MapReduce的核心思想也由Google的一篇論文《MapReduce:Simplified Data Processing on Large Clusters》 提出,簡(jiǎn)單解釋MapReduce的核心思想就是:任務(wù)分解執(zhí)行,執(zhí)行結(jié)果匯總。

2、Spark

Spark是UC Berkeley大學(xué)AMP實(shí)驗(yàn)室開(kāi)源的類似MapReduce的計(jì)算框架,它是一個(gè)基于內(nèi)存的集群計(jì)算系統(tǒng),最初的目標(biāo)是解決MapReduce磁盤(pán)讀寫(xiě)的開(kāi)銷問(wèn)題,當(dāng)前***的版本是1.5.0。Spark—經(jīng)推出,就以它的高性能和易用性吸引著很多大數(shù)據(jù)研究人員,在眾多愛(ài)好者的努力下,Spark逐漸形成了自己的生態(tài)系統(tǒng)( Spark為基礎(chǔ),上層包括Spark SQL,MLib,Spark Streaming和GraphX),并成為Apache的***項(xiàng)目。

Spark的核心概念是彈性分布式存儲(chǔ) (Resilient Distributed Datasets, RDD)間,它是Spark對(duì)分布式內(nèi)存進(jìn)行的抽象,使用者可以像操作本地?cái)?shù)據(jù)集一樣操作RDD,從而可以將精力集中于業(yè)務(wù)處理。在Spark程序中,數(shù)據(jù)的操作都是基于RDD的,例如經(jīng)典的WordCount程序,其在Spark編程模型下的操作方式如下圖所示:

可以看到Spark先從文件系統(tǒng)抽象出RDD1,然后由RDD1經(jīng)過(guò)flatMap算子轉(zhuǎn)換得到RDD2,RDD2再經(jīng)過(guò)reduceByKey算子得到RDD3,***RDD3中的數(shù)據(jù)重新寫(xiě)回文件系統(tǒng),一切操作都是基于RDD的。

三、思路和架構(gòu)

經(jīng)過(guò)多方面的思考,最終決定基于Spark技術(shù)進(jìn)行構(gòu)建和實(shí)現(xiàn)醫(yī)院臨床知識(shí)庫(kù)系統(tǒng),采用MongoDB/Sequoiadb構(gòu)建大數(shù)據(jù)倉(cāng)庫(kù),做為大數(shù)據(jù)的存儲(chǔ)中心,采用Hadoop+Spark1構(gòu)建大數(shù)據(jù)分析平臺(tái),基于AgileEAS.NET SOA中間件構(gòu)建ETL數(shù)據(jù)抽取轉(zhuǎn)換工具(后期部分換用了Pentaho Kettle),基于AgileEAS.NET SOA中間件構(gòu)建知識(shí)庫(kù)的服務(wù)門(mén)戶,通過(guò)WCF/WebService與HIS系統(tǒng)進(jìn)行業(yè)務(wù)整合集成,使用AgileEAS.NET SOA+FineUI構(gòu)建基礎(chǔ)字典管理以后分析結(jié)構(gòu)的圖像化展示功能。

最初我們選擇了SequoiaDB做為大數(shù)據(jù)存儲(chǔ)中心,為此我還特意的為SequoiaDB完成了C#驅(qū)動(dòng),參考本人為巨杉數(shù)據(jù)庫(kù)(開(kāi)源NoSQL)寫(xiě)的C#驅(qū)動(dòng),支持Linq,全部開(kāi)源,已提交Github一文,但是一方面熟悉SequoiaDB的技術(shù)人員太少了,維護(hù)是個(gè)問(wèn)題,***,在差不多8多個(gè)月這后我們換用了MongoDB 3.0做為大數(shù)據(jù)存儲(chǔ)中心。

最初我們選擇了Hadoop2.0+Spark1.3.1版本之上使用scala2.10開(kāi)發(fā)完成了醫(yī)院臨床知識(shí)庫(kù)系統(tǒng),請(qǐng)參考centos+scala2.11.4+Hadoop2.3+Spark1.3.1環(huán)境搭建,但是在后期替換Sequoiadb為MongoDB的同時(shí),我們把計(jì)算框架也由Hadoop2.0+Spark1.3.1升級(jí)到了Hadoop2.6+Spark1.6.2。

考慮到Spark都部署在Linux的情況,對(duì)于Spark分析的結(jié)果輸出存儲(chǔ)在MySQL5.6數(shù)據(jù)庫(kù)之中,系統(tǒng)所使用的各種字典信息也存儲(chǔ)在MySQL之中。

Spark數(shù)據(jù)分析部分的代碼使用IntelliJ IDEA 14.1.4工具進(jìn)行編寫(xiě),其他部分的代碼使用VS2010進(jìn)行編寫(xiě)。

1、總體架構(gòu)

整個(gè)系統(tǒng)由數(shù)據(jù)采集層、存儲(chǔ)分析層和應(yīng)用邏輯層三大部分以及本系統(tǒng)所選所以來(lái)的外部數(shù)據(jù)源。

本系統(tǒng)的外部數(shù)據(jù)源目前主要是醫(yī)院信息系統(tǒng)所產(chǎn)生的臨床數(shù)據(jù),目前主要集中在HIS系統(tǒng)之中,后期將采依賴于EMR、LIS、PACS系統(tǒng)。

數(shù)據(jù)采集層 主要負(fù)責(zé)從臨床業(yè)務(wù)系統(tǒng)采集海量歷史臨床數(shù)據(jù)同,歷史記錄采集方式分為批采集和實(shí)時(shí)采集,在數(shù)據(jù)采集過(guò)程之中對(duì)原始數(shù)據(jù)進(jìn)行格工檢查,并對(duì)原始數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換,并將處理后的數(shù)據(jù)存儲(chǔ)在大數(shù)據(jù)倉(cāng)庫(kù)之中。

存儲(chǔ)分析層 主要負(fù)責(zé)數(shù)據(jù)存儲(chǔ)以及數(shù)據(jù)分析兩大部分業(yè)務(wù),經(jīng)過(guò)清洗轉(zhuǎn)換的合理有效數(shù)據(jù)被存儲(chǔ)在大數(shù)據(jù)集群之中,使用JSON格式,大數(shù)據(jù)存儲(chǔ)引用使用SequoiaDB數(shù)據(jù)庫(kù),數(shù)據(jù)分析部分由Hadoop/Spark集群來(lái)完成,大數(shù)據(jù)存儲(chǔ)經(jīng)由Spark導(dǎo)入并進(jìn)行分析,分析結(jié)果寫(xiě)入臨床知識(shí)數(shù)據(jù)庫(kù),臨床知識(shí)數(shù)據(jù)庫(kù)使用MySQL數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)。

應(yīng)用邏輯層 主要負(fù)責(zé)人機(jī)交互以及分析結(jié)構(gòu)回饋臨床系統(tǒng)的渠道,通過(guò)WebUI的方式向臨床醫(yī)生、業(yè)務(wù)管理人員提供列表式、圖像化的知識(shí)展示,也為臨床系統(tǒng)的業(yè)務(wù)輔助、推薦功能提供調(diào)用的集成API,目前API主要通過(guò)WebService、WebAPI兩種方式提供。

2、總體流程

整個(gè)系統(tǒng)經(jīng)由數(shù)據(jù)源數(shù)據(jù)采集,寫(xiě)入大數(shù)據(jù)存儲(chǔ)SequoiaDB集群,然后由Spark進(jìn)行分析計(jì)算,分析生成的臨床知識(shí)寫(xiě)入MySQL知識(shí)庫(kù),經(jīng)由WebUI以及標(biāo)準(zhǔn)的API交由臨床使用。

3、數(shù)據(jù)導(dǎo)入流程

歷史數(shù)據(jù)的采集導(dǎo)入使用初期使用AgileEAS.NET SOA 的計(jì)劃任務(wù)配何C#腳本進(jìn)行實(shí)現(xiàn),由計(jì)劃任務(wù)進(jìn)行協(xié)調(diào)定時(shí)執(zhí)行,具體的數(shù)據(jù)導(dǎo)入代碼根據(jù)不同的臨床業(yè)務(wù)系統(tǒng)不同進(jìn)行腳本代碼的調(diào)整,也可以使用Pentaho Kettle進(jìn)行實(shí)現(xiàn),通過(guò)Pentaho Kettle可配置的實(shí)現(xiàn)數(shù)據(jù)的導(dǎo)入。

4、物理結(jié)構(gòu)設(shè)計(jì)

臨床數(shù)據(jù)源為本系統(tǒng)進(jìn)行分析的數(shù)據(jù)來(lái)源,源自于臨床HIS、EMR,目前醫(yī)院的HIS使用SQL Server 2008 R2數(shù)據(jù)庫(kù),EMR使用ORACLE 11G數(shù)據(jù)庫(kù),運(yùn)行于Windows2008操作系統(tǒng)之上。

SequoiaDB集群為大數(shù)據(jù)存儲(chǔ)數(shù)制庫(kù)集群,目前使用SequoiaDB v2.0,運(yùn)行于Centos6.5操作系統(tǒng)之上,根據(jù)業(yè)務(wù)來(lái)規(guī)模使用2-16節(jié)點(diǎn)集群,其用于存儲(chǔ)經(jīng)過(guò)清洗轉(zhuǎn)換處理的海量歷史臨床數(shù)據(jù),供Spark集群進(jìn)行分析,以及供應(yīng)SOA服務(wù)器進(jìn)行歷史數(shù)據(jù)查詢和歷史相關(guān)推薦使用。

Hadoop/Spark集群為本系統(tǒng)的分析計(jì)算核心節(jié)點(diǎn),用于對(duì)SequoiaDB集群之中的歷史數(shù)據(jù)進(jìn)行分析,生成輔助臨床醫(yī)生使用的醫(yī)學(xué)知識(shí),本集群根據(jù)業(yè)務(wù)來(lái)規(guī)模使用2-16節(jié)點(diǎn)集群,使用Centos6.5操作系統(tǒng),安裝JAVA1.7.79運(yùn)行環(huán)境、scala2.11.4語(yǔ)言,使用Hadoop2.3,Spark1.3.1分析框架。

MySQL知識(shí)庫(kù)為本系統(tǒng)的知識(shí)庫(kù)存儲(chǔ)數(shù)據(jù)庫(kù),Hadoop/Spark集群所生產(chǎn)的分析結(jié)構(gòu)寫(xiě)入本數(shù)據(jù)庫(kù),經(jīng)由SOA服務(wù)器和Web服務(wù)處理供臨床系統(tǒng)集成使用和WebGUI展現(xiàn),目前使用MySQL5.6版本,安裝于Windows2008/Centos6操作系統(tǒng)之上。

SOA Server為本系統(tǒng)的對(duì)外接口應(yīng)用服務(wù)器,向臨床業(yè)務(wù)系統(tǒng)和Web Server提供業(yè)務(wù)運(yùn)算邏輯,以及向臨床業(yè)務(wù)系統(tǒng)提供服務(wù)API,目前運(yùn)行于Windows2008操作系統(tǒng),部署有.NET Framework 4.0環(huán)境,運(yùn)行AgileEAS.NET SOA 中間件的SOA服務(wù),由AgileEAS.NET SOA 中間件SOA服務(wù)向外部系統(tǒng)提供標(biāo)準(zhǔn)的WebService以及WebAPI。

Web Server為系統(tǒng)提供基于標(biāo)準(zhǔn)的B/S瀏覽器用戶接口,供業(yè)務(wù)人員通過(guò)B/S網(wǎng)頁(yè)對(duì)系統(tǒng)進(jìn)行管理,查詢使用知識(shí)庫(kù)之中的醫(yī)學(xué)知識(shí),目前運(yùn)行于Windows2008操作系統(tǒng),部署有.NET Framework 4.0環(huán)境,運(yùn)行于IIS7.0之中。

臨床工作站系統(tǒng)運(yùn)行HIS、EMR系統(tǒng),兩系統(tǒng)均使用C#語(yǔ)言SOA架構(gòu)思路進(jìn)行開(kāi)發(fā),與本系統(tǒng)集成改造后,使用標(biāo)準(zhǔn)WebService接口本系統(tǒng),使用本系統(tǒng)所提供的API為臨床提供診療輔助。

四、環(huán)境、安裝、坑

目前系統(tǒng)跑在虛擬化環(huán)境之中,其中三臺(tái)Centos6組成大數(shù)據(jù)存儲(chǔ)、計(jì)算集群,每臺(tái)分配16CPU(核)16G內(nèi)存2T硬盤(pán),3臺(tái)共48核48G,這三臺(tái)機(jī)器每臺(tái)都安裝了Java1.8.25+scala2.10+Hadoop2.6,Spark1.62,MongoDB3.0組合3節(jié)點(diǎn)的集群,Spark采用Standalone Cluster模式,單一master節(jié)點(diǎn),為每臺(tái)機(jī)器分配其中12核12G用于Worker,其余CPU內(nèi)存留給MongoDB集群使用,運(yùn)行截圖如下:

一臺(tái)Win2008做為SOA|應(yīng)用服務(wù)器,分配32核64G內(nèi)存,部署了MySQL5.6,IIS,AgileEAS.NET SOA 服務(wù),整個(gè)系統(tǒng)的SOA服務(wù)和Web管理界面由本服務(wù)器進(jìn)行承載,一方面提供Web方式的管理和查詢,另一方面以webservice、webAPI為臨床系統(tǒng)提供服務(wù)。

具體環(huán)境的安裝過(guò)程由于篇幅的原因在此就不在一一細(xì)說(shuō),我將會(huì)單獨(dú)寫(xiě)一篇文章為大家進(jìn)行詳細(xì)的介紹。

***次使用Spark,又沒(méi)有多少資料可參考,所以在開(kāi)發(fā)過(guò)程之中遇到不少的坑,特別是初期的時(shí)間,搭建環(huán)境就費(fèi)了一周,寫(xiě)代碼過(guò)程之中坑也是一直發(fā)現(xiàn)一直填坑,有點(diǎn)坑也填不了,直好換思路繞了,記得在Spark sql的udf自定義函數(shù)上,并不是所有函數(shù)都有坑,偶爾自己寫(xiě)的udf函數(shù)怎么都是過(guò)不去,找不到原因,看Spark的源代碼也沒(méi)看出個(gè)所以然,***不得改寫(xiě)代碼,換思路搞。

感覺(jué)特別有愛(ài)的就是scala語(yǔ)言了, 我覺(jué)得使用.net 4.0(C#)的朋友們,特別是用熟Linq的兄弟們,scala語(yǔ)言太方便了,我感覺(jué)他基本上就是和linq一樣方便,更沒(méi)有節(jié)操的是,在函數(shù)之中可以定義類,不過(guò),真的是很方便,我不是很喜歡Java,但是我喜歡scala。

五、效果展示

1、門(mén)診診斷排名

門(mén)診診斷排名是門(mén)診診斷知識(shí)的圖形化界面展示顯示,用于展示全院或者指定??频腡opN位常用診斷,也為每一個(gè)診斷與性別、年齡等人群相關(guān)性以及與節(jié)氣相關(guān)性圖表展示。

2、門(mén)診伴生診斷查詢

門(mén)診伴生診斷排名是門(mén)診診斷并發(fā)癥的知識(shí)展示界面,用于展示得某一種疾病另其他疾病的可能性。

3、門(mén)診自動(dòng)組方查詢

門(mén)診自動(dòng)組方查詢,用于展示臨床最常用的用藥、治療自動(dòng)組方知識(shí),即比如最常用的0.9%氯化鈉注射液100ml配注射用頭孢硫咪1g,常適用于扁桃體發(fā)炎、喘息性之氣管炎、上呼吸道感染等疾病,給以靜脈點(diǎn)滴方式每日一次使用。

4、門(mén)診診斷組方推斷

門(mén)診診斷組方推斷,用于展示臨床疾病診斷與常用藥品、治療給合方案的相關(guān)性關(guān)聯(lián),即如上圖展示上呼吸道感染常使用氨酚麻美干混懸劑1包、四季抗病毒合劑、0.9%氯化鈉注射液100ml+注射用頭孢硫咪1g、滅菌注射用水2ml+注射用重組人干擾素a1b 10ug等這樣的組合治療方案。

5、醫(yī)療臨床系統(tǒng)整合

為了實(shí)現(xiàn)來(lái)源于臨床系統(tǒng),并且服務(wù)于臨床系統(tǒng)的總體系統(tǒng),我們聯(lián)動(dòng)了本院的HIS系統(tǒng)之中的門(mén)診醫(yī)生站,與本系統(tǒng)進(jìn)行基于WebService的整合,如下圖所示的整合界面:

臨床醫(yī)生在完成基本的門(mén)診病歷之后,系統(tǒng)會(huì)自動(dòng)為其體檢待選的門(mén)診疾病診斷,80%-90%的情況可以直接選擇,在少數(shù)情況下沒(méi)有推薦合適的時(shí)候大夫才會(huì)錄入,省去大夫錄入診斷的麻煩,也減少因大夫錄入的不規(guī)范而導(dǎo)致的數(shù)據(jù)的混亂。

在臨床醫(yī)生寫(xiě)完門(mén)診病歷,進(jìn)行開(kāi)立檢驗(yàn)、檢查、用藥、治療的時(shí)間,系統(tǒng)會(huì)根據(jù)當(dāng)有的診斷信息推薦合適的治療方案選擇,臨床醫(yī)生只需求在右邊的推薦組方上雙擊即可實(shí)現(xiàn)快速的處方開(kāi)方,大大的方便的臨床醫(yī)生的工作。

針對(duì)中醫(yī)院,系統(tǒng)集成了3W多個(gè)經(jīng)典成方,根據(jù)歷史數(shù)據(jù)與成方字典的組合分析對(duì)比,極大的方便中醫(yī)大夫日常工作:

六、實(shí)現(xiàn)細(xì)節(jié)、后續(xù)文章

對(duì)于大數(shù)據(jù)技術(shù),以及大數(shù)據(jù)技術(shù)在醫(yī)療化信息行業(yè)的實(shí)踐,以及實(shí)現(xiàn)之中的思路和細(xì)節(jié),不是短短這么一點(diǎn)篇幅就能介紹完成的,此文也是在我實(shí)現(xiàn)需求,實(shí)踐之后所寫(xiě),所以總覺(jué)得東西都比較簡(jiǎn)單,我只期望本文能達(dá)到拋轉(zhuǎn)引用的作用,能對(duì)同行做相關(guān)工作的朋友們有所參考,思路可以得到借鑒,然本文也實(shí)在沒(méi)有講清楚所有的細(xì)節(jié)。

責(zé)任編輯:武曉燕 來(lái)源: 網(wǎng)絡(luò)大數(shù)據(jù)
相關(guān)推薦

2021-07-20 15:37:37

數(shù)據(jù)開(kāi)發(fā)大數(shù)據(jù)Spark

2020-06-12 07:00:00

Web開(kāi)發(fā)項(xiàng)目

2018-05-02 13:59:01

大數(shù)據(jù)數(shù)據(jù)收集數(shù)據(jù)科學(xué)

2016-08-24 17:35:27

hadoopspark中間件

2019-04-22 15:24:24

HadoopSuffleMap端

2017-10-19 08:28:15

大數(shù)據(jù)HadoopSpark

2021-12-14 09:56:51

HadoopSparkKafka

2021-03-15 14:02:21

大數(shù)據(jù)數(shù)據(jù)開(kāi)發(fā)Spark

2019-04-24 13:07:16

HadoopSpark分布式架構(gòu)

2019-07-22 10:45:31

2020-08-11 07:00:00

大數(shù)據(jù)IT技術(shù)

2010-12-02 10:30:09

Apache Hado反模式Map Reduce

2012-09-17 11:19:49

IBMdw

2015-09-10 13:35:45

云海大數(shù)據(jù)一體機(jī)

2015-07-23 14:29:28

大數(shù)據(jù)sparkhadoop

2022-07-20 15:10:38

Docker大數(shù)據(jù)平臺(tái)

2015-10-12 17:40:12

數(shù)據(jù)分析實(shí)踐

2014-08-20 09:40:56

大數(shù)據(jù)實(shí)踐項(xiàng)目

2013-01-16 14:45:47

HadoopApache Hado

2018-01-22 08:33:28

SparkHadoop計(jì)算
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)