偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

巧用云平臺(tái)簡化Spark集群與大數(shù)據(jù)部署

譯文
數(shù)據(jù)庫 Spark
在本屆Spark 2014峰會(huì)上,Databricks公司CEO Ion Stoica在主題演講中公布了Databricks云——這是一套針對內(nèi)存內(nèi)集群計(jì)算的交鑰匙平臺(tái),承諾以Hadoop MapReduce為基礎(chǔ)給大數(shù)據(jù)處理任務(wù)帶來顯著性能提升。

在日前于舊金山舉辦的Spark 2014峰會(huì)上,Databricks公司CEO Ion Stoica通過主題演講公布了Databricks云——這是一套以Apache Spark開源處理引擎為核心構(gòu)建而成的云平臺(tái),專門負(fù)責(zé)大數(shù)據(jù)處理工作。

Spark項(xiàng)目在一個(gè)月之前才剛剛完成了其v1.0版本,這是一套集群計(jì)算框架、設(shè)計(jì)目的在于以Hadoop分布式文件系統(tǒng)(簡稱HDFS)為基礎(chǔ)取代原本的Hadoop MapReduce。借助對內(nèi)存內(nèi)集群計(jì)算的支持能力,Spark得以在內(nèi)存機(jī)制的輔助下將Hadoop MapReduce的性能表現(xiàn)提升達(dá)100倍,而磁盤配合時(shí)的性能提升也能達(dá)到原先的10倍。

Spark在工作流程、高級(jí)分析、流處理以及商務(wù)智能/可視化分析等數(shù)據(jù)處理領(lǐng)域可謂一款出色的計(jì)算引擎。不過Spark集群則是一套殊難打理的性能巨獸,Stoica強(qiáng)調(diào)稱。Databricks公司希望改變這一切,利用由其托管的Databricks云平臺(tái)為客戶提供易于使用的交鑰匙解決方案。

“對于企業(yè)用戶來說,將自身在大數(shù)據(jù)領(lǐng)域所投入的資金充分轉(zhuǎn)化為實(shí)際價(jià)值仍然是一項(xiàng)非常困難的任務(wù),”Stoica表示。“這類集群很難設(shè)置與管理,而且要從數(shù)據(jù)中提取出可資利用的實(shí)際價(jià)值需要配合各種不同類型的工具方案,這無疑使整項(xiàng)工作難上加難。我們Databricks的愿望是能夠顯著簡化大數(shù)據(jù)處理方式,幫助用戶將精力集中在數(shù)據(jù)向?qū)嶋H價(jià)值的轉(zhuǎn)化身上。Databricks云能夠?qū)park的強(qiáng)大能力與零管理托管平臺(tái)結(jié)合起來,并提供常見工作流程所必需的初始應(yīng)用程序集合,這一切將有助于我們把發(fā)展愿景變成現(xiàn)實(shí)。”

Databricks云還能夠?yàn)榻换ナ讲樵儯ㄍㄟ^Spark SQL)、流數(shù)據(jù)(Spark Streaming)、機(jī)器學(xué)習(xí)(MLlib)以及圖形計(jì)算(GraphX)以原生方式提供支持,同時(shí)利用單一API跨越全部數(shù)據(jù)傳輸通道。Stoica表示,這套經(jīng)過配置的全新Spark集群可謂一大轉(zhuǎn)折點(diǎn),用戶只需為集群設(shè)定好必要的資源容量、其它工作該平臺(tái)都能獨(dú)力完成——包括在運(yùn)行過程中對服務(wù)器進(jìn)行配置、簡化數(shù)據(jù)導(dǎo)入與緩存機(jī)制、在安全性角度對Spark進(jìn)行補(bǔ)丁安裝與更新。

該平臺(tái)還包含三款內(nèi)置應(yīng)用程序:

Notebooks。這是一套富界面,用于執(zhí)行數(shù)據(jù)發(fā)現(xiàn)與瀏覽任務(wù)。Notebooks能夠以交互式方式繪制查詢結(jié)果、以腳本方式執(zhí)行整套工作流并實(shí)現(xiàn)高級(jí)協(xié)作功能。

Dashboards。Dashboards允許用戶從之前創(chuàng)建的Notebooks當(dāng)中選擇任意輸出結(jié)果,進(jìn)而將其創(chuàng)建成儀表板形式并加以管理。Dashboards隨后會(huì)將結(jié)果輸出到單一頁面中的儀表板內(nèi),同時(shí)提供WYSIWYG編輯器、從而將內(nèi)容向更為廣泛的受眾加以提交。

Job Launcher。Job Launcher應(yīng)用程序允許任何使用者運(yùn)行任意Apache Spark作業(yè)并在執(zhí)行過程中予以觸發(fā),這能大大簡化創(chuàng)建數(shù)據(jù)產(chǎn)品的實(shí)際流程。

“我們了解到,大多數(shù)企業(yè)用戶都在抱怨大數(shù)據(jù)處理并不是單一一項(xiàng)分析工作;真正的執(zhí)行流程需要將數(shù)據(jù)存儲(chǔ)、ETL(即提取、轉(zhuǎn)換與加載)、數(shù)據(jù)瀏覽、儀表板與報(bào)告、高級(jí)分析以及數(shù)據(jù)產(chǎn)品創(chuàng)建等步驟結(jié)合起來,”Stoica指出。“利用當(dāng)前的技術(shù)成果完成上述工作可以說相當(dāng)困難。我們打造的Databricks云正是為此而生,它能夠在設(shè)備之上建立起終端到終端通道,同時(shí)支持全部強(qiáng)化性以及功能補(bǔ)充性Spark應(yīng)用程序。它的設(shè)計(jì)目的在于將原本被大數(shù)據(jù)處理的超高復(fù)雜性嚇退的新用戶們重新回到這塊***價(jià)值的分析舞臺(tái)上來。”Stoica指出,上述內(nèi)置應(yīng)用程序還僅僅是個(gè)起點(diǎn)。Databricks云以100%純開源Apache Spark項(xiàng)目為基礎(chǔ)開發(fā)而成,這意味著全部現(xiàn)有以及未來將要出現(xiàn)的“經(jīng)過Spark認(rèn)證”的應(yīng)用程序都將能夠運(yùn)行在這套開箱即用的平臺(tái)之上——其中也包括十幾款Databricks于今年二月啟動(dòng)其應(yīng)用認(rèn)證計(jì)劃以來獲得肯定的Spark應(yīng)用程序。

此外,Stoica還談到,大家完全可以反其道行之。任何在Databricks云上開發(fā)而成的Spark應(yīng)用程序也將能夠運(yùn)行在全部“經(jīng)過認(rèn)證的Spark發(fā)行版”當(dāng)中,也就是說用戶不會(huì)被鎖定在某種特定托管平臺(tái)身上。Databricks于上周正式啟動(dòng)了其發(fā)行版認(rèn)證計(jì)劃,并強(qiáng)調(diào)稱目前已經(jīng)有五家供應(yīng)商通過了認(rèn)證過程,它們分別是:Datastax、Hortonworks、IBM、甲骨文以及Pivotal。

“我們衷心期待著能夠?qū)atabricks云打造成一整套豐富多彩的生態(tài)系統(tǒng),”Stoica表示。

Databricks云目前正與幾家用戶配合進(jìn)行封閉beta測試,并計(jì)劃于今年八月開放限定可用beta測試,Stoica解釋稱。他同時(shí)補(bǔ)充道,該平臺(tái)將采用分層定價(jià)模型作為基礎(chǔ)計(jì)費(fèi)機(jī)制,根據(jù)使用量核算使用成本。初期該平臺(tái)將只在Amazon Web Services(簡稱AWS)上與用戶見面,不過Stoica強(qiáng)調(diào)未來有計(jì)劃將其擴(kuò)展到其它云供應(yīng)商的基礎(chǔ)設(shè)施當(dāng)中。

原文鏈接:

http://www.cio.com/article/2369158/big-data/cloud-platform-simplifies-spark-clusters-big-data-deployments.html

原文標(biāo)題:Cloud Platform Simplifies Spark Clusters, Big Data Deployments

責(zé)任編輯:彭凡 來源: 51CTO
相關(guān)推薦

2017-01-11 16:57:51

大數(shù)據(jù)大數(shù)據(jù)集群監(jiān)控

2012-07-27 09:37:07

大數(shù)據(jù)云計(jì)算

2014-04-16 10:41:58

Spark

2020-05-29 16:14:03

戴爾科技

2016-12-21 09:57:03

大數(shù)據(jù)

2016-09-19 10:01:01

2014-05-16 10:55:47

Spark

2014-03-12 14:57:04

2014-12-05 15:37:06

2015-02-03 03:18:56

SparkSpark內(nèi)核

2014-06-25 13:57:50

云計(jì)算大數(shù)據(jù)Spark

2017-01-22 10:40:31

Hadoop云部署大數(shù)據(jù)

2009-08-03 10:02:15

BMCBSMITIL

2013-11-19 10:42:45

大數(shù)據(jù)Chef

2017-06-14 09:00:40

容器開發(fā)人員云應(yīng)用

2023-08-25 15:13:16

大數(shù)據(jù)云計(jì)算

2023-11-02 09:00:00

Kubernetes集群

2017-02-13 20:05:19

智慧城市大數(shù)據(jù)云平臺(tái)

2016-06-16 09:56:17

Cloudera

2017-01-06 16:06:53

存儲(chǔ)IBM軟件
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)