實現(xiàn)Spark集群部署 這些公司都經(jīng)歷了什么?
軟件公司Intuit和Novantas經(jīng)過深思熟慮,決定部署他們的***個Spark集群,限制初始用戶訪問并尋找堅實的商業(yè)用途。
Intuit公司建立了Spark集群,最初用于在網(wǎng)站和進入在線表單的數(shù)據(jù)用戶的財務(wù)和會計軟件分析點擊流記錄。但是Intuit的副總裁Bill Loconzolo并不打算使用開源數(shù)據(jù)處理引擎。
Loconzolo表示,在他的印象中,Spark似乎并不是很靈活。但是盡管Spark集群設(shè)置是實驗性質(zhì)的,數(shù)據(jù)科學(xué)家團隊也可以使用。Loconzolo說,2016年年底之前,他不打算開放系統(tǒng)。
他想要建立一個基于Cloudera公司Hadoop分布的大數(shù)據(jù)分析架構(gòu),他準備使用Spark等新技術(shù)至少六個月,以便判斷公司是否做好了準備。
“以前使用大數(shù)據(jù)技術(shù)時,我們有過類似的教訓(xùn),”他解釋說,“有時候,提前做準備是我們避免失敗的有效方式。”
Novantas公司的***技術(shù)官和工程主管Kaushik Deka表示,開始使用Hadoop時,他的團隊也采取了非常謹慎的戰(zhàn)略模式。
“一年前,我們從未使用過大數(shù)據(jù)平臺,”Deka說,“我們完全認同這樣的技術(shù),但想要使用這些技術(shù),公司內(nèi)部文化需要做些真正的努力和轉(zhuǎn)變。”Novantas還必須通過對現(xiàn)有員工進行培訓(xùn),建立像Spark一樣的內(nèi)部專業(yè)工具。
為了避免偏離軌道,該公司非常謹慎地尋找一個堅實的初始業(yè)務(wù)用于大數(shù)據(jù)技術(shù)。達到搜索高峰時,銀行利用其分析服務(wù)和軟件結(jié)合不同的數(shù)據(jù)集來支持個人客戶如何應(yīng)對市場營銷的預(yù)測模型。Spark非常適合該應(yīng)用程序,可以作為一個引擎完成提取、轉(zhuǎn)換和加載數(shù)據(jù)集成工作。
Gartner分析師Nick Heudecker說,咨詢公司獲得了客戶關(guān)于Spark評價的 “實質(zhì)性”調(diào)查。但這項技術(shù)尚未成熟,企業(yè)用戶中關(guān)于Spark集群的產(chǎn)品相對較少。他說,“我們對這項技術(shù)很感興趣,Spark是否轉(zhuǎn)化為部署是我們密切關(guān)注的事情。”

2017-11-14 16:38:05
2021-12-31 13:16:23
























