IT企業(yè)利用云計(jì)算平臺(tái)Hadoop的10種方式
如果你是世界上廣大Hadoop用戶的一員,你肯定知道Google曾經(jīng)靠著分布式計(jì)算技術(shù)(Hadoop),在搜索引擎和廣告方面取得了舉世矚目的成就?,F(xiàn)在的Hadoop不僅是當(dāng)年的老二Yahoo的專用產(chǎn)品了,從Hadoop長(zhǎng)長(zhǎng)的用戶名單中,可以看到Facebook, 可以看到Linkedin,可以看到Amazon,可以看到EMC, eBay,Tweeter,IBM, Microsoft, Apple, HP…。
國(guó)內(nèi)的公司有淘寶、百度等等。而今天我們要探討的是,Hadoop 作為基礎(chǔ)云計(jì)算平臺(tái),除了廣告,IT公司還用哪些方式在利用Hadoop。
1. 在線旅游
云計(jì)算供應(yīng)商Cloudera COO Kirk Dunn 表示,目前上80%的世界在線旅游使用了Cloudera 的Hadoop服務(wù)。他沒有透露具體的名單,但著名的Orbitz Worldwide是我知道的客戶之一。
2. 移動(dòng)數(shù)據(jù)
目前Cloudera為美國(guó)70%的智能手機(jī)提供Hadoop支持,我們可以確定Dunn講的是無限供應(yīng)商支持的移動(dòng)數(shù)據(jù)儲(chǔ)存和處理。
3. 電子商務(wù)
Dunn 表示Cloudia為美國(guó)超過1000萬在線商家提供Hadoop服務(wù),eBay是他們的一個(gè)大客戶, 因?yàn)槠湟芾硪粋€(gè)龐大的個(gè)人賣家市場(chǎng),賣家數(shù)量達(dá)到1000萬以上。而Ebay在用Hadoop服務(wù)90天后,純利潤(rùn)增加了3%。
4. 能源發(fā)現(xiàn)
雪佛龍代表解釋了他們公司利用Hadoop的實(shí)例:通過分類和處理海洋地震數(shù)據(jù)可以預(yù)測(cè)石油儲(chǔ)備狀況。
5. 節(jié)能
雪佛龍代表同時(shí)還表示Hadoop還用在節(jié)能上,雪佛龍利用Hadoop來支持其節(jié)能系統(tǒng),顧客們按照系統(tǒng)提示節(jié)能的同時(shí)也節(jié)省了不少錢。而相關(guān)人士甚至表示這個(gè)理念可以用到精確和長(zhǎng)期的基金預(yù)測(cè)上。

6. 基礎(chǔ)架構(gòu)管理
越來越多的IT公司在收集和分析他們的服務(wù)器數(shù)據(jù),在Cloudera討論會(huì)上, NetApp代表表示他們公司利用Hadoop技術(shù)從全部的安裝點(diǎn)上收集設(shè)備logs(超過千萬億的logs數(shù)量)。
7. 圖片處理
創(chuàng)業(yè)公司“Skybox圖片”正是利用Hadoop來儲(chǔ)存和處理圖片的,這些圖片是衛(wèi)星根據(jù)地理變化的模式有規(guī)律地抓取的高清圖片。Skybox最近獲得了7000萬美元的融資。
8. 欺詐識(shí)別
這是個(gè)經(jīng)典實(shí)用的話題,這在財(cái)政機(jī)構(gòu)和情報(bào)機(jī)構(gòu)非常有市場(chǎng)。Cloudera客戶之一Zions Bancorporation表示他們利用Hadoop儲(chǔ)存一切可能預(yù)示欺騙性的用戶交易和異常情況數(shù)據(jù)。
9. IT安全
除了基礎(chǔ)架構(gòu)管理,IT公司們也開始用Hadoop來處理惡意軟件和網(wǎng)絡(luò)攻擊數(shù)據(jù)。去年Trust
就用hadoop為各種IP評(píng)定分?jǐn)?shù),然后各大公司就可以決定是否接受那些惡意IP的來訪。
10. 醫(yī)療健康
目前Apixio正使用Hadoop來幫助他們對(duì)病人的回答做語義分析,從而幫助醫(yī)生,護(hù)士更好的掌控病情。

Hadoop定義:
1. 一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu),由Apache基金會(huì)開發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下,開發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲(chǔ)。
2. Hadoop是一套開源的、基礎(chǔ)是Java的、目前能夠讓數(shù)千臺(tái)普通、廉價(jià)的服務(wù)器組成一個(gè)穩(wěn)定的、強(qiáng)大的集群,使其能夠?qū)b級(jí)別的大數(shù)據(jù)進(jìn)行存儲(chǔ)、計(jì) 算。已經(jīng)具有了強(qiáng)大穩(wěn)定的生態(tài)系統(tǒng),也具有很多使用的延伸產(chǎn)品。比如做查詢的Pig, 做分布式命名服務(wù)的ZooKeeper, 做數(shù)據(jù)庫的Hive等等。























