[[71561]]

Hadoop是由英雄們創(chuàng)造的開源傳奇，然而傳奇經(jīng)常還伴隨著一些流言——這些流言可能會導(dǎo)致IT高管們帶著樂觀的心態(tài)去制定策略。

數(shù)據(jù)體積和數(shù)據(jù)使用在以驚人的速度增長著，這一點(diǎn)從分析師的分析中不難獲得——IDC今年在數(shù)據(jù)存儲上的 增長速度將達(dá)到53.4%，AT&T聲稱 無線數(shù)據(jù)的流量在過去的5年內(nèi)增長200倍，如果你著眼自己通信渠道的話，將毫無疑問的發(fā)現(xiàn)互聯(lián)網(wǎng)內(nèi)容、電子郵件、應(yīng)用通知、社交消息以及每天自動接收的消息都在顯著的增長。這也是為什么 從McKinsey到Facebook再到Walmart都重點(diǎn)聚焦于大數(shù)據(jù)。

就像我們看到的90年代與2000年代的互聯(lián)網(wǎng)泡沫，大數(shù)據(jù)同樣會導(dǎo)致一些公司做出糟糕的設(shè)想和決策。

Hadoop毫無疑問是公司為了解決大數(shù)據(jù)需求的主要投資領(lǐng)域之一，而類似Facebook這些在大體積數(shù)據(jù)處理上有所建樹的公司都公開的吹捧過在Hadoop上取得的成功，同樣初入大數(shù)據(jù)領(lǐng)域的公司也必先著眼這些成功的典型。Adam Bloom的一個MIT(麻省理工學(xué)院)計算機(jī)科學(xué)校友曾對他說：“when all you have is a hammer, everything looks like a nail。”通過Hadoop的炒作，我們可以避免 功能固著(functional fixedness)這種認(rèn)知偏差。 Hadoop是一個多維的解決方案，可以通過不同的方式進(jìn)行部署和使用。下面就看一下公司在開始Hadoop項(xiàng)目之前必須了解的一些關(guān)于Hadoop和大數(shù)據(jù)的預(yù)先構(gòu)想的錯誤理念：

1. 大數(shù)據(jù)只關(guān)系到體積

在體積之外，許多工業(yè)先鋒還經(jīng)常提到 variety(多樣)、variability(可變)、velocity(速度)和value(價值)。撇開所有單詞都押頭韻，關(guān)鍵點(diǎn)在于大數(shù)據(jù)并不是體積上的增長——它正在向著實(shí)時分析、結(jié)構(gòu)化和非結(jié)構(gòu)化來源方向發(fā)展，并被用于嘗試和制定更好的決策。綜上所述，不是只有分析大體積數(shù)據(jù)才會獲得價值。舉個例子，超時限的存儲和分析1PB的數(shù)據(jù)的價值可能比不上實(shí)時分析1GB的數(shù)據(jù)。從工具集上考慮，你可能需要一個內(nèi)存數(shù)據(jù)網(wǎng)絡(luò)進(jìn)行實(shí)時的分析，從新鮮的數(shù)據(jù)上獲得價值，而不是去解剖過時的數(shù)據(jù)獲得價值。

2. 傳統(tǒng)SQL不可以在Hadoop上使用

當(dāng)Facebook、Twitter、Yahoo!在Hadoop上豪賭時，他們同樣知道HDFS和MapReduce受限于處理類似SQL語言的能力，這也是 Hive、 Pig和 Sqoop最終得以孵化的原因?；谌蛏洗罅康臄?shù)據(jù)都是通過SQL來管理，一些公司和項(xiàng)目都在Hadoop和SQL的兼容上狠下功夫。

3. 取代大型機(jī)!Hadoop是唯一的新IT數(shù)據(jù)平臺

在IT投資組合里有很多一直長期存在的投資，而大型機(jī)就是這么一個例子，與ERP、CRM和SCM這些系統(tǒng)一樣演變至今。而如果大型機(jī)不想被公司或者架構(gòu)遺棄，它就必須展示在現(xiàn)有投資環(huán)境中的價值。而VMware的許多客戶在使用大型機(jī)上都遇到了速度、規(guī)模和開銷的問題，但是并不是沒有途徑去解決這些問題，比如像vFabric SQLFire這樣的內(nèi)存大數(shù)據(jù)網(wǎng)絡(luò)就可以被嵌入或者使用分布式緩存途徑去解決類似隊列的高速攝取、促進(jìn)大型機(jī)的批處理或?qū)崟r分析報告這些問題。

4. 虛擬化會導(dǎo)致性能下降

Hadoop最初的設(shè)計只是在實(shí)體服務(wù)器上運(yùn)行，然而隨著越來越多機(jī)構(gòu)的采用，許多公司都希望它能作為數(shù)據(jù)中心服務(wù)在云中運(yùn)行。為什么這么多的公司都希望虛擬化Hadoop?首先要考慮管理基礎(chǔ)設(shè)施的擴(kuò)展性，VMware快速的認(rèn)識到擴(kuò)展計算資源，比如虛擬Hadoop節(jié)點(diǎn)，當(dāng)數(shù)據(jù)和計算分開時會對性能有所幫助，否則如果你關(guān)閉某個Hadoop節(jié)點(diǎn)將丟失上面的所有數(shù)據(jù)或者添加一個沒有數(shù)據(jù)的空節(jié)點(diǎn)。而鑒于這個原因，許多來自MapR、Hortonworks、Cloudera和Greenplum的專業(yè)Hadoop發(fā)行版都支持 Project Serengeti和 Hadoop Virtualization Extensions(HVE)。

5. Hadoop只可以在數(shù)據(jù)中心運(yùn)行

首先，存在SaaS云服務(wù)解決方案。許多云服務(wù)允許你云端運(yùn)行Hadoop、SQL，這無疑可以幫助你省下數(shù)據(jù)中心建造投資的時間和金錢。對于一個公有云運(yùn)行時，Java開發(fā)者可以從Spring Data for Hadoop以及一些其它的GitHub中的用例獲益。

6. Hadoop對虛擬化毫無經(jīng)濟(jì)價值

Hadoop通常解釋在一堆商用服務(wù)器上運(yùn)行，這樣就會有人認(rèn)為添加一個虛擬層在帶來額外支出的同時并不會有額外的價值收益。用這個觀點(diǎn)看是存在缺陷的，你并沒有考慮到數(shù)據(jù)和數(shù)據(jù)分析事實(shí)上都是動態(tài)的。想成為一個利用Hadoop能量去成長、創(chuàng)新及創(chuàng)造效率的公司，你必須改變數(shù)據(jù)的來源、分析的速度等等。虛擬化基礎(chǔ)設(shè)施同樣可以減少物理硬件的封裝，讓CAPEX直接等于純粹的商用硬件，而通過自動以及更搞笑的利用共享基礎(chǔ)設(shè)施同樣可以減少OPEX(運(yùn)營成本)。

7. Hadoop不可以在SAN或NAS上運(yùn)行

Hadoop在本地磁盤上運(yùn)行，對于中小型集群它同樣可以在一個共享的SAN環(huán)境下運(yùn)行良好。而高帶寬比如10GB Ethernet、PoE以及iSCSI對性能同樣有很好的支持。

總結(jié)

宣傳異或是炒作只能作為接受新事物的參考，在做決策之前必須進(jìn)行深入的了解和分析。被流言所迷惑而做出錯誤的決策，必然會讓投資陷入危險的境地。