Cloudera將Hadoop作為企業(yè)數(shù)據(jù)樞紐的想法非常大膽，但是現(xiàn)實(shí)卻大相徑庭。Hadoop距離讓其他大數(shù)據(jù)解決方案黯然失色還有很長(zhǎng)的一段路要走。

當(dāng)你有了一把足夠大的錘子時(shí)，所有的東西看起來(lái)都是釘子。這是Hadoop 2.0所面臨的眾多潛在問(wèn)題之一。目前，讓開(kāi)發(fā)者和終端用戶(hù)最關(guān)注的是Hadoop 2.0大規(guī)模地修改了大數(shù)據(jù)處理的框架。Cloudera計(jì)劃將Hadoop 2.0打造成一把能夠應(yīng)對(duì)所有不同釘子的萬(wàn)能錘子。

毫無(wú)疑問(wèn)，Hadoop 2.0與之前的產(chǎn)品相比性能有了很大的提升。之前對(duì)于MapReduce任務(wù)，Hadoop只是一個(gè)批量數(shù)據(jù)處理框架。如今Hadoop 2.0成為了一個(gè)可在跨節(jié)點(diǎn)系統(tǒng)中部署應(yīng)用的通用框架，MapReduce也能夠跨節(jié)點(diǎn)運(yùn)行，這一功能顯然讓Cloudera感到非常興奮。在2013年10月底于紐約召開(kāi)的O'Reilly Strata-Hadoop大會(huì)的主題演講，Cloudera向與會(huì)者闡述了由Hadoop驅(qū)動(dòng)的“企業(yè)數(shù)據(jù)樞紐”理念。 各種形式的數(shù)據(jù)都可輸入這個(gè)樞紐中，數(shù)據(jù)在這里可被恰當(dāng)處理，并被按需提取。

這聽(tīng)起來(lái)非常不錯(cuò)，但是有多大的可行性呢?對(duì)于那些沒(méi)有及時(shí)涉足大數(shù)據(jù)，現(xiàn)在才開(kāi)始為海量數(shù)據(jù)農(nóng)場(chǎng)(data farms)尋找恰當(dāng)位置的企業(yè)來(lái)說(shuō)，這類(lèi)樞紐距離他們太遙遠(yuǎn)了。將這些“數(shù)據(jù)孤島”納入到Hadoop設(shè)施中并不是件容易的事。

盡管Hadoop也是一個(gè)相當(dāng)大的障礙，但是這一理念最大的障礙并不是Hadoop本身。通過(guò)在Strata-Hadoop大會(huì)上與廠商和用戶(hù)交流，我們發(fā)現(xiàn)，廠商和用戶(hù)只是將Hadoop視為一堆水桶的零件而已，它們還需要被焊接起來(lái)才能充分地發(fā)揮作用。

Hadoop的大多數(shù)功能正在通過(guò)第三方實(shí)現(xiàn)。這些第三方將Hadoop的功能引入到了即時(shí)部署型(ready-to-deploy)的產(chǎn)品當(dāng)中，不僅僅是Cloudera或Cloudera的對(duì)手Hortonworks，還包括微軟(Hortonworks的合作伙伴)、亞馬遜、SoftLayer、Rackspace等云服務(wù)提供商。他們當(dāng)中只有一小部分還沒(méi)有提供軟件工具所需要的各種程度的抽象化。Puppet或Python腳本在這里只是選項(xiàng)，不是必需的。

即便在小規(guī)模的部署當(dāng)中，Hadoop活動(dòng)部件和尖銳毛邊的絕對(duì)數(shù)量也非常的嚇人。在小組會(huì)議上，甲骨文產(chǎn)品經(jīng)理Dan McClary介紹了甲骨文在創(chuàng)建Hadoop工具時(shí)所付出的艱辛。這讓我們看到了將Hadoop整合到可交付產(chǎn)品中需要付出多少努力，即便是對(duì)于甲骨文這樣的大公司來(lái)說(shuō)也并不容易。McClary表示，隨著時(shí)間的推移，Hadoop的毛邊和未完善之處將在社區(qū)和廠商的共同努力下被磨平和解決，但是這個(gè)時(shí)間肯定不會(huì)馬上到來(lái)。

另一個(gè)主要障礙仍然是將應(yīng)用遷移到Hadoop?；贖adoop的新基礎(chǔ)設(shè)施YARN(Yet Another Resource Negotiator，另一種資源協(xié)調(diào)者)比以往更具開(kāi)放性，但要想在上面運(yùn)行應(yīng)用必須重新編寫(xiě)應(yīng)用，這一工作并不輕松。屆時(shí)可能會(huì)有一些應(yīng)急性設(shè)備出現(xiàn)，以加快這一進(jìn)程。例如，可以將應(yīng)用隨意加入框架內(nèi)的某種虛擬化封裝工具，不過(guò)這一工作也不輕松。

目前業(yè)內(nèi)正在做大量工作，例如開(kāi)發(fā)連接器、數(shù)據(jù)漏斗等，以便讓Hadoop更好地與現(xiàn)有應(yīng)用協(xié)同工作。盡管大部分人都認(rèn)為現(xiàn)有應(yīng)用最終都將遷移至Hadoop上，但是幾乎很少有研討會(huì)把重點(diǎn)放在將現(xiàn)有應(yīng)用向Hadoop遷移這一問(wèn)題上。與廢棄現(xiàn)有應(yīng)用一切重新開(kāi)始相比，大多數(shù)人還是希望將現(xiàn)有應(yīng)用遷移至Hadoop。

也就是說(shuō)，O'Reilly會(huì)議上活躍程度是這種情況多久才會(huì)發(fā)生的重要預(yù)兆。到2014年這時(shí)候，這一會(huì)議將在紐約曼哈頓賈維茨會(huì)議中心召開(kāi)，屆時(shí)Cloudera的部分聲明可能并不會(huì)引起太多的樂(lè)觀情緒。目前的趨勢(shì)是朝著將Hadoop作為現(xiàn)有大數(shù)據(jù)系統(tǒng)的補(bǔ)充這一方向發(fā)展的，而不是向著將Hadoop作為現(xiàn)有大數(shù)據(jù)系統(tǒng)的升級(jí)系統(tǒng)發(fā)展的。