Apache軟件基金會(huì)終于推出了最新的Hadoop2數(shù)據(jù)分析平臺(tái)，從而引發(fā)了輿論對(duì)大數(shù)據(jù)演進(jìn)大飛躍的美好憧憬，此前我曾經(jīng)寫(xiě)過(guò)“Hadoop就是大數(shù)據(jù)應(yīng)用又何妨”一文，對(duì)國(guó)內(nèi)大數(shù)據(jù)市場(chǎng)現(xiàn)狀進(jìn)行了分析。如今Hadoop 2發(fā)布，會(huì)如輿論所預(yù)計(jì)一樣刺激大數(shù)據(jù)應(yīng)用和發(fā)展嗎?

我認(rèn)為首先要看一下，Hadoop 2進(jìn)行了哪些改進(jìn)?從相關(guān)報(bào)道來(lái)看，Hadoop 2最大的改進(jìn)是發(fā)布了YARN數(shù)據(jù)處理和服務(wù)引擎，用于對(duì)Map/Reduce進(jìn)行了改進(jìn)，同時(shí)為Hadoop File System (HDFS)添加高可用特性。

可以看一些技術(shù)細(xì)節(jié)，對(duì)Hadoop數(shù)據(jù)進(jìn)行訪問(wèn)，需要開(kāi)發(fā)Java應(yīng)用實(shí)現(xiàn)Map/Reduce，學(xué)習(xí)起來(lái)會(huì)有一些困難，除此之外，也可以采用Hbase，用近似數(shù)據(jù)庫(kù)范式來(lái)處理數(shù)據(jù)。其Hive數(shù)據(jù)倉(cāng)庫(kù)讓你可用類(lèi)SQL的HiveSQL查詢語(yǔ)言來(lái)創(chuàng)建查詢，并轉(zhuǎn)化為MapReduce任務(wù)。不過(guò)Hadoop仍受限于單線程性。MapReduce任務(wù)、Hive查詢、Hbase操作等等都要輪流進(jìn)行，這就是局限。

Hadoop開(kāi)發(fā)社區(qū)也意識(shí)到這個(gè)問(wèn)題，在Hadoop2進(jìn)行了改進(jìn)，將Map/Reduce升級(jí)為Apache YARN(Yet Another Resource Negotiator)。

YARN項(xiàng)目主管ArunMurthy指出：Hadoop1.0和2.0的區(qū)別在于，前者所有的事情都是面向批處理的，而后者則允許多個(gè)應(yīng)用同時(shí)在內(nèi)部訪問(wèn)數(shù)據(jù)。

換句話說(shuō)，相對(duì)于當(dāng)前Map/Reduce系統(tǒng)能處理的事情，把這些功能分開(kāi)使得Hadoop集群資源的管理更加強(qiáng)大。其主要管理方式類(lèi)似于操作系統(tǒng)對(duì)任務(wù)的處理，不再有一次一項(xiàng)操作的限制了。

有了YARN，開(kāi)發(fā)者就能夠直接在Hadoop內(nèi)部來(lái)開(kāi)發(fā)應(yīng)用，而不是像許多第三方工具所做的那樣，在外面把數(shù)據(jù)篩選出來(lái)。

從Hadoop 1.0到2.0對(duì)于用戶來(lái)說(shuō)并沒(méi)有本質(zhì)不同，只是從技術(shù)的角度，簡(jiǎn)化技術(shù)開(kāi)發(fā)的難度，是一種量的積累，而不是質(zhì)的改變。對(duì)于最終用戶來(lái)說(shuō)，Map/Reduce也好，YARN也好，不過(guò)是一種對(duì)資源的調(diào)度和使用方式。

因此，無(wú)論Hadoop 1.0、2.0其最大的貢獻(xiàn)還在于讓我們有機(jī)會(huì)使用X86等廉價(jià)手段來(lái)處理海量結(jié)構(gòu)化數(shù)據(jù)，這也是大數(shù)據(jù)應(yīng)用被廣泛推廣和談及的主要原因。從目前來(lái)看，國(guó)內(nèi)大數(shù)據(jù)應(yīng)用所需要的還是大數(shù)據(jù)服務(wù)的提供商，至于這些服務(wù)商使用Map/Reduce，還是YARN都不重要，重要的不是工具，而是服務(wù)和結(jié)果。無(wú)論是Map/Reduce，還是YARN都不是普通非專業(yè)人員可以使用的，它還不想使用PC這么簡(jiǎn)單，現(xiàn)在所需要的是會(huì)使用Map/Reduce，或者YARN的人，需要他們提供專業(yè)化的服務(wù)。

Hadoop 2會(huì)促進(jìn)大數(shù)據(jù)應(yīng)用和發(fā)展，但在國(guó)內(nèi)關(guān)鍵化問(wèn)題仍然沒(méi)有解決，因此難以樂(lè)觀。