當(dāng)下中國超大規(guī)模的單Master節(jié)點Hadoop集群在哪里?在淘寶。

據(jù)悉，淘寶Hadoop集群擁有2860個節(jié)點，清一色基于英特爾處理器的x86服務(wù)器，其總存儲容量50PB，實際使用容量超過40PB，日均作業(yè)數(shù)高達(dá)15萬，為淘寶網(wǎng)的日常運營做出了關(guān)鍵支撐。對了，它還有一個很美麗的名字：“云梯”。

近日，《網(wǎng)絡(luò)世界》記者有幸采訪到了阿里集團技術(shù)共享平臺核心系統(tǒng)研發(fā)部海量數(shù)據(jù)技術(shù)專家羅李。作為淘寶“云梯”集群元老級創(chuàng)建者，以及目前的負(fù)責(zé)人，他詳細(xì)講解了Hadoop在淘寶的應(yīng)用與發(fā)展。

“云梯”的前世今生

“在2008年之前，淘寶內(nèi)部一些業(yè)務(wù)團隊，紛紛搭建了自己的Hadoop集群，但規(guī)模都很小，出了問題也都各自解決。”羅李說，“考慮到淘寶的業(yè)務(wù)確實對分布式計算系統(tǒng)有需要，再加上這種分散模式小集群的資源利用率不高，整個集團就決定建立一個統(tǒng)一的、大的分布式計算集群，為各業(yè)務(wù)線服務(wù)。”

阿里集團技術(shù)共享平臺核心系統(tǒng)研發(fā)部海量數(shù)據(jù)技術(shù)專家 羅李

至于為什么選擇Hadoop，羅李表示，當(dāng)時能夠達(dá)到商用水準(zhǔn)的分布式計算技術(shù)也只有Hadoop。不過，他說：“當(dāng)時整個淘寶并沒有一個對Hadoop內(nèi)核真正了解的人，后來是抽調(diào)了雅虎中國的核心技術(shù)人員，在2008年10月成立了專門團隊。”

“2008年我也是剛進(jìn)淘寶，就直接被分配到這個團隊，那時整個團隊包括我才四個人。到2009年，我們的‘云梯’集群剛搭起來的時候，才300臺規(guī)模。”羅李告訴記者。

短短不過四年時間，“云梯”集群已經(jīng)擴張到近2900臺規(guī)模，成為中國規(guī)模最大的單Master節(jié)點Hadoop集群。而伴隨“云梯”集群成長的羅李，也成為了中國當(dāng)下為數(shù)不多的、真正精通Hadoop的高級技術(shù)人才。

Hadoop在淘寶的發(fā)展

談起“云梯”集群名字的由來，這竟是一個有幾分“無心插柳柳成行”意味的故事。原來，出于安全性等多重考慮，當(dāng)時阿里集團高層是決心自主研發(fā)一套有獨立自主知識產(chǎn)權(quán)的分布式計算系統(tǒng)，即后來代號為“飛天”的大規(guī)模分布式計算系統(tǒng)。而羅李他們研發(fā)的這個基于開源Hadoop技術(shù)的集群，最初只是被定位成一個臨時的、有過渡性質(zhì)的系統(tǒng)，目的是讓淘寶的業(yè)務(wù)人員提前熟悉和使用分布式計算系統(tǒng)，待“飛天”成熟后再將業(yè)務(wù)移植過來。

“我們一開始就知道我們是為他們(‘飛天’系統(tǒng))鋪路的，所以，既然他們叫‘飛天’，那我們就叫‘云梯’好了，隱含奉獻(xiàn)的意思。”羅李說。

只是，世事難料，大家都沒有想到，四年后的今天大數(shù)據(jù)和Hadoop會如此之火，發(fā)展前景堪稱一片光明，而淘寶憑借“云梯”集群也成為該技術(shù)領(lǐng)域的應(yīng)用先鋒。當(dāng)然，阿里集團一直在堅持研發(fā)“飛天”集群，并取得了階段性的成果。因此，在阿里集團內(nèi)部，其實是“飛天”和“云梯”兩大分布式計算系統(tǒng)并立的局面。#p#

在應(yīng)用中發(fā)展

從2009年的300臺發(fā)展到目前2860臺，這絕不只是一個機器簡單堆疊的過程，而是耗費了淘寶研發(fā)人員無數(shù)的智慧與汗水。Hadoop技術(shù)本身在淘寶也獲得了長足的發(fā)展。

淘寶對Hadoop進(jìn)行深度重構(gòu)的最重要一次實踐，當(dāng)屬該公司根據(jù)自身的業(yè)務(wù)需求，開發(fā)了自己的Hadoop分支——ADFS。

據(jù)介紹，ADFS主要解決的是HDFS NameNode在設(shè)計上存在單點故障、內(nèi)存瓶頸(因為所有的數(shù)據(jù)都是存入內(nèi)存，長期以往，NameNode必將遭遇內(nèi)存擴展瓶頸)，以及集群重啟時間過長，期間無法對集群進(jìn)行寫操作等問題。

而ADFS原理簡單地說就是將非熱點數(shù)據(jù)存入“數(shù)據(jù)庫”，而非NameNode的內(nèi)存。羅李說：“由于數(shù)據(jù)存放在數(shù)據(jù)庫里，只要數(shù)據(jù)庫‘不掛’就沒有問題，NameNode的單點故障問題由此解決，同時也一并解決了內(nèi)存瓶頸。系統(tǒng)升級不需要再停機，重啟時間也由原來的一兩個小時縮短到5分鐘之內(nèi)?？傊?，ADFS能提供10億文件/目錄的管理能力，其穩(wěn)定性、性能和可維護(hù)性不輸于甚至優(yōu)于現(xiàn)有系統(tǒng)。”此外，值得一提的是，淘寶已經(jīng)將ADFS開源在GitHub之上。

另一大改進(jìn)，就是為減少磁盤使用量而實施了HDFS Raid技術(shù)。

“HDFS出于可靠性考慮，都是將一份數(shù)據(jù)存成三份，這意味著1GB的數(shù)據(jù)占用了3GB的存儲容量，可靠性是有了，但經(jīng)濟性并不好。HDFS Raid就相當(dāng)于Raid 10，原來1GB的數(shù)據(jù)所需要的空間從原來的3GB降到2.4GB，對我們來講，就是上百萬資金的節(jié)省，而可靠性卻并沒有喪失。”羅李說。

不過，羅李表示，HDFS Raid技術(shù)來源于Facebook，他們是在Facebook提供的版本上做了些改進(jìn)。

此外，還一個無法被描述成“項目”的改進(jìn)就是持續(xù)不斷地“優(yōu)化”。“雖然Hadoop的優(yōu)勢之一就是不夠了就可以加機器，但加機器意味著更大的存儲容量、更大的計算需求和更大的網(wǎng)絡(luò)流量，對主節(jié)點都會帶來新的壓力，因此，每次在擴展之前，我們都要對系統(tǒng)進(jìn)行評估，都需要優(yōu)化代碼。”羅李說。

羅李頗為驕傲地告訴記者，由于不斷地對Hadoop內(nèi)核進(jìn)行優(yōu)化，淘寶版本的Hadoop在性能上“比一些社區(qū)的Hadoop版本高出30%~50%”。

“畢竟，我們這么大的規(guī)模作支撐。因為系統(tǒng)的性能瓶頸只有在一定規(guī)模下才能暴露，而我們甚至將Java內(nèi)核的漏洞都跑出來了。”羅李說。

不過，羅李坦承，自從今年七月份新的“云梯”版本上線之后，他們發(fā)現(xiàn)通過優(yōu)化代碼提高系統(tǒng)性能的空間越來越小了。“所以，我們開始和運維團隊一起合作，打算去從硬件層面下手，例如購買更高性能的CPU、閃存、萬兆網(wǎng)卡等。事實上，我們現(xiàn)在最緊缺的資源就是CPU和磁盤。”他說。

同時，羅李指出，對很多公司而言，在規(guī)模不是特別大的情況下，通過購買更強勁的硬件來提高集群性能也是一個好辦法，而且其成本不一定比維持一支技術(shù)團隊要高。而硬件產(chǎn)業(yè)鏈的上游廠商英特爾則公開表示，英特爾未來首要任務(wù)之一，就是要打造適用于大數(shù)據(jù)應(yīng)用的“芯”，該公司今年三月發(fā)布的全新至強處理器E5產(chǎn)品家族，就能為分布式計算帶來更優(yōu)性能、能效、可擴展性和可管理性。同時，英特爾還將幫助合作伙伴打造可承載大數(shù)據(jù)應(yīng)用的基礎(chǔ)設(shè)施。

關(guān)于“云梯”集群未來的發(fā)展方向，羅李表示，短期內(nèi)是存儲結(jié)構(gòu)和技術(shù)進(jìn)行優(yōu)化部署ADFS，并且開發(fā)HDFS NameNode HA技術(shù)，而長期來說，“云梯”將演變成多Master節(jié)點Hadoop集群。

如今，Hadoop之火有目共睹，那什么樣的公司適合采嘗試這一新興技術(shù)?羅李回答道：“還應(yīng)該是從業(yè)務(wù)角度出發(fā)。有海量數(shù)據(jù)需要處理，并且計算模型并不太復(fù)雜，對數(shù)據(jù)進(jìn)行處理的過程可以分成一個個小的步驟去完成，就可以嘗試Hadoop 技術(shù)。”