2013年1月11日，隨著百度南京數(shù)據(jù)中心的“開(kāi)放日”迎來(lái)首批嘉賓訪(fǎng)客，百度云計(jì)算硬件基礎(chǔ)設(shè)施的神秘面紗也逐步顯現(xiàn)。記者從嘉賓的口中以管窺豹，了解到五大核心看點(diǎn)，為您首度披露百度背后的數(shù)據(jù)中心硬件架構(gòu)。

業(yè)內(nèi)專(zhuān)家同時(shí)對(duì)記者表示，以前只是對(duì)百度的搜索引擎技術(shù)、軟件專(zhuān)利比較熟悉，但沒(méi)有想到，百度在硬件和軟硬結(jié)合的數(shù)據(jù)中心領(lǐng)域，也有驚人的表現(xiàn)。通過(guò)百度南京數(shù)據(jù)中心的“開(kāi)放日”，專(zhuān)家們認(rèn)識(shí)到，以百度為代表的中國(guó)互聯(lián)網(wǎng)公司，已經(jīng)在互聯(lián)網(wǎng)技術(shù)領(lǐng)域積累了先進(jìn)技術(shù)經(jīng)驗(yàn)，絲毫不落后于國(guó)外領(lǐng)跑者?？梢韵嘈?，在百度等公司的推動(dòng)下，中國(guó)互聯(lián)網(wǎng)與移動(dòng)互聯(lián)網(wǎng)，必將迎來(lái)更加蓬勃發(fā)展的明天。

云數(shù)據(jù)中心：因何而生?

當(dāng)越來(lái)越多的網(wǎng)民開(kāi)始“百度一下”的時(shí)候，百度公司面臨的數(shù)據(jù)處理的壓力也與日俱增。據(jù)統(tǒng)計(jì)，百度擁有的數(shù)據(jù)總量達(dá)到上百PB，日處理量達(dá)幾十PB。

PB是Petabyte的簡(jiǎn)稱(chēng)，它是較高級(jí)的存儲(chǔ)單位，1PB=1024Tb(Terabyte)=1024*1024GB(Gigabyte)。1PB相當(dāng)于4千億頁(yè)文本。

按照百度的日處理量幾十PB，我們假設(shè)按照60PB來(lái)計(jì)算，平均分?jǐn)偟?5億中國(guó)人頭上，相當(dāng)于每個(gè)中國(guó)人要處理16000頁(yè)文本，約等于700多頁(yè)厚的新華字典，要摞起來(lái)厚厚的20多本。

如此巨大的數(shù)據(jù)量，還并不是困難的全部。百度要處理的數(shù)據(jù)，往往是結(jié)構(gòu)化與非結(jié)構(gòu)化并存，系統(tǒng)數(shù)據(jù)對(duì)數(shù)據(jù)一致性要求強(qiáng)弱程度不同，用戶(hù)對(duì)數(shù)據(jù)的訪(fǎng)問(wèn)行為存在不確定性，即在毫無(wú)征兆的情況下，對(duì)某些信息進(jìn)行突發(fā)式訪(fǎng)問(wèn)等。

面對(duì)新時(shí)期的挑戰(zhàn)，傳統(tǒng)的數(shù)據(jù)中心的成本就顯得格外高昂。相比傳統(tǒng)數(shù)據(jù)中心功耗高、IT設(shè)備負(fù)載低的弱點(diǎn)，云數(shù)據(jù)中心具有天生的優(yōu)勢(shì)，IT負(fù)載可以靈活調(diào)配，資源可被近實(shí)時(shí)的按需調(diào)節(jié)，極大地避免了浪費(fèi)。

數(shù)年前，百度技術(shù)高管已經(jīng)有了決斷：要加快數(shù)據(jù)中心節(jié)能降耗進(jìn)程，大幅降低成本。“以單體10萬(wàn)臺(tái)服務(wù)器的數(shù)據(jù)中心為例，PUE(電能使用效率指標(biāo))每降0.1，一年就可為百度節(jié)約上千萬(wàn)元的成本;如果選擇能源豐富的地理位置以降低電價(jià)，百度每年還可節(jié)約千萬(wàn)元成本。”數(shù)據(jù)中心節(jié)能的價(jià)值不言而喻。數(shù)據(jù)將爆發(fā)增長(zhǎng)，數(shù)據(jù)中心規(guī)模也將隨之快速擴(kuò)張，因而，提前進(jìn)行數(shù)據(jù)中心節(jié)能設(shè)計(jì)，為百度未來(lái)數(shù)據(jù)中心降低能耗、節(jié)省成本打下了堅(jiān)實(shí)的基礎(chǔ)。 #p# 

百度云計(jì)算硬件基礎(chǔ)設(shè)施亮點(diǎn)之一：ARM服務(wù)器體系架構(gòu)全球首次正式商用

傳統(tǒng)以來(lái)，PC與服務(wù)器界，INTEL INSIDE的標(biāo)志幾乎是不可更改的習(xí)慣，但是，你知道iOS、Windows Phone、Android這3大平臺(tái)的手機(jī)共通點(diǎn)是什么嗎?那就是這些手機(jī)CPU全都是采用ARM芯片。i美股《移動(dòng)處理器“小巨人”ARM》報(bào)告披露，2011年全球智能手機(jī)出貨4.7億部，ARM架構(gòu)芯片占90%，功能手機(jī)出貨6.6億部，ARM架構(gòu)芯片占95%，硬盤(pán)和固態(tài)驅(qū)動(dòng)器出貨7 億，ARM占90%，數(shù)碼相機(jī)1.5億臺(tái)，ARM占80%……

圖：百度云數(shù)據(jù)中心在全球首次實(shí)現(xiàn)了ARM體系架構(gòu)的正式商用

百度云計(jì)算硬件基礎(chǔ)設(shè)施的第一大亮的即是在全球首次實(shí)現(xiàn)了ARM體系架構(gòu)的正式商用，也是ARM體系首次服務(wù)于云數(shù)據(jù)中心的規(guī)模化應(yīng)用。ARM 專(zhuān)為百度云服務(wù)設(shè)計(jì)，基于云平臺(tái)將軟件與CPU指令集解耦，實(shí)現(xiàn)了輕計(jì)算負(fù)載，高存儲(chǔ)密度，存儲(chǔ)密度提升了70%，TCO降低了25%。而為了達(dá)成低功耗，低成本，百度也實(shí)現(xiàn)了指令集變遷，即一套代碼，兩種平臺(tái)(X86&ARM)。

百度ARM服務(wù)器擁有10個(gè)以上的發(fā)明專(zhuān)利，是ARM全球首個(gè)Server端規(guī)模應(yīng)用，并且是服務(wù)于云數(shù)據(jù)中心的規(guī)模應(yīng)用，充分彰顯了百度在移動(dòng)計(jì)算上的技術(shù)領(lǐng)先性。

百度云計(jì)算硬件基礎(chǔ)設(shè)施亮點(diǎn)之二：國(guó)內(nèi)首個(gè)大規(guī)模部署定制化整機(jī)柜服務(wù)器

國(guó)內(nèi)第一個(gè)大規(guī)模部署自主設(shè)計(jì)的定制化整機(jī)柜服務(wù)器，該項(xiàng)成果承載著百度自主研發(fā)與百度數(shù)據(jù)中心相匹配的、貼近業(yè)務(wù)需求的、具備最佳TCO的整機(jī)柜服務(wù)器解決方案的重任。

圖：百度定制化整機(jī)柜服務(wù)器

第一批百度自主開(kāi)發(fā)的整機(jī)柜服務(wù)器(200個(gè)rack機(jī)柜)已經(jīng)在南京云數(shù)據(jù)中心上線(xiàn)。TCO(整體擁有成本)下降10%，峰值交付效率提升10倍。

百度云計(jì)算硬件基礎(chǔ)設(shè)施亮點(diǎn)之三：中國(guó)互聯(lián)網(wǎng)業(yè)內(nèi)最大萬(wàn)兆接入服務(wù)器集群

據(jù)參觀了百度南京云數(shù)據(jù)中心的專(zhuān)家透露，目前，該數(shù)據(jù)中心建成了目前國(guó)內(nèi)互聯(lián)網(wǎng)行業(yè)最大的萬(wàn)兆集群，集群規(guī)模超過(guò)5000個(gè)節(jié)點(diǎn)?；诎俣茸灾餮邪l(fā)的萬(wàn)兆 ToR交換機(jī)以及低成本低功耗接入介質(zhì)，該集群相對(duì)于傳統(tǒng)的千兆集群，服務(wù)器節(jié)點(diǎn)帶寬提升了3-10倍，同時(shí)硬件采購(gòu)成本以及TCO僅分別上升 8%和不超過(guò)5%。

另?yè)?jù)了解，該機(jī)房使用了百度自主研發(fā)的，基于64核處理器的負(fù)載均衡系統(tǒng)，該系統(tǒng)可以為業(yè)務(wù)提供最大320G的負(fù)載均衡以及DDoS攻擊防御服務(wù)，而其成本不到商用設(shè)備的10%。

百度南京云數(shù)據(jù)中心實(shí)現(xiàn)了兩大革命性突破：不僅是國(guó)內(nèi)互聯(lián)網(wǎng)行業(yè)最大的萬(wàn)兆集群，也是國(guó)內(nèi)首家大規(guī)模部署自研萬(wàn)兆交換機(jī)的數(shù)據(jù)中心。

百度云計(jì)算硬件基礎(chǔ)設(shè)施亮點(diǎn)之四：SSD自主研發(fā)

如何處理海量數(shù)據(jù)的實(shí)時(shí)存儲(chǔ)?面對(duì)百度海量數(shù)據(jù)存儲(chǔ)需求的不斷提升、軟硬件架構(gòu)從傳統(tǒng)層次結(jié)構(gòu)向豎井結(jié)構(gòu)的變遷、On Demand定制軟硬件的業(yè)界趨勢(shì)，百度推動(dòng)了SSD自主研發(fā)的進(jìn)程。

在系統(tǒng)上，百度實(shí)現(xiàn)了從傳統(tǒng)層次結(jié)構(gòu)向豎井結(jié)構(gòu)的變遷，同時(shí)，也實(shí)現(xiàn)了軟硬件的高度協(xié)同和融合，如硬件多通道對(duì)應(yīng)用可見(jiàn)，應(yīng)用控制數(shù)據(jù)并發(fā)應(yīng)用，顯式擦除無(wú) 用數(shù)據(jù)，避免性能波動(dòng);在軟件上，實(shí)現(xiàn)了輕量級(jí)文件系統(tǒng)和IO系統(tǒng)，繞開(kāi)Linux文件系統(tǒng)及IO協(xié)議棧，降低了訪(fǎng)問(wèn)延時(shí)和系統(tǒng)開(kāi)銷(xiāo);而在硬件上，則根據(jù) 百度數(shù)據(jù)訪(fǎng)問(wèn)模式定制，寫(xiě)放大系數(shù)恒為1，不需要預(yù)留冗余空間，同時(shí)，實(shí)現(xiàn)計(jì)算和存儲(chǔ)的融合，可以作為計(jì)算協(xié)處理器應(yīng)用。

SSD自主研發(fā)為百度云數(shù)據(jù)中心帶來(lái)的好處是顯而易見(jiàn)的，性能比主流PCIE flash卡好2倍，每GB成本降低40%;性能比主流SATA SSD好6倍，每GB成本降低10%,目前在百度網(wǎng)頁(yè)庫(kù)大規(guī)模使用，已經(jīng)獲得3個(gè)發(fā)明專(zhuān)利，完成和投出2篇學(xué)術(shù)論文。

百度云計(jì)算硬件基礎(chǔ)設(shè)施亮點(diǎn)之五：自建數(shù)據(jù)中心年均PUE1.37，國(guó)內(nèi)最佳

PUE(Power Usage Effectiveness)是國(guó)際上通用的數(shù)據(jù)中心能源使用效率衡量指標(biāo)。PUE=數(shù)據(jù)中心總設(shè)備能耗/IT 設(shè)備能耗，是一個(gè)比值，PUE越接近1表明能效水平越高。國(guó)內(nèi)數(shù)據(jù)中心PUE目前平均值約為2.5，這意味著IT設(shè)備每消耗1度電，就有多達(dá)1.5度的電 被IT配套基礎(chǔ)設(shè)施消耗掉了。若全國(guó)數(shù)據(jù)中心PUE均值從2.5降低到百度的1.37，則節(jié)能率達(dá)到45.2%，保守估計(jì)全年可節(jié)電超過(guò)35億度。

經(jīng)過(guò)多年探索與實(shí)踐，百度提出“節(jié)能從源頭開(kāi)始，軟件、IT設(shè)備與基礎(chǔ)設(shè)施協(xié)同”節(jié)能理念;“關(guān)注基礎(chǔ)設(shè)施系統(tǒng)的每一個(gè)環(huán)節(jié)，把每一個(gè)方面做到極致”，最大 限度地降低各個(gè)系統(tǒng)的能耗。百度結(jié)合國(guó)內(nèi)自然環(huán)境及產(chǎn)業(yè)條件，推動(dòng)多種節(jié)能技術(shù)在自建數(shù)據(jù)中心最佳實(shí)踐。如：優(yōu)化供電結(jié)構(gòu)，減少轉(zhuǎn)換損耗;首次規(guī)模應(yīng)用市 電主供、冗余電源備份方案;采用冷機(jī)變頻、空調(diào)末端Ecfan等技術(shù)提高設(shè)備能效;提高供回水溫度，延長(zhǎng)免費(fèi)冷卻時(shí)間;采用CFD優(yōu)化氣流組織設(shè)計(jì)…… 最終通過(guò)運(yùn)維調(diào)優(yōu)，自建數(shù)據(jù)中心全年約50%時(shí)間實(shí)現(xiàn)完全免費(fèi)冷卻，年均PUE 1.37，最佳PUE 1.18，成為國(guó)內(nèi)最節(jié)能、最環(huán)保的數(shù)據(jù)中心。