看看IT巨頭都是怎么投資數(shù)據(jù)中心的——Facebook
作為社交網(wǎng)絡(luò)巨頭,F(xiàn)acebook在全世界范圍內(nèi)的用戶量已經(jīng)突破十億。這些用戶每天都上傳、存儲(chǔ)大量的圖片、文字等數(shù)據(jù)。同時(shí),再加上Facebook平臺(tái)上的各種數(shù)據(jù),就顯得更加龐大了。對(duì)于這些數(shù)據(jù)的計(jì)算、存儲(chǔ)等的處理就需要大量的計(jì)算資源,這就要求Facebook要有大量的服務(wù)器、數(shù)據(jù)中心。據(jù)數(shù)據(jù)顯示,F(xiàn)acebook 在 2009 年冬天大約有3 萬(wàn)臺(tái)服務(wù)器,到 2010 夏天這一數(shù)量增長(zhǎng)為 6 萬(wàn)。
而自創(chuàng)立開(kāi)始,F(xiàn)acebook就是租借其他服務(wù)供應(yīng)商的基礎(chǔ)設(shè)施,且直到現(xiàn)在,F(xiàn)acebook仍然延續(xù)這一習(xí)慣,Instagram及Prase的業(yè)務(wù)仍然運(yùn)行在AWS之上,雖然Facebook已經(jīng)擁有了四座獨(dú)立的數(shù)據(jù)中心。不得不說(shuō),正是得力于亞馬遜的云計(jì)算資源的護(hù)駕,F(xiàn)acebook的發(fā)展才能非常順利。
這四座數(shù)據(jù)中心分別位于俄勒岡州普林維爾(Prineville),北卡羅來(lái)納州(Forest City)和瑞典Lulea以及美國(guó)賓夕法尼亞州阿爾圖納(Altoona)。
其中,阿爾圖納的數(shù)據(jù)中心是Facebook今年才宣布建立的數(shù)據(jù)中心,將在2015年啟用。據(jù)了解,該數(shù)據(jù)中心的投資額達(dá)到10億美元,并號(hào)稱是“全球技術(shù)***進(jìn)”的數(shù)據(jù)中心,將100%采用風(fēng)力電腦。數(shù)據(jù)中心位于阿爾圖納附近,分兩階段建成,各5億美元,占地140萬(wàn)平方英尺。
阿爾圖納市所在的愛(ài)荷華州是多個(gè)數(shù)據(jù)中心的所在地,已經(jīng)有微軟、谷歌、LightEdge、Enseva等公司在此投資數(shù)據(jù)中心,主要原因在于愛(ài)荷華州的光纖資源豐富、水電資源豐富、地價(jià)低,自然災(zāi)難風(fēng)險(xiǎn)低,交通便利。
北卡羅來(lái)納州的數(shù)據(jù)中心是Facebook于2010年11月宣布建立的,當(dāng)時(shí)Facebook表示在5年內(nèi)給該數(shù)據(jù)中心投資4.5億美元。Facebook在官網(wǎng)上稱,這個(gè)位于北卡羅來(lái)州納福里斯特城的新數(shù)據(jù)中心的預(yù)期電源使用效率將在1.06到1.08之間。該數(shù)據(jù)中心***采用了Open Compute Project 2.0版本的網(wǎng)絡(luò)服務(wù)器,還***使用英特爾Sandy Bridge處理器的平臺(tái)。另外,新工程采用戶外空氣冷卻的設(shè)計(jì)方法,這次也是***的現(xiàn)場(chǎng)測(cè)試。
北卡羅來(lái)納州已經(jīng)吸引了蘋果、Google、美國(guó)運(yùn)通等公司在此地建立數(shù)據(jù)中心,估計(jì)除了地理優(yōu)勢(shì)因素,稅收上的優(yōu)惠以及低廉的水電費(fèi)也是因素之一。
俄勒岡州普林維爾的數(shù)據(jù)中心是Facebook于2011年8月宣布建立的。普林維爾的數(shù)據(jù)中心的面積有13萬(wàn)平米,占地達(dá)到80.9萬(wàn)平米,相當(dāng)于113個(gè)足球場(chǎng)的大小。其工程分為兩個(gè)階段完成,***階段已經(jīng)投入2.1億美元。此外,該數(shù)據(jù)中心當(dāng)時(shí)號(hào)稱是全球最節(jié)能的數(shù)據(jù)中心,它的數(shù)據(jù)中心 PUE(能耗效率)值達(dá)到了令人瞠目結(jié)舌的 1.07,遠(yuǎn)低于業(yè)界的平均水平 1.5(我國(guó)的平均水平為 2.2-3)。
俄勒岡州普林維爾的優(yōu)勢(shì)在于氣候宜人,電力價(jià)格低廉,而且政府還有減稅優(yōu)惠政策。
Facebook位于瑞典Lulea的數(shù)據(jù)中心則是Facebook在美國(guó)本土之外建立的***座數(shù)據(jù)中心,同時(shí)也是***個(gè)完全使用Facebook設(shè)計(jì)的服務(wù)器的數(shù)據(jù)中心。,并于2013年6月對(duì)外界公開(kāi)。
Facebook發(fā)言人認(rèn)為,由于Lulea這個(gè)地區(qū)氣溫高于30度的時(shí)間不超過(guò)24小時(shí),因此選擇在這里建造數(shù)據(jù)中心可以有效地減少一大筆散熱方面的支出。此外,Lulea河能為該地區(qū)提供充足的電力支持,F(xiàn)acebook無(wú)需為建立數(shù)據(jù)中心而重新設(shè)計(jì)電力供應(yīng)系統(tǒng)。
從公開(kāi)的數(shù)據(jù)來(lái)看,該數(shù)據(jù)中心是有史以來(lái)***效節(jié)能的數(shù)據(jù)中心。Lulea數(shù)據(jù)中心用于電力和冷卻的能量的比率為1.04:1,而一般的數(shù)據(jù)中心的比率是3:1。也就是說(shuō),Lulea數(shù)據(jù)中心要比一般的數(shù)據(jù)中心環(huán)保三倍左右。
Lulea的數(shù)據(jù)中心從服務(wù)器到配電系統(tǒng),幾乎所有技術(shù)都是基于OCP(Open Compute Project,OCP)設(shè)計(jì)。這些設(shè)計(jì)非常高效,F(xiàn)acebook已經(jīng)將它們公諸于眾,現(xiàn)在所有人都可以使用或者改進(jìn)這些設(shè)計(jì)。
新能源的利用
從上面的資料可以看出,facebook一直都在追求建立更高效更節(jié)能的數(shù)據(jù)中心,除了經(jīng)濟(jì)上的考慮之外(數(shù)據(jù)中心是能量消耗大戶),這可能也與之前被綠色和平組織批評(píng)有關(guān)系。綠色和平組織曾在2010年抨擊Facebook的能源政策,隨后Facebook就加大了在能源政策方面的投入,并且在綠色數(shù)據(jù)中心建設(shè)方面取得了長(zhǎng)足的進(jìn)步,也贏得了綠色和平組織贊揚(yáng)了Facebook在能源使用中保持透明度的做法。
前文提到的愛(ài)荷華州阿爾圖納市的數(shù)據(jù)中心將100%使用風(fēng)力電能就是Facebook在綠色能源方面的一個(gè)例子。而這也是Facebook第二座完全依賴可再生能源的數(shù)據(jù)中心,***座是瑞典Lulea的數(shù)據(jù)中心。Facebook的目標(biāo)是到2015年,可再生能源在數(shù)據(jù)中心的使用要占到25%。
瑞典Lulea的數(shù)據(jù)中心內(nèi)部的所有設(shè)備都是通過(guò)本地產(chǎn)生的水電能源來(lái)供電,這不僅是100%可再生能源,而且供應(yīng)量也非常可靠。Facebook的一份新聞稿表示,F(xiàn)acebook已經(jīng)減少了超過(guò)70%的備用發(fā)電機(jī)。
除了風(fēng)能,還有太陽(yáng)能。俄勒岡州普林維爾的數(shù)據(jù)中心就裝備了不少的太陽(yáng)能電池板。
俄勒岡州普林維爾的數(shù)據(jù)中心的太陽(yáng)能電池板
服務(wù)器與數(shù)據(jù)中心方案
2011年4月,F(xiàn)acebook宣布開(kāi)展一個(gè)開(kāi)放計(jì)算項(xiàng)目,計(jì)劃將Facebook在開(kāi)發(fā)服務(wù)器與數(shù)據(jù)中心過(guò)程中得出的技術(shù)規(guī)格與設(shè)計(jì)對(duì)外開(kāi)放,并于2011年公開(kāi)了底層服務(wù)器和數(shù)據(jù)中心的具體方案。具體包括服務(wù)器電源供應(yīng)、服務(wù)器機(jī)箱、服務(wù)器主板、服務(wù)器機(jī)柜、后備電源機(jī)柜規(guī)格,以及數(shù)據(jù)中心電力及機(jī)械系統(tǒng)規(guī)格的具體規(guī)格。(高效免費(fèi)的設(shè)備結(jié)構(gòu)設(shè)計(jì)開(kāi)放后,將會(huì)對(duì)惠普、戴爾、思科等產(chǎn)生威脅。)
摘抄如下:
服務(wù)器方面:
1、服務(wù)器使用1.2mm鍍鋅、防腐蝕鋼板,無(wú)前面板;
2、部分部件采用卡和連接:主板利用多個(gè)安裝孔,卡入機(jī)箱;硬盤使用咬合導(dǎo)軌,安裝在驅(qū)動(dòng)器托架上。一個(gè)單元只有一個(gè)接地螺絲。這使得Facebook可以在3分鐘內(nèi)搭建整臺(tái)服務(wù)器;
3、Facebook服務(wù)器高1.5U,比一般服務(wù)器高50%,空間更大,散熱也更快;
4、具有局域網(wǎng)重啟功能,可以讓系統(tǒng)管理員發(fā)送特定網(wǎng)絡(luò)指令,立即重啟服務(wù)器;
5、主板揚(yáng)聲器被替換為L(zhǎng)ED指示燈,以節(jié)省電源,服務(wù)器還提健康狀態(tài)指示燈;
6、同時(shí)支持交流和直流電源,使得服務(wù)器可以在停電時(shí)轉(zhuǎn)為直流后備電池供電;
7、使用Xeon 5500系列和5600系列兩種處理器,搭載英特爾主板,內(nèi)置英特爾5500 I/O Hub芯片,內(nèi)存***可擴(kuò)展至144GB。AMD的粉絲可以選擇兩個(gè)Magny-Cours 12核心或8核心處理器,搭配AMD SR5650芯片組,內(nèi)存***可擴(kuò)展至192GB。(這是2011年公布時(shí)候的數(shù)據(jù)。)
數(shù)據(jù)中心方面:
Facebook將這些方案都運(yùn)用到了位于俄勒岡州的普林維爾(Prineville)數(shù)據(jù)中心上。用了兩年的時(shí)間,從服務(wù)器到電池組再到后備服務(wù)器,F(xiàn)acebook致力于讓設(shè)備變得更加綠色、環(huán)保。比如,F(xiàn)acebook利用集成設(shè)計(jì),可以有效的降低能耗。房間內(nèi)的風(fēng)扇和服務(wù)器風(fēng)扇成對(duì)連接在一起。動(dòng)作感應(yīng)LED照明也可用于內(nèi)部照明。
整個(gè)數(shù)據(jù)中心的能耗按PUE(Power Usage Effectiveness,電能使用效率)衡量是1.07,大大低于美國(guó)環(huán)保署規(guī)定的***方法比值1.5。
Facebook的設(shè)計(jì)方案可以讓設(shè)備在更為潮濕的環(huán)境中運(yùn)行。普林維爾數(shù)據(jù)中心的設(shè)備運(yùn)行環(huán)境為30攝氏度、65%的相對(duì)濕度。這樣可以使Facebook依賴蒸發(fā)冷卻來(lái)降溫,而不需使用空調(diào)。其他建設(shè)工程方面的創(chuàng)新還包括,普林維爾數(shù)據(jù)中心使用277伏特的配電系統(tǒng),而一般數(shù)據(jù)中心使用的是208伏特的配電系統(tǒng)。Facebook的做法可以減少一個(gè)主變壓器,減少轉(zhuǎn)換時(shí)的能耗。在一般的數(shù)據(jù)中心中,電力轉(zhuǎn)換要損失22-25%的能量。在普林維爾只損失7%。
當(dāng)辦公室太冷的時(shí)候,F(xiàn)acebook還利用來(lái)自服務(wù)器的熱量加熱空氣。夏天,數(shù)據(jù)中心會(huì)向進(jìn)入室內(nèi)的暖空氣噴水降溫。同時(shí)Facebook數(shù)據(jù)中心的機(jī)箱和服務(wù)器設(shè)計(jì)也非常適合于集裝箱裝運(yùn),這樣可以減少運(yùn)輸中的浪費(fèi)。Facebook的方案盡可能挖掘這些服務(wù)器的潛能,使得它不需要在進(jìn)行基礎(chǔ)架構(gòu)的建設(shè)。