2016年12月20-22日，第十一屆中國(guó)IDC產(chǎn)業(yè)年度大典隆重召開(kāi)，阿里巴巴、萬(wàn)國(guó)數(shù)據(jù)、XDC+(江蘇恒云太)分別就數(shù)據(jù)中心建設(shè)實(shí)踐經(jīng)驗(yàn)進(jìn)行分享，下面就一起來(lái)看看他們是如何造就高逼格數(shù)據(jù)中心的：

[[180958]]

阿里巴巴

[[180959]]

如今，互聯(lián)網(wǎng)數(shù)據(jù)中心的主要特點(diǎn)包括規(guī)模大、變化快、高帶寬、高功率、高成本、高可靠性，那么根據(jù)這些特點(diǎn)又該如何來(lái)建設(shè)數(shù)據(jù)中心呢?

一、數(shù)據(jù)中心規(guī)模大：

近年來(lái)，隨著互聯(lián)網(wǎng)的快速發(fā)展，尤其是移動(dòng)互聯(lián)網(wǎng)的興起，推動(dòng)了互聯(lián)網(wǎng)數(shù)據(jù)中心規(guī)模和數(shù)量都在增加，加之互聯(lián)網(wǎng)集中度高，"二八"效應(yīng)非常明顯，更促進(jìn)了數(shù)據(jù)中心規(guī)模大這一特點(diǎn)。那么大規(guī)模數(shù)據(jù)中心該如何選擇、設(shè)計(jì)及運(yùn)營(yíng)呢?

數(shù)據(jù)中心選址：

單個(gè)點(diǎn)占用資源越來(lái)越多，選址越來(lái)越難選，符合條件的非常少;怎么辦?現(xiàn)在國(guó)內(nèi)，北京已經(jīng)在關(guān)注能耗，數(shù)據(jù)中心PUE要求1.5以下才能批準(zhǔn)。在國(guó)內(nèi)其他城市，更多的是靠自律。我們認(rèn)為數(shù)據(jù)中心選址應(yīng)盡可能少的占用資源，這是非常重要，如果我們不減少資源的占用，對(duì)于以后可持續(xù)發(fā)展是非常不利的。

數(shù)據(jù)中心設(shè)計(jì)：

數(shù)據(jù)中心架構(gòu)設(shè)計(jì)合理非常關(guān)鍵，方案設(shè)計(jì)精細(xì)化也很重要，任何不恰當(dāng)?shù)脑O(shè)計(jì)都會(huì)導(dǎo)致巨大代價(jià)。例如阿里張北數(shù)據(jù)中心，采用新風(fēng)和冷凍水系統(tǒng)，在張北這個(gè)地方其實(shí)是比較合適的，因?yàn)楫?dāng)?shù)厮Y源比較緊張。

數(shù)據(jù)中心運(yùn)營(yíng)：

數(shù)據(jù)中心規(guī)模大之后，這么大的增量和存量靠人肉肯定不行，自動(dòng)化、大數(shù)據(jù)運(yùn)營(yíng)、人工智能等等都很必要。

二、數(shù)據(jù)中心變化快：

現(xiàn)在這個(gè)時(shí)代，互聯(lián)網(wǎng)時(shí)代一個(gè)產(chǎn)品或業(yè)務(wù)的"存亡"和"爆發(fā)"都會(huì)在非常短的時(shí)間內(nèi)發(fā)生，用傳統(tǒng)的響應(yīng)方式已經(jīng)不能適應(yīng)互聯(lián)網(wǎng)的需要。

• IDC快速新建，快速擴(kuò)容，按需建設(shè)非常重要;
• 做到單元化、標(biāo)準(zhǔn)化和個(gè)性化、按需定制化會(huì)并存;
• 按照周期分解建設(shè)內(nèi)容，實(shí)現(xiàn)建設(shè)速度、建設(shè)成本和匹配需求的最佳結(jié)合;
• 對(duì)于規(guī)模應(yīng)用，整機(jī)架是非常好的選擇;

三、數(shù)據(jù)中心高可靠：

互聯(lián)網(wǎng)已經(jīng)涉及到民生，對(duì)于可靠性的要求不斷提高，互聯(lián)網(wǎng)數(shù)據(jù)中心的地位應(yīng)當(dāng)足夠重視。比如支付寶"5.27"、AWS的雷擊、微信的斷網(wǎng)等等影響都非常巨大。從技術(shù)來(lái)看，主要有三方面要求：供電、制冷、網(wǎng)絡(luò)。

• 供電系統(tǒng)：分布式供電減少影響面;加強(qiáng)柴發(fā)配置，減少外部依賴;
• 制冷系統(tǒng)：采用不間斷制冷技術(shù)及高可靠性的自控系統(tǒng);
• 網(wǎng)絡(luò)系統(tǒng)：網(wǎng)絡(luò)包括內(nèi)部和外部，內(nèi)部雙上聯(lián)/多上聯(lián);外部連接多路由;

四、數(shù)據(jù)中心高功率：

看過(guò)很多數(shù)據(jù)中心，大規(guī)模的建設(shè)都是16A、20A，這種更多考慮可能是建設(shè)的時(shí)候，利潤(rùn)率更高一點(diǎn)，或者是針對(duì)中小用戶。真正從用戶端來(lái)看，從互聯(lián)網(wǎng)大規(guī)模來(lái)看，性價(jià)比一定是非常低的，我們現(xiàn)在選擇高功率密度的機(jī)器一定是更劃算的。

五、數(shù)據(jù)中心高帶寬：

在云計(jì)算和大數(shù)據(jù)的推動(dòng)下，網(wǎng)絡(luò)發(fā)展速度非常快，東西流量翻倍，南北流量持續(xù)增加，短時(shí)間實(shí)現(xiàn)了百兆，千兆，10G，25G的跨越;用戶需求和流量推動(dòng)網(wǎng)絡(luò)架構(gòu)不斷演進(jìn)，未來(lái)會(huì)怎么樣?

國(guó)外互聯(lián)網(wǎng)巨頭紛紛開(kāi)啟自建傳輸和光纜，很可能成為未來(lái)趨勢(shì)，他們已經(jīng)建海底光纜了，像谷歌和亞馬遜，包括澳洲、歐洲和亞洲之間的互聯(lián)。

六、數(shù)據(jù)中心高成本：

狹義的數(shù)據(jù)中心，建設(shè)成本一般2~4萬(wàn)元/KW-IT，廣義的數(shù)據(jù)中心全壽命周期成本是其10倍以上，那么該如何降低成本：

• 最有效的方式是利用率提升(比如云計(jì)算、離線在線混部、 服務(wù)器負(fù)荷率、 機(jī)柜負(fù)荷率);
• 硬件性能提升，降低數(shù)據(jù)中心PUE，技術(shù)優(yōu)化降低冗余等等也是重要方法之一;
• 只盯著PUE一個(gè)指標(biāo)往往走向誤區(qū)，比如單純的提升溫度或降低數(shù)據(jù)中心冗余，這種絕對(duì)是得不償失的。

數(shù)據(jù)中心其實(shí)就是互聯(lián)網(wǎng)，快速變化的互聯(lián)網(wǎng)撞上了科技密集的IT業(yè)與傳統(tǒng)的機(jī)電行業(yè)，我們做的很多東西不一定是對(duì)的。我們?cè)诓粩嗟孛?，?jīng)常做很多決策，不一定讓大家都能夠理解得了，但是我們?nèi)匀粫?huì)在不斷的糾結(jié)中，找到平衡點(diǎn)。沿用阿里的話"夢(mèng)想還是要有的".

萬(wàn)國(guó)數(shù)據(jù)

[[180960]]

會(huì)上，萬(wàn)國(guó)數(shù)據(jù)高級(jí)副總裁陳怡琳重點(diǎn)解讀了高性能數(shù)據(jù)中心。因?yàn)榭蛻舻男枨?，因?yàn)樾枨蟮脑鲩L(zhǎng)，因?yàn)樾枨蟮牟町愋?，因?yàn)檎囊恍┲笇?dǎo)的原則，也因?yàn)楦?jìng)爭(zhēng)的環(huán)境，也就出現(xiàn)了談到的高性能數(shù)據(jù)中心，談到高性能數(shù)據(jù)中心該如何建設(shè)?

一、高性能數(shù)據(jù)中心有五個(gè)特點(diǎn)：

• 高等級(jí)：高等級(jí)有一個(gè)特色，今天客戶在每一個(gè)數(shù)據(jù)中心里尋找擴(kuò)展，不僅在當(dāng)?shù)?，還在一個(gè)城市里尋找2到3個(gè)點(diǎn)的擴(kuò)展，除此以外在不同城市之間尋找擴(kuò)展。這就形成了數(shù)據(jù)中心集群的要求。對(duì)于高等級(jí)的要求也是有一些規(guī)格認(rèn)證的要求。比如說(shuō)有ISO的要求、TRA的要求、UPtime的要求，都形成一系列的高等級(jí)的定義。
• 高密度：目前為止8000瓦變成很常見(jiàn)的規(guī)模，未來(lái)10到12千瓦也是很常見(jiàn)的需求。這對(duì)數(shù)據(jù)中心的運(yùn)營(yíng)和能耗都帶來(lái)了一定的改變，由此在進(jìn)行定制化和模塊化。
• 高能效：阿里千島湖的數(shù)據(jù)中心年平均的密度是1.3，也是為行業(yè)樹(shù)立了標(biāo)桿，我們也有很多的技術(shù)手段、運(yùn)營(yíng)手段來(lái)實(shí)現(xiàn)。對(duì)于數(shù)據(jù)中心在暖通方面就提出了挑戰(zhàn)。更宏觀的是數(shù)據(jù)中心的選址，包括對(duì)國(guó)家電力的政策都有很大的依賴性。
• 模塊化與定制化：今天運(yùn)行的數(shù)據(jù)中心規(guī)格在變化，除了從單機(jī)柜到樓宇的交付不一樣，有很多產(chǎn)品規(guī)格的要求，比如一路高壓直流、微模塊，對(duì)制冷和電力提出了一系列設(shè)計(jì)的要求。

二、數(shù)據(jù)中心全生命周期的覆蓋和改革：

• 數(shù)據(jù)中心選址：選址非常重要也非常復(fù)雜，50%的數(shù)據(jù)中心在一線城市，為什么?是因?yàn)檫@里有很多客戶的應(yīng)用，比如滴滴打車2秒鐘就要給出反饋，你的反應(yīng)必須要非?？?。這就影響到客戶使用的體驗(yàn)和網(wǎng)絡(luò)的部署。今天中國(guó)電力的穩(wěn)定性和人才的問(wèn)題導(dǎo)致你不得不選擇在一線城市。
• 數(shù)據(jù)中心設(shè)計(jì)：更多的談一談可靠性和性價(jià)比的平衡。數(shù)據(jù)中心有一個(gè)造價(jià)的理念，我們的每一個(gè)造價(jià)師要盡量的把成本用足，但還要平衡可靠性的因素，平衡將來(lái)發(fā)展的因素，平衡將來(lái)技術(shù)革新的因素。
• 數(shù)據(jù)中心建設(shè)：一個(gè)改造的數(shù)據(jù)中心5、6個(gè)月可以完成，從土建開(kāi)始12個(gè)月左右。跑工地你會(huì)發(fā)現(xiàn)中國(guó)基建的環(huán)境差異性非常大，所以建設(shè)第一點(diǎn)談的就是質(zhì)量控制 ，這是跟整個(gè)行業(yè)的素質(zhì)有關(guān)的。二是變更管理。造的過(guò)程中需求會(huì)不斷的變化，設(shè)備已經(jīng)買好了但是需求發(fā)生了變化，怎么平衡好。三是成本的管控。
• 數(shù)據(jù)中心測(cè)試驗(yàn)收：涉及到設(shè)備的場(chǎng)驗(yàn)，現(xiàn)場(chǎng)的場(chǎng)驗(yàn)，涉及到設(shè)備安裝以后單機(jī)的調(diào)試，也涉及到所有系統(tǒng)安裝好以后聯(lián)機(jī)的調(diào)試。這些環(huán)節(jié)可以幫助我們把控好質(zhì)量的環(huán)節(jié)，確保數(shù)據(jù)中心投放的時(shí)候是一個(gè)安全有保障的數(shù)據(jù)中心。
• 數(shù)據(jù)中心運(yùn)維：運(yùn)維平臺(tái)涉及到內(nèi)部的管理，涉及到給客戶提供的服務(wù)。無(wú)論是從流程還是技術(shù)方面以及人員方面都在非常緊密的耦合，在不斷的優(yōu)化調(diào)整，形成了我們非常強(qiáng)的核心競(jìng)爭(zhēng)力。

數(shù)據(jù)中心并不是冷冰冰的，最后是以服務(wù)的形式提供給客戶和合作伙伴。

XDC+(江蘇恒云太)

[[180961]]

從建設(shè)的階段去做一個(gè)高可靠的數(shù)據(jù)中心。數(shù)據(jù)中心的可靠性，從我們的理解來(lái)說(shuō)分幾塊：物理可靠性;電力可靠性;暖通可靠性;控制可靠性。

一、物理可靠性：

• 通過(guò)將數(shù)據(jù)中心的物流、人流進(jìn)行分離，通過(guò)分離人與物進(jìn)入數(shù)據(jù)中心路徑，保證了整體的運(yùn)營(yíng)安全;
• 在物理結(jié)構(gòu)上，實(shí)施全路徑物理隔離，從電纜到管道保證無(wú)交錯(cuò)點(diǎn)，并用混凝土墻進(jìn)行隔離;
• 在數(shù)據(jù)中心建設(shè)上做到了全方位防入侵，從交通流的組織上面做到全面的防入侵，在將整個(gè)樓的外部墻體結(jié)構(gòu)加固為防爆墻;
• 通過(guò)對(duì)外來(lái)人員進(jìn)行全路徑監(jiān)控，并通過(guò)自主研發(fā)的分析系統(tǒng)進(jìn)行解析，分析數(shù)據(jù)中心是否存在危險(xiǎn)，在通過(guò)其與報(bào)警系統(tǒng)聯(lián)動(dòng)，將分析結(jié)果通知數(shù)據(jù)中心運(yùn)營(yíng)人員。

二、電力可靠性：

• 市電接入，數(shù)據(jù)中心的電力主體為10KV母線，并為其設(shè)置了兩個(gè)母聯(lián)開(kāi)關(guān)，將其分為紅色跟藍(lán)色，放置于不同的房間內(nèi)，保證單獨(dú)電力維護(hù)不會(huì)影響到整體數(shù)據(jù)中心的電力設(shè)施，保障了整體的安全可靠性。
• 柴油發(fā)電機(jī)，在數(shù)據(jù)中心柴發(fā)方面，采用N+1或者N+2的形式，通過(guò)兩段母線進(jìn)行引入，保障數(shù)據(jù)中心電力的高可靠性;
• UPS，在數(shù)據(jù)中心電力運(yùn)維方面，整個(gè)數(shù)據(jù)中心采用統(tǒng)一的UPS，以保障任何一臺(tái)UPS出現(xiàn)故障，都會(huì)有備件的UPS來(lái)支撐數(shù)據(jù)中心業(yè)務(wù)連續(xù)性，并為每組數(shù)據(jù)中心機(jī)房模塊配備獨(dú)立的2NUPS，以保障電力設(shè)施的可靠性;在整個(gè)系統(tǒng)架構(gòu)來(lái)說(shuō)，通過(guò)使用傳統(tǒng)的2NUPS代替高壓直流技術(shù)，并用兩組獨(dú)立的2N UPS代載冷通道。

三、暖通可靠性：

• 受墻體結(jié)構(gòu)和樓房?jī)?nèi)部建筑的影響，局部熱點(diǎn)是數(shù)據(jù)中心建設(shè)的重要問(wèn)題，為了保障數(shù)據(jù)中心暖氣流通性，將數(shù)據(jù)中心空間設(shè)置為無(wú)柱結(jié)構(gòu)，并將頂板降低一米，保障物流和人流通道氣流順暢平穩(wěn);
• 在末端采用2N結(jié)構(gòu)空調(diào);
• 在管路上設(shè)計(jì)為單側(cè)環(huán)網(wǎng)模式;
• 在數(shù)據(jù)中心制冷設(shè)計(jì)方面，采用四冷凍站結(jié)構(gòu)，實(shí)現(xiàn)各模塊數(shù)據(jù)中心之間冷凍站的共用，提高了制冷系統(tǒng)的運(yùn)行效率;
• 數(shù)據(jù)中心冷凍站管理方面采用DCS控制系統(tǒng)，冷機(jī)的控制跟冷泵的控制采用了獨(dú)立控制系統(tǒng)，將四個(gè)冷凍站進(jìn)行環(huán)狀連接，單體的冷凍站可為任意末端供水，提高了數(shù)據(jù)中心制冷系統(tǒng)的運(yùn)行效率;
• 采用數(shù)據(jù)中心獨(dú)特的補(bǔ)水系統(tǒng)，通過(guò)過(guò)濾使水質(zhì)達(dá)到飲用級(jí)標(biāo)準(zhǔn);
• 在排水系統(tǒng)方面，為管道做全路徑漏水檢測(cè)，并將其記錄在XDC控制系統(tǒng)，與報(bào)警系統(tǒng)互聯(lián)，及時(shí)發(fā)現(xiàn)問(wèn)題，為機(jī)房模塊設(shè)置了多環(huán)路冗余排水系統(tǒng)。

四、控制可靠性：

• 控制系統(tǒng)分為采集系統(tǒng)和高頻率的采集，傳統(tǒng)的采集系統(tǒng)將所有的數(shù)據(jù)上傳至PLC，統(tǒng)一存儲(chǔ)、查找與管理，高頻率的采集是將重要數(shù)據(jù)著重采集，并將數(shù)據(jù)獨(dú)立存儲(chǔ)，數(shù)據(jù)不再存儲(chǔ)在原來(lái)工業(yè)的數(shù)據(jù)庫(kù)里，而是存在MYsql的數(shù)據(jù)系統(tǒng)里;
• 在配電側(cè)采用全冗余的控制器，并擁有國(guó)家認(rèn)證的IC61850標(biāo)準(zhǔn)，二次泵上采用獨(dú)立的冗余器，并為數(shù)據(jù)中心做了獨(dú)立的分析系統(tǒng)，從整體的配電系統(tǒng)上的儀表、脫口到暖通設(shè)備的傳感器，統(tǒng)一對(duì)數(shù)據(jù)中心進(jìn)行了全系統(tǒng)的波形捕捉，所有儀表支持每波63次采集的頻率，收集的數(shù)據(jù)統(tǒng)一存儲(chǔ)近HadOOP里，加強(qiáng)了配電系統(tǒng)數(shù)據(jù)的安全性;
• 決策系統(tǒng)基于在整個(gè)配電系統(tǒng)之上的，決策系統(tǒng)會(huì)基于多個(gè)數(shù)據(jù)中心的數(shù)據(jù)分析進(jìn)行決策，將所有數(shù)據(jù)中心控制系統(tǒng)統(tǒng)一管路，實(shí)現(xiàn)了全遠(yuǎn)程的控制;
• 其次將數(shù)據(jù)中心所有的系統(tǒng)做到了標(biāo)準(zhǔn)化，每個(gè)數(shù)據(jù)中心軟件是恒定的，每當(dāng)總控制系統(tǒng)進(jìn)行軟件升級(jí)的時(shí)候，對(duì)它控制邏輯進(jìn)行升級(jí)的時(shí)候，會(huì)同步升級(jí)到每一個(gè)數(shù)據(jù)中心的控制系統(tǒng)，來(lái)保障整體系統(tǒng)的軟件版本始終是統(tǒng)一的。

五、網(wǎng)絡(luò)可靠性：

1. 在每個(gè)數(shù)據(jù)中心都去架設(shè)波分設(shè)備，而且做到了80×100G波分的技術(shù)，以完成數(shù)據(jù)中心建設(shè)免費(fèi)的互聯(lián);
2. 另外通過(guò)一些高性能的路由設(shè)備，實(shí)現(xiàn)全網(wǎng)帶寬超過(guò)1.5TB的能力。通過(guò)國(guó)內(nèi)運(yùn)營(yíng)商，以及國(guó)際運(yùn)營(yíng)商，建立超過(guò)20個(gè)TB帶寬，來(lái)保障整體的電路可靠性。

以上整理，部分演講內(nèi)容有刪減!