[[151855]]

分享人：

　　蘇永華：盛大游戲高級(jí)研究員，負(fù)責(zé)盛大游戲及G云網(wǎng)絡(luò)架構(gòu)規(guī)劃及運(yùn)維。

　　在此之前先后就職于中國(guó)郵政負(fù)責(zé)綠卡系統(tǒng)運(yùn)維、騰訊公司負(fù)責(zé)數(shù)據(jù)中心的建設(shè)及規(guī)劃。在網(wǎng)絡(luò)、數(shù)據(jù)中心規(guī)劃、建設(shè)方面擁有比較豐富的經(jīng)驗(yàn)。

　　分享實(shí)錄

　　目前市面上的云產(chǎn)品層出不窮，對(duì)于用戶(hù)來(lái)說(shuō)選擇一款適合于自己業(yè)務(wù)的云至關(guān)重要。這要求用戶(hù)選擇的云產(chǎn)品除了與自己的業(yè)務(wù)需求契合度高之外，還要運(yùn)行穩(wěn)定、可用率高。

　　對(duì)于各種云平臺(tái)來(lái)講除了技術(shù)上的差異外，有一點(diǎn)是相同的，他們的資源都是部署在IDC機(jī)房和運(yùn)營(yíng)商網(wǎng)絡(luò)上的。因此選擇一個(gè)穩(wěn)定的IDC和網(wǎng)絡(luò)供應(yīng)商來(lái)承載各自的云平臺(tái)是各云服務(wù)提供商的首要任務(wù)。

　　之前力哥已share過(guò)G云COO馮總的相關(guān)IDC選擇的文章，在文中著重對(duì)個(gè)運(yùn)營(yíng)商網(wǎng)絡(luò)和節(jié)點(diǎn)做了闡述，因此，我會(huì)在其他方面多說(shuō)一點(diǎn)，經(jīng)驗(yàn)不足支持請(qǐng)大家多多包涵。

　　選擇運(yùn)營(yíng)商骨干節(jié)點(diǎn)所在地區(qū)的IDC、網(wǎng)絡(luò)一般為單線(xiàn)，電信和聯(lián)通骨干節(jié)點(diǎn)所在地一般都是省會(huì)城市，IDC和網(wǎng)絡(luò)普遍具有以下特點(diǎn)：

　　1.建設(shè)等級(jí)高，基礎(chǔ)設(shè)施好：所建設(shè)的IDC等級(jí)相對(duì)較高，屬于運(yùn)營(yíng)商4星級(jí)以上機(jī)房，電力、空調(diào)、柴發(fā)等基礎(chǔ)設(shè)施都具有N+1或N+N的冗余，高可用性較好。一般不會(huì)因基礎(chǔ)設(shè)施問(wèn)題導(dǎo)致云平臺(tái)服務(wù)小時(shí)級(jí)別的中斷。

　　2.運(yùn)維經(jīng)驗(yàn)豐富、運(yùn)維力量強(qiáng)：由于是骨干節(jié)點(diǎn)，IDC和網(wǎng)絡(luò)的重要性較強(qiáng)，運(yùn)營(yíng)商會(huì)配備本區(qū)域最富有經(jīng)驗(yàn)的維護(hù)人員團(tuán)隊(duì)，因此無(wú)論基礎(chǔ)設(shè)備問(wèn)題還是網(wǎng)絡(luò)方面的問(wèn)題，均可以得到比較迅速的定位或者協(xié)調(diào)資源來(lái)解決。

　　3.網(wǎng)絡(luò)接入層級(jí)高、擴(kuò)展方便：網(wǎng)絡(luò)方面，骨干節(jié)點(diǎn)地區(qū)IDC一般一跳就會(huì)至省級(jí)或集團(tuán)骨干網(wǎng)，甚至有的重點(diǎn)IDC核心設(shè)備直連骨干網(wǎng)C級(jí)設(shè)備。與其他地區(qū)相比減少了很多中間傳輸線(xiàn)路，降低了故障率且在帶寬擴(kuò)展性也非常的便利。

　　4.運(yùn)營(yíng)規(guī)范、服務(wù)到位：與其他地區(qū)相比運(yùn)營(yíng)IDC的時(shí)間都比較長(zhǎng)而且有比較規(guī)范和完善的SLA，在服務(wù)方面比較到位?？梢詾榭蛻?hù)省卻大量的前期溝通成本。

　　從客戶(hù)群體來(lái)看排名靠前的互聯(lián)網(wǎng)企業(yè)例如BAT等都在這些地區(qū)有大量的部署，經(jīng)過(guò)BAT對(duì)運(yùn)營(yíng)商服務(wù)質(zhì)量、IDC基礎(chǔ)條件、運(yùn)營(yíng)規(guī)范等方面的推動(dòng)，運(yùn)營(yíng)商在服務(wù)意思和安全防范上無(wú)論從橫向還是縱向來(lái)講都是比較領(lǐng)先的。

　　G云部署在南京、上海、天津、廣州等地機(jī)房都屬于此類(lèi)型的IDC，IDC和網(wǎng)絡(luò)運(yùn)行多年都非常平穩(wěn)，每年基本可達(dá)到99.95%的可用率。

　　內(nèi)容包括三個(gè)主題：

　　◆BGP機(jī)房和網(wǎng)絡(luò)的選擇

　　◆BGP在G云中的應(yīng)用

　　◆墨菲定律對(duì)運(yùn)維的啟示

　　一、BGP機(jī)房和網(wǎng)絡(luò)的選擇

　　BGP網(wǎng)絡(luò)融合了三大運(yùn)營(yíng)商甚至更多運(yùn)營(yíng)商線(xiàn)路，既可以解決國(guó)內(nèi)運(yùn)營(yíng)商之間互聯(lián)互通問(wèn)題，也有效解決了有些業(yè)務(wù)對(duì)于多IP多線(xiàn)路架構(gòu)上的不支持。因此，對(duì)于用戶(hù)在不同時(shí)間段多運(yùn)營(yíng)商無(wú)縫接入的手游等類(lèi)型業(yè)務(wù)特別適合。但是因BGP網(wǎng)絡(luò)融合了多運(yùn)營(yíng)商線(xiàn)路，故對(duì)于網(wǎng)絡(luò)故障率和故障后產(chǎn)生的影響都增大了很多，選擇一個(gè)比較靠譜的BGP機(jī)房和網(wǎng)絡(luò)非常重要!

　　對(duì)于BGP實(shí)現(xiàn)方式來(lái)講，國(guó)內(nèi)95%以上的BGP線(xiàn)路都不是全網(wǎng)穿透式BGP，一部分是與單個(gè)運(yùn)營(yíng)商網(wǎng)內(nèi)BGP廣播互聯(lián)，一般是與運(yùn)營(yíng)商進(jìn)行靜態(tài)廣播完成的；有的線(xiàn)路是采用本地運(yùn)營(yíng)商的資源，有的則是通過(guò)長(zhǎng)途鏈路從外地引入至本地的。因此不同的方式、不同的線(xiàn)路資源對(duì)于網(wǎng)絡(luò)的可用性、價(jià)格都影響較大。云平臺(tái)對(duì)BGP機(jī)房和網(wǎng)絡(luò)的選擇主要注意以下幾個(gè)方面：

　　1.BGP機(jī)房的選擇---機(jī)房等級(jí)高、基礎(chǔ)設(shè)施有冗余

　　國(guó)內(nèi)目前有能力承建IDC并很好的對(duì)外服務(wù)的運(yùn)營(yíng)商除三大基礎(chǔ)運(yùn)營(yíng)商外，僅有世紀(jì)互聯(lián)、鵬博士、萬(wàn)國(guó)數(shù)據(jù)等少數(shù)運(yùn)營(yíng)商有實(shí)力。其他的二級(jí)運(yùn)營(yíng)商一般都是租用或與基礎(chǔ)運(yùn)營(yíng)商合作的方式來(lái)發(fā)展BGP機(jī)房業(yè)務(wù)，為了降低成本有些運(yùn)營(yíng)時(shí)間較久或建設(shè)等級(jí)不高的機(jī)房會(huì)推向市場(chǎng)。這些機(jī)房的基礎(chǔ)設(shè)施都比較老化甚至一些關(guān)鍵設(shè)施如UPS等都無(wú)冗余，運(yùn)營(yíng)隱患非常大，因此在選擇BGP機(jī)房時(shí)要注意IDC運(yùn)營(yíng)的年限、建設(shè)的等級(jí)和關(guān)鍵基礎(chǔ)設(shè)施的冗余。

　　2.BGP網(wǎng)絡(luò)的選擇---覆蓋好、本地線(xiàn)路資源

　　目前BGP網(wǎng)絡(luò)覆蓋全國(guó)資源較好的的確是北京，北京的基礎(chǔ)運(yùn)營(yíng)商相對(duì)比較開(kāi)放也是BGP網(wǎng)絡(luò)發(fā)展和運(yùn)營(yíng)最好的地區(qū)。廣東地區(qū)發(fā)展次之。為保證BGP網(wǎng)絡(luò)的品質(zhì)，最好選擇北京當(dāng)?shù)鼗A(chǔ)運(yùn)營(yíng)商廣播接入的運(yùn)營(yíng)商。二級(jí)運(yùn)營(yíng)商為了節(jié)省成本或規(guī)避當(dāng)?shù)剡\(yùn)營(yíng)商的接入限制，有些線(xiàn)路資源從河北等地調(diào)度至北京，或把北京等地的資源調(diào)度至外地使用。除了造成延時(shí)大增外，還會(huì)有長(zhǎng)途鏈路傳輸上的不可靠等隱患。這些都可以通過(guò)網(wǎng)絡(luò)檢測(cè)工具ping、tracert路由分析來(lái)判斷線(xiàn)路資源是否屬于本地。

　　3.客戶(hù)群體高端或垂直，防Ddos攻擊能力強(qiáng)

　　BGP網(wǎng)絡(luò)因成本、資源等原因抗Ddos攻擊能力比較弱，目前行業(yè)內(nèi)BGP機(jī)房防Ddos的能力一般在5G左右，目前國(guó)內(nèi)的攻擊成本較低，因此現(xiàn)在網(wǎng)絡(luò)遭受Ddos等安全攻擊已成為常態(tài)。對(duì)于BGP運(yùn)營(yíng)商來(lái)說(shuō)機(jī)房?jī)?nèi)客戶(hù)的規(guī)模和其業(yè)務(wù)的合規(guī)性對(duì)于減少Ddos攻擊數(shù)量有很大作用。

　　目前G云平臺(tái)一般選擇散戶(hù)少、垂直用戶(hù)多的BGP運(yùn)營(yíng)商作為合作伙伴，傳奇、九陰等眾多對(duì)端游、手游對(duì)網(wǎng)絡(luò)要求較高的業(yè)務(wù)都在上面運(yùn)行的良好。

　　二、BGP在G云中的應(yīng)用

　　1.BGP簡(jiǎn)介

　　BGP是一種路由協(xié)議，目前internet上大型網(wǎng)絡(luò)或者機(jī)構(gòu)運(yùn)行的協(xié)議絕大多數(shù)都是BGP，他協(xié)議傳輸可靠，更新消耗小，而且具備豐富的路由選擇的策略，能夠支持?jǐn)?shù)十萬(wàn)甚至百萬(wàn)路由條路。因此在面臨多出口路徑選擇且路由條路眾多的情景，一般情況下都是選擇使用BGP協(xié)議。

　　2.運(yùn)營(yíng)商BGP線(xiàn)路的那些事

　　由于國(guó)內(nèi)多運(yùn)營(yíng)商的存在及互聯(lián)互通問(wèn)題，很多公司基于業(yè)務(wù)的特點(diǎn)希望所在的數(shù)據(jù)中心網(wǎng)絡(luò)能夠覆蓋越多用戶(hù)越好，且希望架構(gòu)簡(jiǎn)單。因此選擇多線(xiàn)路接入的BGP資源成為其必然選擇。就運(yùn)營(yíng)商而言目前IDC出口類(lèi)型主要分以下幾種：　

　　第一種：靜態(tài)鏈路，通過(guò)靜態(tài)路由與運(yùn)營(yíng)商互聯(lián)，運(yùn)營(yíng)商PE設(shè)備為城域網(wǎng)級(jí)別設(shè)備，這種方式最簡(jiǎn)單，而且價(jià)格便宜，一般為十幾元至一百多元每兆，缺點(diǎn)是：無(wú)法穿透其他運(yùn)營(yíng)商且無(wú)法根據(jù)路由權(quán)值做路由選路策略?！　?/p>

#p#

　　第二種BGP廣播鏈路：與運(yùn)營(yíng)商進(jìn)行對(duì)等互聯(lián)BGP連接，PE設(shè)備為骨干設(shè)備。需要擁有自己的IP地址和AS號(hào)，優(yōu)勢(shì)是，可以接受運(yùn)營(yíng)商的國(guó)內(nèi)所有路由及發(fā)送自己的公網(wǎng)業(yè)務(wù)路由，豐富路由策略權(quán)值做路由調(diào)整使用。

　　這種方式鏈路租費(fèi)和廣播費(fèi)用昂貴，且需要強(qiáng)大的運(yùn)營(yíng)商關(guān)系。每兆價(jià)格在幾百元甚至千元。

　　第三種：靜態(tài)代播，靜態(tài)鏈路的衍生版本，通過(guò)靜態(tài)路由與運(yùn)營(yíng)商互聯(lián)，接入PE設(shè)備為城域網(wǎng)級(jí)別設(shè)備，運(yùn)營(yíng)商用靜態(tài)路由指入互聯(lián)，并用OSPF重分布將靜態(tài)路由廣播至全網(wǎng)，要求接入商必須有自己的ip地址。

　　此種方式在操作時(shí)，在靜態(tài)鏈路的價(jià)格上還要付費(fèi)給運(yùn)營(yíng)商IP廣播費(fèi)用一般為十幾至幾十元每IP、每月。此種方式也無(wú)法靈活的根據(jù)路由的權(quán)值做路由的選路。

　　各機(jī)房間采用BGP協(xié)議，方便路由靈活、敏捷的切換及多協(xié)議的擴(kuò)展。對(duì)于一些較為邊緣的機(jī)房則采用gre over ipsec的方式接入G云骨干網(wǎng)核心。G云機(jī)房還在根據(jù)業(yè)務(wù)的發(fā)展，與運(yùn)營(yíng)商進(jìn)行BGP互聯(lián)，建設(shè)自有的BGP出口資源。

　　由于BGP協(xié)議和資源使用方面相對(duì)都比較成熟了，相關(guān)的優(yōu)缺點(diǎn)和走過(guò)的艱辛就不在此多說(shuō)，因此在此僅僅與大家分享一下機(jī)房之間gre over ipsec備份線(xiàn)路互聯(lián)時(shí)值得注意的點(diǎn)：

　　1.MTU問(wèn)題，機(jī)房間做了GRE IPSEC后，數(shù)據(jù)包頭大小是有變化的，需要考慮GRE和ipsec對(duì)包頭的大小的影響，因此在內(nèi)網(wǎng)傳輸數(shù)據(jù)或業(yè)務(wù)使用時(shí)一定要注意數(shù)據(jù)包分片問(wèn)題，及時(shí)調(diào)整系統(tǒng)或者網(wǎng)絡(luò)設(shè)備的MTU值。

　　2.Ipsec加密對(duì)網(wǎng)絡(luò)設(shè)備是有消耗的，一般來(lái)說(shuō)對(duì)數(shù)據(jù)進(jìn)行des加密，對(duì)于cisco3945E設(shè)備，其效率是3des的4倍，當(dāng)cisco 3945E運(yùn)行 IPsec時(shí)；單向加或解密延時(shí)2.5ms，In+Out加解密延5ms，兩端雙向10ms ，ciscoASR路由器IPsec無(wú)延遲。Cisco 3945E 采用ESP-DES加密時(shí)內(nèi)存占650M，CPU 50%。因此請(qǐng)大家在實(shí)施是根據(jù)數(shù)據(jù)中心在內(nèi)網(wǎng)中的定位和需求靈活的對(duì)設(shè)備進(jìn)行選型。

　　三、墨菲定律對(duì)運(yùn)維的啟示

　　二十世紀(jì)西方文化中最杰出的三大發(fā)現(xiàn)就是墨菲定律、帕金森原理、彼得定理了，其中墨菲定律的主要意思是只要事情存在問(wèn)題，他總會(huì)發(fā)生。我和很多朋友在數(shù)據(jù)中心和網(wǎng)絡(luò)、系統(tǒng)崗位掙扎多年，對(duì)此感受頗深，也有相當(dāng)多的案例可以佐證。先說(shuō)一個(gè)近期的案例，一朋友在機(jī)房搬遷時(shí)，大部分工作都操作完畢，最后僅僅是Ddos安全設(shè)備未與安全同事確認(rèn)部署效果，加上連續(xù)奮戰(zhàn)太累就先回去休息了，以為安全攻擊是較小概率事件，因此即時(shí)有問(wèn)題，下午也可以很快搞定。結(jié)果在上午休息過(guò)程中，該機(jī)房某款業(yè)務(wù)就遭受到數(shù)次了大流量Ddos攻擊，導(dǎo)致整機(jī)房業(yè)務(wù)受損嚴(yán)重。

　　近來(lái)的Ctrip事件、青云、阿里云運(yùn)營(yíng)事件的產(chǎn)生從某種角度來(lái)說(shuō)都有墨菲定律的影子。因此對(duì)于我們來(lái)講主要有以下啟示：

　　1.重視細(xì)節(jié)、重視流程

　　無(wú)論做變更操作還是版本發(fā)布及其他運(yùn)維操作，在細(xì)心的同時(shí)嚴(yán)格按照流程和規(guī)范操作，比如小到變更流程、回退操作，發(fā)布流程大到運(yùn)營(yíng)管理和項(xiàng)目管理，使規(guī)范流程的意識(shí)深深的烙印在心里。無(wú)論是人為操作或者系統(tǒng)自動(dòng)操作都有出紕漏的可能，按照規(guī)范流程操作可以有效的保護(hù)我們，使我們免于背負(fù)不必要的黑鍋。

　　2.要有樂(lè)觀積極心態(tài)，千萬(wàn)不能受負(fù)面情緒影響

　　在做運(yùn)維過(guò)程中，任何操作都是戰(zhàn)戰(zhàn)兢兢、小心翼翼，若沒(méi)有積極樂(lè)觀的心態(tài)和強(qiáng)大的自信心，估計(jì)做不了幾年運(yùn)維，精神上就無(wú)法負(fù)荷了，肯定會(huì)被壓垮，從而會(huì)導(dǎo)致更大的錯(cuò)誤出現(xiàn)，乃至影響到自身的生活。因此，我們必須要有積極的心理暗示，強(qiáng)大的自信心來(lái)面對(duì)我們的工作，甚至客戶(hù)、老板，只有這樣才能在工作中游刃有余、穩(wěn)步推動(dòng)。也希望各位做運(yùn)維的兄弟能夠團(tuán)結(jié)起來(lái)，進(jìn)行資源、信息、知識(shí)共享降低運(yùn)維的門(mén)檻。

　　提問(wèn)環(huán)節(jié)：

　　問(wèn)題1：運(yùn)營(yíng)商BGP線(xiàn)路里面，類(lèi)型3和1相比的優(yōu)勢(shì)在哪？

　　答：類(lèi)型1是目前單線(xiàn)或者雙線(xiàn)機(jī)房常用的方式就是與運(yùn)營(yíng)山谷進(jìn)行靜態(tài)路由方式互聯(lián)就是我們所謂的雙線(xiàn)雙IP，類(lèi)型3是所謂的假bgp，即一個(gè)IP分別讓幾個(gè)運(yùn)營(yíng)商進(jìn)行靜態(tài)網(wǎng)內(nèi)代播，運(yùn)營(yíng)商之間不能穿越。

　　問(wèn)題2：有無(wú)做過(guò)TCP OVER ANYCAST這種網(wǎng)絡(luò)架構(gòu)的測(cè)試？

　　答：暫時(shí)沒(méi)有進(jìn)行測(cè)試，后續(xù)會(huì)有計(jì)劃對(duì)DNS over anycast的技術(shù)進(jìn)行研究，屆時(shí)可以一起交流。

　　問(wèn)題3：你們租機(jī)房的適合會(huì)考慮備份系統(tǒng)有效性嗎?

　　答：備份系統(tǒng)有效性更多是從業(yè)務(wù)層面驗(yàn)證，對(duì)于基礎(chǔ)性機(jī)房選擇的話(huà)更多的我們會(huì)從基礎(chǔ)設(shè)施(電、制冷、柴發(fā))和網(wǎng)絡(luò)穩(wěn)定性去考慮。目前對(duì)于重要的業(yè)務(wù)系統(tǒng)例如計(jì)費(fèi)認(rèn)證類(lèi)型的一般在同城都有災(zāi)備，而且同城各機(jī)房間會(huì)采用裸光纖進(jìn)行環(huán)狀互聯(lián)，以保證關(guān)鍵數(shù)據(jù)傳輸?shù)母呖捎眯浴?/p>