嘉賓介紹

　　李洪亮，奇虎360網(wǎng)絡(luò)運(yùn)維負(fù)責(zé)人。2007年加入360公司，目前已有11年的網(wǎng)絡(luò)與網(wǎng)絡(luò)安全工作經(jīng)驗(yàn)，擁有CISSP和CCNP證書，帶領(lǐng)團(tuán)隊(duì)實(shí)現(xiàn)了奇虎360網(wǎng)絡(luò)架構(gòu)從1000臺(tái)服務(wù)器到10萬臺(tái)服務(wù)器的跨越式發(fā)展。

　　在我2007年加入360公司的時(shí)候，360公司的服務(wù)器數(shù)量是1000臺(tái)，經(jīng)過不同階段的發(fā)展，現(xiàn)在已經(jīng)達(dá)到了10萬臺(tái)服務(wù)器的規(guī)模。下面，我按照公司服務(wù)器發(fā)展的不同階段，分享在網(wǎng)絡(luò)建設(shè)和運(yùn)維過程中遇到的哪些挑戰(zhàn)、陷阱、經(jīng)驗(yàn)和收獲。

[[147570]]

　　階段一、1-1000臺(tái)服務(wù)器規(guī)模

　　1.需求：奇虎前期做的是社區(qū)搜索，規(guī)模不大。業(yè)務(wù)部門的需求是網(wǎng)絡(luò)能夠通暢運(yùn)行就可以。

　　2.人員：沒有專職的網(wǎng)絡(luò)工程師

　　3.架構(gòu)：核心與接入的二層結(jié)構(gòu)，我們采用的是星型結(jié)構(gòu)。

　　4.挑戰(zhàn)：工作量大，各方面的工作都要接觸。

　　5.陷阱：有缺陷的網(wǎng)絡(luò)設(shè)備，不靠譜的機(jī)房。

• 如果你買到有缺陷的網(wǎng)絡(luò)設(shè)備，就會(huì)對(duì)網(wǎng)絡(luò)造成很大的運(yùn)行壓力。
• 如果碰到不靠譜的機(jī)房，從我的經(jīng)驗(yàn)來看，機(jī)房泡水出現(xiàn)的大概頻次是3年左右。大家特別需要注意空調(diào)的冷凝水漏水，它造成的損害很大。

　　6.經(jīng)驗(yàn)：綁定一家有實(shí)力的設(shè)備廠商，特別是對(duì)于體量不大的小型公司。

　　階段二、1000-5000臺(tái)服務(wù)器規(guī)模

　　1.需求：高可靠

　　2.人員：專職網(wǎng)絡(luò)工程師(CCIE) 大于2位

　　3.架構(gòu)：簡單二層結(jié)構(gòu)/多數(shù)據(jù)中心，其中數(shù)據(jù)中心通過光纖來互聯(lián)。

　　4.挑戰(zhàn)：工作量大，因?yàn)闃I(yè)務(wù)部門的需求增加，工作壓力加大。

　　5.陷阱：

• 業(yè)務(wù)復(fù)雜度挑戰(zhàn)網(wǎng)絡(luò)設(shè)備，比如業(yè)務(wù)部門根據(jù)業(yè)務(wù)發(fā)展的實(shí)際對(duì)于網(wǎng)絡(luò)提出特殊要求。
• 經(jīng)常中斷的光纖，需要選擇靠譜的供應(yīng)商。比如某年7月份斷了22次光纖，這種狀況如出現(xiàn)，會(huì)讓網(wǎng)絡(luò)運(yùn)維人員崩潰。
• 網(wǎng)絡(luò)斷了竟然不知道，這是很大的挑戰(zhàn)。網(wǎng)絡(luò)運(yùn)維部門需要早于業(yè)務(wù)部門發(fā)現(xiàn)網(wǎng)絡(luò)問題。

　　6.經(jīng)驗(yàn)：

• 與廠商溝通業(yè)務(wù)場(chǎng)景, 一定要選擇有余量的網(wǎng)絡(luò)設(shè)備。

　　   千萬不要把網(wǎng)絡(luò)設(shè)備的數(shù)據(jù)指標(biāo)范圍卡的過于嚴(yán)格。

• 選擇靠譜的傳輸和光纖供應(yīng)商
• 搭建網(wǎng)絡(luò)監(jiān)控和報(bào)警平臺(tái)

　　階段三、5000-10000臺(tái)服務(wù)器規(guī)模

　　1.需求：高可靠/不丟包

　　2.人員：網(wǎng)絡(luò)工程師/網(wǎng)絡(luò)架構(gòu)師大于5人，這個(gè)階段就要融入至少一個(gè)網(wǎng)絡(luò)架構(gòu)師的角色。

　　3.架構(gòu)：大規(guī)模數(shù)據(jù)中心/異地多數(shù)據(jù)中心。這里提到的大規(guī)模數(shù)據(jù)中心的一個(gè)數(shù)據(jù)中心要有2-3千臺(tái)服務(wù)器規(guī)模。

　　4.挑戰(zhàn)：

• 工作量巨大，壓力山大。這個(gè)階段單人的工作量壓力***，如通過這個(gè)階段，你就會(huì)成為部門精英了。
• 人員誤操作增多。

　　   隨著業(yè)務(wù)需求增多，網(wǎng)絡(luò)運(yùn)維人員相對(duì)也是增多，必然增加人員誤操作發(fā)生的幾率，一旦出現(xiàn)情況，網(wǎng)絡(luò)運(yùn)維人員可能沒法向業(yè)務(wù)部門交代。

• 網(wǎng)絡(luò)設(shè)備故障增多

　　5.陷阱：業(yè)務(wù)沖擊網(wǎng)絡(luò)設(shè)備極限，公司上線搜索，Hadoop集群，存在很大概率出現(xiàn)丟包現(xiàn)象。

　　一個(gè)搜索需求的提出，會(huì)在一個(gè)集群的幾百臺(tái)服務(wù)器上進(jìn)行request，產(chǎn)生結(jié)果會(huì)同時(shí)到達(dá)端口，遠(yuǎn)遠(yuǎn)超過10毫秒1.25MByte的端口處理上限。在這種情況下，如果交換機(jī)buffer下的話，肯定會(huì)出現(xiàn)丟包現(xiàn)象，這個(gè)情況就是我們遇到的一個(gè)“坑”。

　　6.經(jīng)驗(yàn)：

• 擴(kuò)充人員規(guī)模。

　　   隨著異地業(yè)務(wù)的開展，你的人員需要頻繁地出差。可是出差的工作效果不高，時(shí)間浪費(fèi)在路上，還造成溝通成本增加。這個(gè)問題的解決辦法就是擴(kuò)大人員規(guī)模。

• 找經(jīng)驗(yàn)豐富的網(wǎng)絡(luò)架構(gòu)師

　　   網(wǎng)絡(luò)架構(gòu)師建議從5萬臺(tái)服務(wù)器規(guī)模以上公司來物色，可以節(jié)省很多試錯(cuò)成本和快速找到合適資源，你懂得!

• 明確日常操作規(guī)范，避免誤操作發(fā)生的幾率。
• 專業(yè)的網(wǎng)管軟件。

　　   特別關(guān)注日常幾百臺(tái)網(wǎng)絡(luò)設(shè)備的狀態(tài)情況，比如電源、風(fēng)扇和溫度，***能夠時(shí)刻關(guān)注這些數(shù)據(jù)的狀態(tài)，出現(xiàn)情況可以及時(shí)報(bào)警。

• 整理準(zhǔn)確的設(shè)備登記列表，這是上市審計(jì)的必要工作，要求詳細(xì)記錄每個(gè)設(shè)備的機(jī)器號(hào)、場(chǎng)地和設(shè)備的運(yùn)轉(zhuǎn)信息等。

　　   如果前期不做好這個(gè)工作，當(dāng)網(wǎng)絡(luò)設(shè)備的規(guī)模達(dá)到1萬臺(tái)時(shí)，后期再做設(shè)備登記的工作將非常繁重，我們就經(jīng)歷了大概有小半年的時(shí)間來理清這些列表。如果有上市需求的公司，一定注意提前把這個(gè)工作做好。

#p#

　　階段四、10000-50000臺(tái)服務(wù)器規(guī)模

　　公司推出了搜索，業(yè)務(wù)蒸蒸日上。

　　1.需求：穩(wěn)定/靈活

　　2.人員：明確團(tuán)隊(duì)分工，包括建設(shè)、架構(gòu)和運(yùn)維三方面。

　　3.架構(gòu)：超大規(guī)模數(shù)據(jù)中心，實(shí)現(xiàn)多地多點(diǎn)大帶寬互聯(lián)。

　　4.挑戰(zhàn)：

• 業(yè)務(wù)對(duì)網(wǎng)絡(luò)的穩(wěn)定提出更高的要求，網(wǎng)絡(luò)不能老斷，不能出現(xiàn)丟包的情況。

　　   因基數(shù)增加導(dǎo)致設(shè)備故障頻發(fā)，2014年360損壞了十幾臺(tái)網(wǎng)絡(luò)設(shè)備，這種情況還是很嚴(yán)重。縮短網(wǎng)絡(luò)設(shè)備的故障修復(fù)時(shí)間對(duì)網(wǎng)絡(luò)運(yùn)維工程師是一個(gè)挑戰(zhàn)。

• 上市審計(jì)

　　5.陷阱：廠商激烈競(jìng)爭(zhēng)會(huì)給網(wǎng)絡(luò)運(yùn)維工程師帶來壓力。

　　6.經(jīng)驗(yàn)：

• 明確網(wǎng)絡(luò)設(shè)備測(cè)試標(biāo)準(zhǔn)

　　   各家廠商的競(jìng)爭(zhēng)白熱化，出現(xiàn)設(shè)備間的對(duì)比，***的解決辦法是明確網(wǎng)絡(luò)設(shè)備的測(cè)試標(biāo)準(zhǔn)，所有的設(shè)備需要通過我們的測(cè)試標(biāo)準(zhǔn)才可以進(jìn)入采購環(huán)節(jié)。

• 在架構(gòu)設(shè)計(jì)時(shí)消除單點(diǎn)故障，包括設(shè)備的故障，甚至光纖和路由的故障。

　　   多個(gè)路由經(jīng)過一條光纖，如遇到野蠻施工，會(huì)出現(xiàn)多點(diǎn)中斷，造成的影響較大，所以網(wǎng)絡(luò)工程師要通過技術(shù)保障避免這種情況的發(fā)生。

• 制定備品備件庫和應(yīng)急預(yù)案，把可能存在故障風(fēng)險(xiǎn)的設(shè)備進(jìn)行列表，逐一排查，或者用其他設(shè)備進(jìn)行替代，放置到備件庫。
• 網(wǎng)絡(luò)建設(shè)運(yùn)維自動(dòng)化提上日程。

　　階段五、50000-100000臺(tái)服務(wù)器規(guī)模

　　公司完成上市，有充足的資金來進(jìn)行網(wǎng)絡(luò)的基礎(chǔ)建設(shè)，也有更多的業(yè)務(wù)去發(fā)展。

　　1.需求：彈性/前瞻/可視

　　(1)彈性業(yè)務(wù)部門出現(xiàn)對(duì)網(wǎng)絡(luò)的要求不明確現(xiàn)象。網(wǎng)絡(luò)運(yùn)維人員需要自發(fā)考慮網(wǎng)絡(luò)彈性，更好適應(yīng)業(yè)務(wù)的發(fā)展，或者根據(jù)不同部門業(yè)務(wù)發(fā)展情況的不同，進(jìn)行內(nèi)部設(shè)備的部署調(diào)整。

　　(2)前瞻作為網(wǎng)絡(luò)架構(gòu)師或者網(wǎng)絡(luò)運(yùn)維負(fù)責(zé)人，需要預(yù)知業(yè)務(wù)的發(fā)展方向，并提前進(jìn)行網(wǎng)絡(luò)準(zhǔn)備，安排好工作的順序。

　　(3)可視業(yè)務(wù)部門對(duì)于網(wǎng)絡(luò)的運(yùn)行情況實(shí)現(xiàn)實(shí)時(shí)可見，比如某業(yè)務(wù)的日常流量分布情況等。

　　2.人員：團(tuán)隊(duì)分工/梯隊(duì)建設(shè)

　　團(tuán)隊(duì)分工更加明確，需要進(jìn)行人員的梯隊(duì)建設(shè)。

　　3.架構(gòu)：

• 超大規(guī)模的云數(shù)據(jù)中心

   　　一個(gè)云數(shù)據(jù)中心定位在1萬臺(tái)以上的服務(wù)器規(guī)模。

• 多地多點(diǎn)光傳輸網(wǎng)絡(luò)
• 自有BGP業(yè)務(wù)

　　4.挑戰(zhàn)：

• 對(duì)業(yè)務(wù)和行業(yè)的發(fā)展方向有前瞻能力
• 業(yè)務(wù)彈性的支持

　　5.陷阱：SDN(服務(wù)定義網(wǎng)絡(luò))

　　SDN的概念很火，個(gè)人認(rèn)為有誤導(dǎo)的嫌疑;廠商為了做SDN而做SDN，沒有明確的目的性。這塊建議其他公司在做SDN的時(shí)候，提前考慮清楚業(yè)務(wù)對(duì)于網(wǎng)絡(luò)的真正需求是什么，然后現(xiàn)有的網(wǎng)絡(luò)有哪些是滿足不了業(yè)務(wù)的需求?？梢悦鞔_看到云，網(wǎng)絡(luò)虛擬化的需求，傳統(tǒng)的網(wǎng)絡(luò)是滿足不了的，需要通過某種技術(shù)放到SDN下面去滿足，這才是一個(gè)比較好的發(fā)展方向。

　　6.經(jīng)驗(yàn)：

• 通過自動(dòng)化工具提高人員工作效率
• 提供網(wǎng)絡(luò)可視化接口，提前打好基礎(chǔ)，更好地看到網(wǎng)絡(luò)運(yùn)營的情況。
• 更細(xì)粒度的故障監(jiān)控，考量是否做到精細(xì)化運(yùn)維的一個(gè)點(diǎn)。
• BGP路由優(yōu)化

　　   當(dāng)你的路由在國內(nèi)的運(yùn)營商(中國移動(dòng)、中國電信和中國聯(lián)通)網(wǎng)絡(luò)上跑起來以后，通過測(cè)試看起來網(wǎng)絡(luò)是通的，但是國外運(yùn)營商的網(wǎng)絡(luò)接口可能存在問題，導(dǎo)致國外的用戶訪問不了360的BGP網(wǎng)絡(luò)資源。這里有兩個(gè)工具推薦使用，一個(gè)是Looking glass，大的運(yùn)營商可以通過這個(gè)工具從他的AP網(wǎng)絡(luò)查看你的BGP的路由收取情況，如果沒有獲得這塊服務(wù)，需要跟運(yùn)營商進(jìn)行溝通。比如我們跟美國Sprint就出現(xiàn)過這個(gè)問題，業(yè)務(wù)運(yùn)營一段，有用戶反映我們的網(wǎng)絡(luò)有問題。另一個(gè)工具是RADb，需要根據(jù)IP地址進(jìn)行登記，歐洲的小運(yùn)營商比較認(rèn)可這個(gè)工具，費(fèi)用大概一年400美元。

　　總結(jié)與討論

　　1.老板是否重視網(wǎng)絡(luò)團(tuán)隊(duì)?

　　開玩笑的說，老板會(huì)在網(wǎng)絡(luò)出問題時(shí)，重視網(wǎng)絡(luò)。其實(shí)，老板本來就應(yīng)該更關(guān)注公司業(yè)務(wù)，因?yàn)榫W(wǎng)絡(luò)是為了滿足公司業(yè)務(wù)的發(fā)展規(guī)模而生的，網(wǎng)絡(luò)運(yùn)維工程師的責(zé)任就是要提供一個(gè)優(yōu)質(zhì)的網(wǎng)絡(luò)。

　　2.把網(wǎng)絡(luò)做好是否很難?

　　領(lǐng)導(dǎo)對(duì)網(wǎng)絡(luò)的重視程度是一個(gè)方面，拋開網(wǎng)絡(luò)基礎(chǔ)來說，把網(wǎng)絡(luò)做好不是很難，只要做好兩件事就好，一個(gè)是找到靠譜的人，一個(gè)是找到靠譜的設(shè)備。相對(duì)其他事情都簡單一些。