服務(wù)器和網(wǎng)絡(luò)交換機(jī)，作為IT基礎(chǔ)架構(gòu)中最為核心的功能組件，是每一位IT系統(tǒng)網(wǎng)絡(luò)工程技術(shù)人員日常接觸最多也是最為熟悉的設(shè)備類型。無(wú)論是負(fù)責(zé)售前方案設(shè)計(jì)的架構(gòu)師，還是擔(dān)負(fù)系統(tǒng)部署和運(yùn)維的現(xiàn)場(chǎng)工程師，雖然角色分工有所不同，但都有著一個(gè)共同的心愿：那就是希望自己設(shè)計(jì)、部署和運(yùn)維的系統(tǒng)具有***的可用性，不但平日里能夠可靠、穩(wěn)定和高效地承載上層業(yè)務(wù)應(yīng)用，而且當(dāng)故障發(fā)生時(shí)還能夠按照預(yù)先設(shè)計(jì)的冗余策略實(shí)現(xiàn)既定的故障轉(zhuǎn)移、自愈或容錯(cuò)。
作為一個(gè)IT人，在我個(gè)人日常的技術(shù)部署實(shí)踐和問題診斷排錯(cuò)過(guò)程中，經(jīng)常會(huì)發(fā)現(xiàn)一些不正確的網(wǎng)絡(luò)配置，使得網(wǎng)絡(luò)鏈路故障時(shí)，網(wǎng)絡(luò)流量無(wú)法被正確引導(dǎo)至冗余路徑，致使通訊異常，乃至業(yè)務(wù)中斷。下面，將以Dell刀片系統(tǒng)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)為例，介紹一種被我稱為 “網(wǎng)絡(luò)黑洞”的故障現(xiàn)象及其解決方法。
何謂“網(wǎng)絡(luò)黑洞”？
首先，請(qǐng)看下面這張系統(tǒng)拓?fù)鋱D：
上圖中描繪了一個(gè)典型的刀片服務(wù)器網(wǎng)絡(luò)接入場(chǎng)景：在Dell M1000e刀片系統(tǒng)中，單臺(tái)刀片服務(wù)器（M630）通過(guò)兩個(gè)集成網(wǎng)口（網(wǎng)卡1和網(wǎng)卡2），分別與刀片機(jī)箱上的交換機(jī)相連接（刀箱交換機(jī)模塊A和刀箱交換機(jī)模塊B）。刀片服務(wù)器網(wǎng)卡1和網(wǎng)卡2配置為Teaming或Bond方式。刀箱交換機(jī)模塊A和B再通過(guò)各自的上行端口分別與核心交換機(jī)A和核心交換機(jī)B連接，每個(gè)刀箱交換機(jī)模塊出于鏈路冗余考慮，都采用2條上行鏈路到核心交換機(jī)，每個(gè)刀箱交換機(jī)用于上行鏈路的2個(gè)端口配置為聚合方式（Port Channel）。兩臺(tái)核心交換機(jī)之間通過(guò)堆疊方式實(shí)現(xiàn)互連。
通過(guò)上述方式，我們構(gòu)建了一個(gè)物理層全冗余的網(wǎng)絡(luò)環(huán)境。那么，它真的能夠具備我們所希望的網(wǎng)絡(luò)冗余能力么？接下來(lái)，我們將一起分析看看，當(dāng)這個(gè)系統(tǒng)中的某些網(wǎng)絡(luò)鏈路出現(xiàn)故障時(shí)，會(huì)發(fā)生什么？
假設(shè)一
有一條從刀箱交換機(jī)模塊A到核心交換機(jī)A的上行鏈路出現(xiàn)故障，如下圖所示：
此時(shí)，來(lái)自網(wǎng)卡1的流量到達(dá)刀箱交換機(jī)模塊A后，可以被刀箱交換機(jī)模塊A從另1條未發(fā)生故障的上行鏈路轉(zhuǎn)發(fā)到核心交換機(jī)B。來(lái)自于網(wǎng)卡2的流量到達(dá)刀箱交換機(jī)模塊B后，與此前一樣順利地被轉(zhuǎn)發(fā)到核心交換機(jī)。除了刀箱交換機(jī)模塊A到核心交換機(jī)的上行鏈路帶寬減少50%以外，不會(huì)有任何其他網(wǎng)絡(luò)訪問連通性方面的問題。
假設(shè)二
在假設(shè)1的基礎(chǔ)上：如果上圖中刀箱交換機(jī)模塊A與核心交換機(jī)B之間的上行鏈路也發(fā)生故障，如下圖所示：
此時(shí)，刀箱交換機(jī)模塊A的上行端口已全部變?yōu)?ldquo;link-down”狀態(tài)，而它與刀片服務(wù)器網(wǎng)卡相連接的內(nèi)部端口仍然保持“link-up”狀態(tài)。這種情況下，刀片服務(wù)器操作系統(tǒng)的teaming或bond服務(wù)組件，確認(rèn)網(wǎng)卡1和網(wǎng)卡2都是“link-up”狀態(tài)，不會(huì)觸發(fā)任何網(wǎng)絡(luò)流量切換動(dòng)作，一如此前的工作狀態(tài)，繼續(xù)發(fā)送數(shù)據(jù)流量到服務(wù)器網(wǎng)卡1和網(wǎng)卡2。請(qǐng)注意，此時(shí)問題出現(xiàn)了：被發(fā)送到網(wǎng)卡1的流量到達(dá)刀箱交換機(jī)模塊A后，因?yàn)榈断浣粨Q機(jī)模塊A上行鏈路已全部中斷，無(wú)法被轉(zhuǎn)發(fā)至核心交換機(jī)，最終這部分?jǐn)?shù)據(jù)流無(wú)法被送達(dá)目的主機(jī)，最終會(huì)因投遞超時(shí)被丟棄。這部分流量仿佛落入了“黑洞”一般，得不到任何回應(yīng)，將導(dǎo)致嚴(yán)重的丟包或斷網(wǎng)情況發(fā)生。（注：究竟是完全斷網(wǎng)還是部分丟包，與刀片服務(wù)器上teaming和bond所設(shè)定的網(wǎng)卡冗余的具體模式有關(guān)。）
Dell出招治理“網(wǎng)絡(luò)黑洞”
以上所描繪的場(chǎng)景，自然是我們不希望發(fā)生的。那么能否有一種方法，可以讓刀片服務(wù)器的網(wǎng)卡端口狀態(tài)，可以隨著刀箱交換機(jī)模塊的上行端口的狀態(tài)實(shí)現(xiàn)“聯(lián)動(dòng)”呢？下圖描繪了我們最希望看到的沒有網(wǎng)絡(luò)“黑洞”愿景：
在上述場(chǎng)景中，我們假想，如果刀箱交換機(jī)模塊A的2條上行鏈路全部失效，刀箱交換機(jī)模塊A發(fā)現(xiàn)全部上行鏈路中斷后，可以自動(dòng)的阻斷自己與刀片服務(wù)器相連接的交換機(jī)端口，使之變?yōu)?strong>“link-down”狀態(tài)，那么服務(wù)器網(wǎng)卡1也將同步變?yōu)?strong>“link-down”狀態(tài)。刀片服務(wù)器操作系統(tǒng)的teaming或bond服務(wù)組件，將監(jiān)測(cè)到網(wǎng)卡1的狀態(tài)變化，隨時(shí)將網(wǎng)絡(luò)流量全部轉(zhuǎn)移至網(wǎng)卡2，網(wǎng)絡(luò)流量進(jìn)一步會(huì)由刀箱交換機(jī)模塊B成功轉(zhuǎn)發(fā)給核心交換機(jī)，這樣就確保了刀片服務(wù)器網(wǎng)卡通訊正常，真正實(shí)現(xiàn)了原始方案中所設(shè)計(jì)的服務(wù)器網(wǎng)卡冗余的高可用功能，消除了網(wǎng)絡(luò)“黑洞”現(xiàn)象。
下面我們將繼續(xù)沿用Dell刀片系統(tǒng)的網(wǎng)絡(luò)架構(gòu)作為例子，來(lái)說(shuō)明防范網(wǎng)絡(luò)“黑洞”的方法。
在Dell M1000e刀片系統(tǒng)中目前可以配置下面幾款刀片交換機(jī)模塊：
Dell PowerConnect M6220（1GbE/10GbE）
Dell PowerConnect M6348（1GbE/10GbE）
Dell PowerConnect M8024-k（10GbE）
Dell Force10 MXL（10 GbE/40GbE）
在上面三款DellPowerConnect系列的交換機(jī)中，我們?cè)O(shè)計(jì)了一種端口狀態(tài)“聯(lián)動(dòng)”機(jī)制，被稱之“連接依賴性（Link Dependency）”。我們可以在交換機(jī)配置中，通過(guò)建立一個(gè)“連接依賴性組”， 把具有依賴性關(guān)聯(lián)的端口添加到這個(gè)“連接依賴性組”中，并指明端口之間的“聯(lián)動(dòng)”規(guī)則，即可實(shí)現(xiàn)端口智能聯(lián)動(dòng)策略。例如，在前面的場(chǎng)景中，我們可以把“刀箱交換機(jī)模塊A”上和刀片服務(wù)器相連接的端口與和核心交換機(jī)連接的聚合端口（Port Channel）配置到同一個(gè)“連接依賴性組”中，并設(shè)定策略：當(dāng)連接核心交換機(jī)的上行聚合端口（Port Channel）變?yōu)?ldquo;link-down”時(shí)，所有與刀片服務(wù)器相連接的端口也強(qiáng)制變?yōu)?ldquo;link-down”狀態(tài)。這個(gè)配置策略一旦激活生效，上行聚合端口（Port Channel）的連接狀態(tài)將持續(xù)處于被監(jiān)視狀態(tài)，一經(jīng)發(fā)現(xiàn)其鏈路中斷，PortChannel變?yōu)?ldquo;link-down”，交換機(jī)與刀片服務(wù)器相連接的端口也會(huì)即可變?yōu)?ldquo;link-down”，與刀箱交換機(jī)模塊A連接的服務(wù)器網(wǎng)卡1自然也會(huì)同步變?yōu)?ldquo;link-down”，服務(wù)器端teaming或bond將會(huì)檢測(cè)到網(wǎng)卡1鏈路失效，并將網(wǎng)絡(luò)流量完全切換至網(wǎng)卡2。為保證對(duì)稱性，需要在刀箱交換機(jī)模塊B上同樣進(jìn)行上述配置。這樣，我們就徹底防止了潛在網(wǎng)絡(luò)“黑洞”的出現(xiàn)，確保了網(wǎng)絡(luò)的可用性。
PowerConnect交換機(jī)配置示例
在PowerConnect交換機(jī)的管理控制臺(tái)上可以通過(guò)命令實(shí)現(xiàn)上述功能。配置示例如下：
console#configure
console(config)# interface range gigabitethernet 1/0/17-18
console(config-if)#channel-group 1 mode auto
console(config-if)#no shutdown
console(config-if)#exit
console(config)#interface port-channel 1
console(config-if)#switchport mode trunk
console(config-if)#exit
console(config)#link-dependency group 1
console(config-linkDep-group-1)#add gigabitethernet 1/0/1-16
console(config-linkDep-group-1)#depends-on port-channel 1
console(config-linkDep-group-1)#action down
console(config-linkDep-group-1)#exit
console(config)#
配置說(shuō)明：首先將刀片交換機(jī)模塊上的上行端口Gi1/0/17和Gi1/0/18聚合為端口通道Port- Channel1。隨后創(chuàng)建“連接依賴性組”link-dependency group1，并將刀片交換機(jī)的所有內(nèi)部端口（Gi1/0/1～Gi1/0/16）作為成員端口添加到連接依賴性組中。***，指派成員端口所依賴的端口為Port- Channel1，設(shè)定聯(lián)動(dòng)策略為“action down”，意為如若上行端口狀態(tài)為“link-down”，則所有內(nèi)部端口也變?yōu)?ldquo;link-down”。
對(duì)于DellPowerConnect系列交換機(jī)，除了CLI命令行訪問方式，還為用戶提供了Web操作方式，上述配置操作完全也可以通過(guò)Web管理界面來(lái)實(shí)現(xiàn)，操作更為簡(jiǎn)單便捷。
DellForce10 MXL萬(wàn)兆交換機(jī)配置示例
DellForce10 MXL萬(wàn)兆交換機(jī)模塊也具備類似的功能。在Force10的術(shù)語(yǔ)中把這種連接依賴性關(guān)聯(lián)機(jī)制稱之為“上行鏈路失效監(jiān)測(cè)（Uplink Failure Detection）”。PowerConnect上的“連接依賴性組（link-dependency group）”的概念，在Force10 MXL上被稱為“上行鏈路狀態(tài)組（uplink-state-group）”，其含義是一樣的。
在Force10 MXL上的配置示例如下：
Force10# configure
Force10 (conf)#interface range TengigabitEthernet 0/1 -32
Force10 (conf-if-range-Te-0/1-32)#no shutdown
Force10 (conf-if-range-Te-0/1-32-lacp)#exit
Force10 (conf)#interface port-channel 1
Force10 (conf-if-po-1)#switchport
Force10 (conf-if-po-1)#no shutdown
Force10 (conf-if-po-1)#exit
Force10 (conf)#interface range TengigabitEthernet 0/49-50
Force10 (conf-if-range-Te-0/49-50)#no shutdown
Force10 (conf-if-range-Te-0/49-50)#switchport
Force10 (conf-if-range-Te-0/49-50)#port-channel-protocol lacp
Force10 (conf-if-range-Te-0/49-50-lacp)#port-channel 1 mode active
Force10 (conf-if-range-Te-0/49-50-lacp)#exit
… …
Force10 (conf)# uplink-state-group 1
Force10 (conf-uplink-state-group-1)# description #Sample Configuration for UFD
Force10 (conf-uplink-state-group-1)# upstream port-channel 1
Force10 (conf-uplink-state-group-1)# downstream TengigabitEthernet 0/1 -32
Force10 (conf-uplink-state-group-1)# downstream disable links all
Force10 (conf-uplink-state-group-1)# downstream auto-recover
Force10 (conf-uplink-state-group-1)# exit
配置說(shuō)明：首先將刀片F(xiàn)orce10 MXL交換機(jī)模塊上的上行端口Ten 0/49和Ten 0/50聚合為端口通道port-channel1。隨后創(chuàng)建“上行鏈路狀態(tài)組”uplink-state-group1，并將刀片F(xiàn)orce10 MXL交換機(jī)的所有內(nèi)部端口（Ten 0/1～Ten0/32）作為下行端口（“downstream ”）添加到uplink-state-group1中。***，再將上行鏈路 port-channel1作為上行端口類型（“upstream”）添加到uplink-state-group1中。設(shè)定聯(lián)動(dòng)策略為“downstream disable links all”和“downstream auto-recover”，意為如若上行鏈路狀態(tài)為“link-down”，則所有下行端口也變?yōu)?ldquo;link-down”；當(dāng)上行鏈路恢復(fù)可用時(shí)，所有下行同步恢復(fù)可用。
工程師手札
以上示例中涉及到的交換機(jī)的配置命令以及更詳細(xì)的使用說(shuō)明，感興趣的朋友可以參考Dell官方技術(shù)支持站點(diǎn)提供的《用戶手冊(cè)和用戶指南》。通過(guò)support.dell.com站點(diǎn)，您只需選擇相應(yīng)的交換機(jī)產(chǎn)品型號(hào)，在該產(chǎn)品的技術(shù)支持頁(yè)面中可以選擇直接在線閱覽或免費(fèi)下載。
本文所探討的 “網(wǎng)絡(luò)黑洞”問題，是一個(gè)十分常見卻容易被忽視的問題。事實(shí)上，未經(jīng)充分的鏈路切換測(cè)試演練的服務(wù)器網(wǎng)絡(luò)環(huán)境一旦交付上線投產(chǎn)，事前是很難發(fā)現(xiàn)這類潛在隱患的。通常都是在投產(chǎn)后發(fā)現(xiàn)了網(wǎng)絡(luò)連通性問題做故障排查時(shí)，才會(huì)略見端倪，而此時(shí)極有可能已經(jīng)因此引發(fā)了計(jì)劃外生產(chǎn)業(yè)務(wù)中斷事件，代價(jià)高昂。所以，僅有服務(wù)器、網(wǎng)絡(luò)鏈路的物理冗余的前期設(shè)計(jì)是遠(yuǎn)遠(yuǎn)不夠的，必須輔之以全面優(yōu)化的部署服務(wù)才能確保我們所交付的IT基礎(chǔ)架構(gòu)具備真正意義上的高可用。
謹(jǐn)以此文與朋友們分享，在此感謝大家一直以來(lái)對(duì)Dell的支持和關(guān)注！
