服務(wù)器和網(wǎng)絡(luò)交換機，作為IT基礎(chǔ)架構(gòu)中最為核心的功能組件，是每一位IT系統(tǒng)網(wǎng)絡(luò)工程技術(shù)人員日常接觸最多也是最為熟悉的設(shè)備類型。無論是負責售前方案設(shè)計的架構(gòu)師，還是擔負系統(tǒng)部署和運維的現(xiàn)場工程師，雖然角色分工有所不同，但都有著一個共同的心愿：那就是希望自己設(shè)計、部署和運維的系統(tǒng)具有***的可用性，不但平日里能夠可靠、穩(wěn)定和高效地承載上層業(yè)務(wù)應(yīng)用，而且當故障發(fā)生時還能夠按照預(yù)先設(shè)計的冗余策略實現(xiàn)既定的故障轉(zhuǎn)移、自愈或容錯。

作為一個IT人，在我個人日常的技術(shù)部署實踐和問題診斷排錯過程中，經(jīng)常會發(fā)現(xiàn)一些不正確的網(wǎng)絡(luò)配置，使得網(wǎng)絡(luò)鏈路故障時，網(wǎng)絡(luò)流量無法被正確引導(dǎo)至冗余路徑，致使通訊異常，乃至業(yè)務(wù)中斷。下面，將以Dell刀片系統(tǒng)的網(wǎng)絡(luò)拓撲結(jié)構(gòu)為例，介紹一種被我稱為 “網(wǎng)絡(luò)黑洞”的故障現(xiàn)象及其解決方法。

首先，請看下面這張系統(tǒng)拓撲圖：

上圖中描繪了一個典型的刀片服務(wù)器網(wǎng)絡(luò)接入場景：在Dell M1000e刀片系統(tǒng)中，單臺刀片服務(wù)器（M630）通過兩個集成網(wǎng)口（網(wǎng)卡1和網(wǎng)卡2），分別與刀片機箱上的交換機相連接（刀箱交換機模塊A和刀箱交換機模塊B）。刀片服務(wù)器網(wǎng)卡1和網(wǎng)卡2配置為Teaming或Bond方式。刀箱交換機模塊A和B再通過各自的上行端口分別與核心交換機A和核心交換機B連接，每個刀箱交換機模塊出于鏈路冗余考慮，都采用2條上行鏈路到核心交換機，每個刀箱交換機用于上行鏈路的2個端口配置為聚合方式（Port Channel）。兩臺核心交換機之間通過堆疊方式實現(xiàn)互連。

通過上述方式，我們構(gòu)建了一個物理層全冗余的網(wǎng)絡(luò)環(huán)境。那么，它真的能夠具備我們所希望的網(wǎng)絡(luò)冗余能力么？接下來，我們將一起分析看看，當這個系統(tǒng)中的某些網(wǎng)絡(luò)鏈路出現(xiàn)故障時，會發(fā)生什么？

有一條從刀箱交換機模塊A到核心交換機A的上行鏈路出現(xiàn)故障，如下圖所示：

此時，來自網(wǎng)卡1的流量到達刀箱交換機模塊A后，可以被刀箱交換機模塊A從另1條未發(fā)生故障的上行鏈路轉(zhuǎn)發(fā)到核心交換機B。來自于網(wǎng)卡2的流量到達刀箱交換機模塊B后，與此前一樣順利地被轉(zhuǎn)發(fā)到核心交換機。除了刀箱交換機模塊A到核心交換機的上行鏈路帶寬減少50%以外，不會有任何其他網(wǎng)絡(luò)訪問連通性方面的問題。

在假設(shè)1的基礎(chǔ)上：如果上圖中刀箱交換機模塊A與核心交換機B之間的上行鏈路也發(fā)生故障，如下圖所示：

此時，刀箱交換機模塊A的上行端口已全部變?yōu)?ldquo;link-down”狀態(tài)，而它與刀片服務(wù)器網(wǎng)卡相連接的內(nèi)部端口仍然保持“link-up”狀態(tài)。這種情況下，刀片服務(wù)器操作系統(tǒng)的teaming或bond服務(wù)組件，確認網(wǎng)卡1和網(wǎng)卡2都是“link-up”狀態(tài)，不會觸發(fā)任何網(wǎng)絡(luò)流量切換動作，一如此前的工作狀態(tài)，繼續(xù)發(fā)送數(shù)據(jù)流量到服務(wù)器網(wǎng)卡1和網(wǎng)卡2。請注意，此時問題出現(xiàn)了：被發(fā)送到網(wǎng)卡1的流量到達刀箱交換機模塊A后，因為刀箱交換機模塊A上行鏈路已全部中斷，無法被轉(zhuǎn)發(fā)至核心交換機，最終這部分數(shù)據(jù)流無法被送達目的主機，最終會因投遞超時被丟棄。這部分流量仿佛落入了“黑洞”一般，得不到任何回應(yīng)，將導(dǎo)致嚴重的丟包或斷網(wǎng)情況發(fā)生。（注：究竟是完全斷網(wǎng)還是部分丟包，與刀片服務(wù)器上teaming和bond所設(shè)定的網(wǎng)卡冗余的具體模式有關(guān)。）

以上所描繪的場景，自然是我們不希望發(fā)生的。那么能否有一種方法，可以讓刀片服務(wù)器的網(wǎng)卡端口狀態(tài)，可以隨著刀箱交換機模塊的上行端口的狀態(tài)實現(xiàn)“聯(lián)動”呢？下圖描繪了我們最希望看到的沒有網(wǎng)絡(luò)“黑洞”愿景：

在上述場景中，我們假想，如果刀箱交換機模塊A的2條上行鏈路全部失效，刀箱交換機模塊A發(fā)現(xiàn)全部上行鏈路中斷后，可以自動的阻斷自己與刀片服務(wù)器相連接的交換機端口，使之變?yōu)?strong>“link-down”狀態(tài)，那么服務(wù)器網(wǎng)卡1也將同步變?yōu)?strong>“link-down”狀態(tài)。刀片服務(wù)器操作系統(tǒng)的teaming或bond服務(wù)組件，將監(jiān)測到網(wǎng)卡1的狀態(tài)變化，隨時將網(wǎng)絡(luò)流量全部轉(zhuǎn)移至網(wǎng)卡2，網(wǎng)絡(luò)流量進一步會由刀箱交換機模塊B成功轉(zhuǎn)發(fā)給核心交換機，這樣就確保了刀片服務(wù)器網(wǎng)卡通訊正常，真正實現(xiàn)了原始方案中所設(shè)計的服務(wù)器網(wǎng)卡冗余的高可用功能，消除了網(wǎng)絡(luò)“黑洞”現(xiàn)象。

下面我們將繼續(xù)沿用Dell刀片系統(tǒng)的網(wǎng)絡(luò)架構(gòu)作為例子，來說明防范網(wǎng)絡(luò)“黑洞”的方法。

在Dell M1000e刀片系統(tǒng)中目前可以配置下面幾款刀片交換機模塊：

在上面三款DellPowerConnect系列的交換機中，我們設(shè)計了一種端口狀態(tài)“聯(lián)動”機制，被稱之“連接依賴性（Link Dependency）”。我們可以在交換機配置中，通過建立一個“連接依賴性組”， 把具有依賴性關(guān)聯(lián)的端口添加到這個“連接依賴性組”中，并指明端口之間的“聯(lián)動”規(guī)則，即可實現(xiàn)端口智能聯(lián)動策略。例如，在前面的場景中，我們可以把“刀箱交換機模塊A”上和刀片服務(wù)器相連接的端口與和核心交換機連接的聚合端口（Port Channel）配置到同一個“連接依賴性組”中，并設(shè)定策略：當連接核心交換機的上行聚合端口（Port Channel）變?yōu)?ldquo;link-down”時，所有與刀片服務(wù)器相連接的端口也強制變?yōu)?ldquo;link-down”狀態(tài)。這個配置策略一旦激活生效，上行聚合端口（Port Channel）的連接狀態(tài)將持續(xù)處于被監(jiān)視狀態(tài)，一經(jīng)發(fā)現(xiàn)其鏈路中斷，PortChannel變?yōu)?ldquo;link-down”，交換機與刀片服務(wù)器相連接的端口也會即可變?yōu)?ldquo;link-down”，與刀箱交換機模塊A連接的服務(wù)器網(wǎng)卡1自然也會同步變?yōu)?ldquo;link-down”，服務(wù)器端teaming或bond將會檢測到網(wǎng)卡1鏈路失效，并將網(wǎng)絡(luò)流量完全切換至網(wǎng)卡2。為保證對稱性，需要在刀箱交換機模塊B上同樣進行上述配置。這樣，我們就徹底防止了潛在網(wǎng)絡(luò)“黑洞”的出現(xiàn)，確保了網(wǎng)絡(luò)的可用性。

以上示例中涉及到的交換機的配置命令以及更詳細的使用說明，感興趣的朋友可以參考Dell官方技術(shù)支持站點提供的《用戶手冊和用戶指南》。通過support.dell.com站點，您只需選擇相應(yīng)的交換機產(chǎn)品型號，在該產(chǎn)品的技術(shù)支持頁面中可以選擇直接在線閱覽或免費下載。

本文所探討的 “網(wǎng)絡(luò)黑洞”問題，是一個十分常見卻容易被忽視的問題。事實上，未經(jīng)充分的鏈路切換測試演練的服務(wù)器網(wǎng)絡(luò)環(huán)境一旦交付上線投產(chǎn)，事前是很難發(fā)現(xiàn)這類潛在隱患的。通常都是在投產(chǎn)后發(fā)現(xiàn)了網(wǎng)絡(luò)連通性問題做故障排查時，才會略見端倪，而此時極有可能已經(jīng)因此引發(fā)了計劃外生產(chǎn)業(yè)務(wù)中斷事件，代價高昂。所以，僅有服務(wù)器、網(wǎng)絡(luò)鏈路的物理冗余的前期設(shè)計是遠遠不夠的，必須輔之以全面優(yōu)化的部署服務(wù)才能確保我們所交付的IT基礎(chǔ)架構(gòu)具備真正意義上的高可用。

謹以此文與朋友們分享，在此感謝大家一直以來對Dell的支持和關(guān)注！