存儲(chǔ)跨中心雙活最關(guān)鍵、最難點(diǎn)就是鏈路質(zhì)量，如何把控該風(fēng)險(xiǎn)?

雙中心間通訊不可控問題：一是鏈路穩(wěn)定狀況不可控;二是IO延時(shí)指標(biāo)不可控。這些不可控因素非常容易造成災(zāi)難性影響，輕則導(dǎo)致數(shù)據(jù)庫讀寫性能災(zāi)難，重則導(dǎo)致數(shù)據(jù)庫節(jié)點(diǎn)直接處于僵死狀態(tài)。另外，鏈路的不穩(wěn)定會(huì)導(dǎo)致存儲(chǔ)鏈路頻繁切換，甚至?xí)?dǎo)致集群仲裁頻繁發(fā)生，這對(duì)于業(yè)務(wù)連續(xù)性更是一個(gè)災(zāi)難。

[[207787]]

解析和解答

鄧毓 某農(nóng)信社資深骨干工程師

無論什么雙活，只要上升到了跨中心的層面，就必然需要跨中心的鏈路作為雙活的通訊介質(zhì)。這個(gè)通訊不但要求高可用性和冗余度，而且又對(duì)通訊質(zhì)量要求又很高。并且鏈路所帶來的風(fēng)險(xiǎn)隱患又是巨大的，中斷或者響應(yīng)時(shí)間高都將可能導(dǎo)致雙活集群發(fā)生腦裂仲裁，出于保護(hù)的目的，將IO HANG住一段時(shí)間，將所有沒有落入磁盤的數(shù)據(jù)全部刷盤，才繼續(xù)在某個(gè)存活的站點(diǎn)繼續(xù)恢復(fù)讀寫訪問。所以阻礙存儲(chǔ)跨中心雙活技術(shù)發(fā)展的最直接的因素就是雙中心間鏈路不可控。尤其對(duì)風(fēng)險(xiǎn)、穩(wěn)定性要求苛刻的金融機(jī)構(gòu)來說，更加不敢輕易做跨中心的雙活。所以鏈路成為了存儲(chǔ)雙活的最難點(diǎn)，如何既提高鏈路穩(wěn)定性，又保證鏈路的性能，還又有合理的故障保障機(jī)制，是每一個(gè)存儲(chǔ)廠商和企業(yè)用戶都要深思的關(guān)鍵點(diǎn)。

在這里我也不刻意去解決該難題，而是提出些許我的想法。

1.鏈路冗余度

通常我們企業(yè)做雙活，都是自己購買波分設(shè)備，然后租用運(yùn)營商的裸光纖，作為通訊的鏈路。所以波分設(shè)備需要冗余，裸光纖也要冗余，波分設(shè)備好辦，購買即可。裸光纖通常租用兩家或兩家以上的運(yùn)營商線路，比如電信和聯(lián)通，電信的裸光纖也需要冗余，聯(lián)通的裸光纖也需要冗余，防止單根裸光纖意外割斷或者損壞。然而單家運(yùn)營商的裸纖都通常在一個(gè)弱點(diǎn)井中，一起意外割斷的事情常有，所以需要兩家運(yùn)營商互相冗余。這兩家運(yùn)營商裸纖的路線還不能一致，弱電井需要在不同的街道，并且分別走不同的路線到達(dá)目的地。所以可以看到，由于我們是租用，根本不可能要求運(yùn)營商完全達(dá)到你的要求，***的方式只能自建，成本太高，好像根本不現(xiàn)實(shí)。

示意圖：

2.鏈路質(zhì)量

鏈路質(zhì)量包括光衰、抖動(dòng)和帶寬等。一方面，光衰和抖動(dòng)無法控制，只能靠波分設(shè)備去探測(cè)，發(fā)現(xiàn)光衰和抖動(dòng)，立即中斷該鏈路，切向備鏈路，這對(duì)后端的SAN網(wǎng)絡(luò)無感知，但對(duì)波分設(shè)備的要求很高，需要購買和建設(shè)時(shí)注意。至于帶寬，可以監(jiān)測(cè)，達(dá)到帶寬預(yù)警閾值后，可向運(yùn)營商申請(qǐng)?zhí)嵘龓?。另一方面，?duì)于鏈路質(zhì)量的監(jiān)測(cè)機(jī)制一定要在建設(shè)存儲(chǔ)雙活或者其他雙活之前建立，由于是運(yùn)營商的鏈路，鏈路經(jīng)過了多少中繼、多少設(shè)備我們是不得知的，我們只能在波分端建立有效的監(jiān)測(cè)機(jī)制，有些波分設(shè)備也有專門的監(jiān)控軟件支持。而且也要要求和運(yùn)營商建立監(jiān)測(cè)聯(lián)動(dòng)機(jī)制，運(yùn)營商監(jiān)測(cè)到鏈路質(zhì)量(是質(zhì)量而不是中斷)有問題，也需要***時(shí)間告知，做出合理的決策。

3.存儲(chǔ)雙活控制器的機(jī)制

由于跨中心的雙活控制器間的通訊是實(shí)時(shí)的，完整寫周期必須兩個(gè)站點(diǎn)的控制器都完成寫操作。他們間的通訊又是靠鏈路完成的，鏈路質(zhì)量和鏈路中斷都將導(dǎo)致性能波動(dòng)甚至超時(shí)，對(duì)于中斷，控制器的處理機(jī)制都還不錯(cuò)，對(duì)于質(zhì)量，控制器的處理機(jī)制往往不夠，需要長時(shí)間的嘗試，才會(huì)做出合理的決策，甚至沒有決策，導(dǎo)致上層數(shù)據(jù)庫或者應(yīng)用磁盤IO超時(shí)，而異常掛起甚至宕機(jī)。所以這個(gè)機(jī)制是決定好的雙活體系的重要因素，有時(shí)候?qū)幙闪⒓捶艞壱贿?，也要保住RTO，但目前為止我還未發(fā)現(xiàn)雙活存儲(chǔ)控制器有好的鏈路質(zhì)量處理機(jī)制。知道的也請(qǐng)分享。

4.雙活存儲(chǔ)上端的OS、應(yīng)用和數(shù)據(jù)庫合理的超時(shí)參數(shù)

OS識(shí)別磁盤、應(yīng)用訪問文件系統(tǒng)、數(shù)據(jù)庫訪問裸設(shè)備或者文件系統(tǒng)，存儲(chǔ)IO HANG住，將導(dǎo)致層層超時(shí)，尤其是數(shù)據(jù)庫，超時(shí)將徹底中斷宕機(jī)，甚至出現(xiàn)邏輯損壞等莫名奇妙的問題。有時(shí)候超時(shí)響應(yīng)慢是可以等，而不是中止，所以需要OS、數(shù)據(jù)庫層進(jìn)行合理的超時(shí)聯(lián)動(dòng)設(shè)置。

5.盡量避免跨站點(diǎn)讀，減少跨站點(diǎn)寫頻率

沒有跨站點(diǎn)讀，就意味著本地可讀，對(duì)鏈路質(zhì)量沒有要求;減少跨站點(diǎn)寫頻率，就意味著，性能影響弱化，被控制器、數(shù)據(jù)庫、操作系統(tǒng)等層層緩存暫存的寫數(shù)據(jù)，會(huì)減少跨站點(diǎn)寫的次數(shù)，進(jìn)一步弱化鏈路質(zhì)量所會(huì)帶來的影響。