前言

G行作為金融行業(yè)數(shù)字化轉(zhuǎn)型的探索者與實踐者，提出“123+N”的數(shù)字化特色發(fā)展體系，即一個智慧大腦，兩大技術(shù)平臺——云計算平臺和大數(shù)據(jù)平臺，三項服務(wù)能力——移動化、開放化、生態(tài)化服務(wù)能力，N個數(shù)字化名品——數(shù)據(jù)挖掘模型體系、隨心貸、專屬客服、手機銀行等。根據(jù)數(shù)字化發(fā)展戰(zhàn)略要求，傳統(tǒng)數(shù)據(jù)中心的應(yīng)用系統(tǒng)要逐步遷移到云平臺，實現(xiàn)服務(wù)云化，滿足業(yè)務(wù)需求的快速迭代，同時云平臺可提供快速便捷的資源交付和資源擴容能力，提升資源利用率，達到降本增效的目標(biāo)。

針對應(yīng)用上云，G行制定了相關(guān)的上云策略，強調(diào)優(yōu)先容器化部署，對于無法容器化改造的產(chǎn)品組件可通過虛擬機或裸金屬方式上云，以多種部署形式滿足應(yīng)用上云要求。針對傳統(tǒng)環(huán)境和云上應(yīng)用，所使用的業(yè)務(wù)流量負(fù)載方式是不同的，傳統(tǒng)環(huán)境主要使用硬件F5負(fù)載均衡，優(yōu)點是性能好、功能強大，缺點是成本高、擴展性差、不符合信創(chuàng)要求。云環(huán)境使用云平臺提供的服務(wù)組件彈性負(fù)載均衡服務(wù)，優(yōu)點是成本低、擴展性好、符合信創(chuàng)要求，缺點是相比硬件負(fù)載均衡性能略有下降。上期文章介紹了負(fù)載均衡服務(wù)的關(guān)鍵技術(shù)，本期重點介紹下負(fù)載均衡服務(wù)在G行的實踐。

G行彈性負(fù)載均衡實踐

G行在應(yīng)用上云過程中，通過制定上云模型以規(guī)范上云部署架構(gòu)。上云模型主要分為虛擬機架構(gòu)上云、容器化上云、裸金屬上云以及多種形式的混合上云部署模型。在這些模型中，彈性負(fù)載均衡主要提供流量負(fù)載能力，主要運用在虛擬機應(yīng)用和容器應(yīng)用中。

圖1 G行虛擬機上云與容器化上云的負(fù)載均衡示意

虛擬機應(yīng)用彈性負(fù)載均衡服務(wù)能力實踐

為滿足同城多活要求，應(yīng)用服務(wù)在邏輯上三個數(shù)據(jù)中心部署（分別為AZ1、AZ2、AZ3）。其中數(shù)據(jù)層部署跨三中心的DB和Redis服務(wù)實例，對三中心的應(yīng)用服務(wù)層提供統(tǒng)一的數(shù)據(jù)庫服務(wù)和緩存服務(wù)。數(shù)據(jù)庫服務(wù)主要用于結(jié)構(gòu)化數(shù)據(jù)的永久保存，緩存服務(wù)主要用于會話保持?jǐn)?shù)據(jù)的存儲和其他緩存使用場景，實現(xiàn)應(yīng)用無狀態(tài)。

應(yīng)用層在每個數(shù)據(jù)中心部署對應(yīng)的前端Web應(yīng)用和后端App服務(wù)。其中Web和App服務(wù)均以負(fù)載均衡架構(gòu)部署，通過前端的負(fù)載均衡ELB將請求流量轉(zhuǎn)發(fā)到對應(yīng)的后端服務(wù)節(jié)點，提升負(fù)載能力的同時保障系統(tǒng)的高可用設(shè)計，并且可根據(jù)服務(wù)的容量需求進行動態(tài)擴縮容。負(fù)載均衡通過TCP和HTTP兩種健康檢查方式對后端負(fù)載的存活狀態(tài)進行探查，實現(xiàn)故障節(jié)點自動隔離能力和故障自愈恢復(fù)能力。

在應(yīng)用訪問層設(shè)計方面，全棧云為三層網(wǎng)絡(luò)架構(gòu)，每個數(shù)據(jù)中心使用一個ELB地址作為該數(shù)據(jù)中心的應(yīng)用入口，外部請求通過DNS服務(wù)配置的域名解析策略將流量轉(zhuǎn)發(fā)到三個數(shù)據(jù)中心Web服務(wù)前端的ELB地址，然后ELB將請求轉(zhuǎn)發(fā)到對應(yīng)的Web服務(wù)，再經(jīng)App服務(wù)前端的ELB負(fù)載到App服務(wù)，最終到數(shù)據(jù)庫服務(wù)。

由于上述架構(gòu)在三個數(shù)據(jù)中心使用了三個ELB作為應(yīng)用入口地址，無法像傳統(tǒng)環(huán)境一樣，使用統(tǒng)一一個負(fù)載均衡實例作為入口地址，利用負(fù)載均衡的會話保持功能實現(xiàn)會話保持，因此需要通過應(yīng)用層將會話信息Session保存在Redis服務(wù)中。外部請求再次進入系統(tǒng)后，讀取Session信息獲取會話信息，而無需關(guān)注實際請求是哪一個服務(wù)節(jié)點，對應(yīng)用來說是透明的，從而實現(xiàn)全棧應(yīng)用的會話保持能力。

圖2 G行虛擬機應(yīng)用彈性負(fù)載均衡服務(wù)架構(gòu)示意

容器應(yīng)用彈性負(fù)載均衡服務(wù)能力實踐

容器部署應(yīng)用以前后端分離單體應(yīng)用為例，應(yīng)用請求依舊通過DNS服務(wù)將請求轉(zhuǎn)發(fā)到Web服務(wù)對應(yīng)的ELB地址，然后Web服務(wù)通過訪問App服務(wù)的Service將流量轉(zhuǎn)發(fā)到實際App服務(wù)Pod上，最后訪問到數(shù)據(jù)庫服務(wù)。

在該應(yīng)用架構(gòu)中主要有兩點需要特別說明。第一，負(fù)載均衡ELB作為容器應(yīng)用對外暴露端口的固定地址，三中心架構(gòu)通過DNS域名將地址解析到三中心的ELB地址，ELB地址通過在k8s集群創(chuàng)建Loadbalance服務(wù)，將應(yīng)用服務(wù)對外暴露。第二，在k8s集群內(nèi)部，服務(wù)與服務(wù)之間通過Service服務(wù)訪問，嚴(yán)禁使用ELB的Loadbalance服務(wù)。該應(yīng)用Web服務(wù)訪問App服務(wù)，屬于集群內(nèi)部訪問，Web服務(wù)應(yīng)該通過Service服務(wù)訪問App，此時的Service服務(wù)在k8s內(nèi)部類似起到負(fù)載均衡器的作用。

關(guān)于App的Service服務(wù)，此處的負(fù)載均衡器理論上也可以通過彈性負(fù)載均衡ELB暴露固定地址，訪問鏈路由DNS-->ELB-->Web Pod-->Service-->App Pod-->EverDB演變?yōu)镈NS-->ELB-->Web Pod-->ELB-->App Pod-->EverDB。雖然訪問沒有問題，但增大了ELB實例的服務(wù)開銷，同時本身內(nèi)部服務(wù)訪問的容器網(wǎng)絡(luò)流量轉(zhuǎn)變?yōu)槿萜骶W(wǎng)絡(luò)和ELB網(wǎng)絡(luò)的交叉流量，降低了服務(wù)之間的訪問效率，并且增加網(wǎng)絡(luò)鏈路的復(fù)雜度。

圖3 G行容器應(yīng)用彈性負(fù)載均衡服務(wù)架構(gòu)示意

總結(jié)

全棧云應(yīng)用通過負(fù)載均衡ELB將負(fù)載流量轉(zhuǎn)發(fā)給后端的多個虛擬機或者容器應(yīng)用，通過TCP和HTTP兩種健康檢查方式對后端負(fù)載的存活狀態(tài)進行探查。TCP健康檢查只探測對應(yīng)的應(yīng)用端口是否存在，配置簡單，響應(yīng)較快。HTTP檢查可以根據(jù)提供的端口和URL路徑準(zhǔn)確判斷應(yīng)用的健康狀態(tài)，檢查準(zhǔn)確性高，覆蓋面更全，具體使用方式根據(jù)業(yè)務(wù)場景進行配置。針對流量轉(zhuǎn)發(fā)算法，一般負(fù)載均衡設(shè)備后端的負(fù)載節(jié)點配置相同，可采用輪詢算法進行負(fù)載流量轉(zhuǎn)發(fā)。

針對不同的上云部署方式，虛擬機類應(yīng)用，彈性負(fù)載均衡無特殊要求；而容器類應(yīng)用，彈性負(fù)載均衡ELB只能用于需要對外暴露服務(wù)端口的服務(wù)，通過創(chuàng)建Loadbalance服務(wù)將ELB和容器Pod關(guān)聯(lián)，而內(nèi)部服務(wù)訪問統(tǒng)一使用Service服務(wù)。?