引言

近年來，隨著移動(dòng)支付技術(shù)的發(fā)展和支付場(chǎng)景的普及，“掃一掃”付款已成為我們?nèi)粘Ｉ畹闹匾M成部分，在日常消費(fèi)、交通出行、社保醫(yī)療等重點(diǎn)領(lǐng)域和生活場(chǎng)景中，快捷支付給我們帶來很多便利。作為移動(dòng)支付基礎(chǔ)設(shè)施的關(guān)鍵環(huán)節(jié)，銀行快捷支付系統(tǒng)的穩(wěn)定性將直接影響每一位消費(fèi)者的支付體驗(yàn)。

鑒于快捷支付業(yè)務(wù)的頻繁交互需求，快捷支付系統(tǒng)需應(yīng)對(duì)日常龐大的交易請(qǐng)求，從網(wǎng)絡(luò)層面來講具有高頻短連接的特性，即連接快速建立、快速釋放，此處說的連接是基于TCP(Transmission Control Protocol)傳輸控制協(xié)議進(jìn)行的。近年來G行持續(xù)開展快捷支付網(wǎng)絡(luò)優(yōu)化，不斷提升交易成功率，助力提升快捷支付客戶體驗(yàn)。

TCP協(xié)議簡(jiǎn)介

TCP是一種面向連接的、可靠的傳輸通信協(xié)議，工作階段分為建立連接、數(shù)據(jù)傳輸和連接終止，我們常說的五元組，即源IP地址、源端口、目的IP地址、目的端口和傳輸層協(xié)議（如TCP），共同組成一個(gè)連接。

為保證報(bào)文傳輸?shù)目煽浚琓CP協(xié)議為每個(gè)報(bào)文設(shè)置一個(gè)序號(hào)，該序號(hào)也保證了傳送到接收端實(shí)體報(bào)文的按序接收，然后接收端實(shí)體對(duì)已成功收到的字節(jié)回一個(gè)相應(yīng)的確認(rèn)(ACK)，如果發(fā)送端實(shí)體在合理的往返時(shí)延(RTT)內(nèi)未收到確認(rèn)，那么對(duì)應(yīng)的數(shù)據(jù)將會(huì)被重傳。

首先，TCP協(xié)議通過“三次握手”建立連接，過程如下圖所示：

圖1 TCP協(xié)議三次握手

1、客戶端向服務(wù)器端發(fā)送標(biāo)志位為SYN的TCP報(bào)文，隨后客戶端進(jìn)入SYN-SENT狀態(tài)；

2、服務(wù)器端收到來自客戶端的TCP報(bào)文后發(fā)送一個(gè)標(biāo)志位為SYN和ACK的TCP報(bào)文，隨后進(jìn)入SYN-RCVD狀態(tài)；

3、客戶端收到服務(wù)器端的標(biāo)志位為SYN和ACK的TCP報(bào)文后發(fā)送標(biāo)志位為ACK的TCP報(bào)文，隨后進(jìn)入ESTABLISHED狀態(tài)，服務(wù)器端在收到客戶端標(biāo)志位為ACK的TCP報(bào)文后也進(jìn)入ESTABLISHED狀態(tài)，隨后雙方進(jìn)入數(shù)據(jù)報(bào)文交互階段。

在三次握手完成后，客戶端和服務(wù)器成功建立TCP連接，開始進(jìn)行數(shù)據(jù)傳輸，數(shù)據(jù)傳輸完成后，TCP協(xié)議通過“四次揮手”終止連接，過程如下圖所示（以客戶端主動(dòng)發(fā)起關(guān)閉連接為例）：

圖2 TCP協(xié)議四次揮手

1、由客戶端主動(dòng)發(fā)送標(biāo)志位為FIN的TCP報(bào)文，隨后進(jìn)入FIN-WAIT-1的狀態(tài)；

2、服務(wù)器端在收到客戶端標(biāo)志位為FIN的TCP報(bào)文后，發(fā)送一個(gè)標(biāo)志位為ACK的TCP報(bào)文，隨后進(jìn)入CLOSE-WAIT狀態(tài)；

3、客戶端在收到服務(wù)器端發(fā)送的標(biāo)志位為ACK的TCP報(bào)文后進(jìn)入FIN-WAIT-2狀態(tài)，服務(wù)器端在做好連接釋放準(zhǔn)備后主動(dòng)發(fā)送標(biāo)志位為FIN和ACK的TCP報(bào)文給客戶端，隨后進(jìn)入LAST-ACK狀態(tài)；

4、客戶端在收到服務(wù)器端標(biāo)志位為FIN和ACK的TCP報(bào)文后向服務(wù)器端發(fā)送標(biāo)志位為ACK的TCP報(bào)文，隨后進(jìn)入TIME-WAIT狀態(tài)，服務(wù)器端在收到客戶端發(fā)送的標(biāo)志位為ACK的TCP報(bào)文后關(guān)閉連接，客戶端在等待TIME-WAIT狀態(tài)（2個(gè)最大報(bào)文存活時(shí)間）超時(shí)后也關(guān)閉連接。

快捷支付架構(gòu)介紹

快捷支付系統(tǒng)業(yè)務(wù)邏輯流程通常包括：商戶端發(fā)起快捷支付交易請(qǐng)求，通過運(yùn)營(yíng)商專線到達(dá)銀行三方中間業(yè)務(wù)DMZ區(qū)域，在銀行內(nèi)部經(jīng)過防火墻、負(fù)載均衡或加解密等設(shè)備處理后與銀行快捷支付系統(tǒng)進(jìn)行連接交互，每一筆交易會(huì)建立2個(gè)連接。具體過程如下：商戶端首先通過“三次握手”與銀行加解密設(shè)備建立一個(gè)TCP連接（圖3中所示連接1），商戶發(fā)起交易請(qǐng)求至銀行加解密設(shè)備對(duì)加密報(bào)文進(jìn)行解密，隨后加解密設(shè)備以代理模式（使用商戶地址和端口），通過“三次握手”與銀行無卡快捷前置服務(wù)器建立一個(gè)新的連接（圖3中所示連接2），經(jīng)過銀行后臺(tái)處理后將交易處理結(jié)果返回商戶。交易處理完成之后，由商戶通過“四次揮手”終止與加解密設(shè)備的連接1，隨后加解密設(shè)備終止與后端服務(wù)器的連接2。

為保障快捷支付業(yè)務(wù)的安全平穩(wěn)運(yùn)行，G行部署了網(wǎng)絡(luò)流量分析工具，在多個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)同時(shí)進(jìn)行網(wǎng)絡(luò)流量實(shí)時(shí)捕獲分析，對(duì)快捷支付交易進(jìn)行監(jiān)控，一旦發(fā)現(xiàn)失敗交易就可以通過數(shù)據(jù)報(bào)文對(duì)每一筆失敗交易進(jìn)行回溯分析，作為持續(xù)優(yōu)化改進(jìn)的依據(jù)。

圖3 快捷支付架構(gòu)示意圖

表4所示是G行一筆快捷支付交易中的兩個(gè)連接流經(jīng)各網(wǎng)絡(luò)路徑的源目地址和端口情況。其中銀行防火墻設(shè)備對(duì)交易進(jìn)行訪問控制，并對(duì)目的地址（即銀行加解密設(shè)備地址）進(jìn)行轉(zhuǎn)換，一層負(fù)載均衡設(shè)備對(duì)加解密設(shè)備進(jìn)行負(fù)載，二層負(fù)載均衡設(shè)備對(duì)無卡快捷前置服務(wù)器進(jìn)行負(fù)載。

表4 快捷支付TCP連接源目地址和端口情況

負(fù)載均衡設(shè)備源端口快速?gòu)?fù)用問題及優(yōu)化

在前期日常運(yùn)行維護(hù)過程中，運(yùn)營(yíng)人員反饋快捷支付業(yè)務(wù)每天會(huì)有少量連接交易失敗的情況，經(jīng)過網(wǎng)絡(luò)管理員抓包分析發(fā)現(xiàn)為加解密設(shè)備有時(shí)會(huì)向商戶方向主動(dòng)發(fā)送Reset報(bào)文斷鏈，與前文描述的商戶主動(dòng)關(guān)閉連接不符。網(wǎng)絡(luò)人員通過網(wǎng)絡(luò)流量分析平臺(tái)逐筆逐包對(duì)異常交易連接進(jìn)行深度分析，首先在產(chǎn)生斷鏈告警的加解密設(shè)備側(cè)進(jìn)行網(wǎng)絡(luò)流量分析，確認(rèn)加解密設(shè)備主動(dòng)向商戶方向發(fā)送了Reset報(bào)文，如圖5所示：

圖5 加解密設(shè)備主動(dòng)向商戶方向發(fā)送Reset報(bào)文

為進(jìn)一步確認(rèn)問題根本原因，技術(shù)人員順藤摸瓜，在一層負(fù)載均衡節(jié)點(diǎn)繼續(xù)進(jìn)行網(wǎng)絡(luò)流量分析，此時(shí)發(fā)現(xiàn)負(fù)載均衡源端口轉(zhuǎn)換機(jī)制，由于端口轉(zhuǎn)換導(dǎo)致快速使用了前一個(gè)連接用的源端口，如圖6所示：

圖6 一層負(fù)載均衡源端口快速?gòu)?fù)用

快速?gòu)?fù)用的原因?yàn)樯虘粼谕ㄟ^“四次揮手”終止與加解密設(shè)備的連接1后，發(fā)送Reset報(bào)文快速回收了這個(gè)連接，所以一層負(fù)載均衡和加解密設(shè)備均會(huì)快速回收連接1，回收后下一個(gè)新的連接有概率的會(huì)出現(xiàn)復(fù)用前一個(gè)連接源端口的情況，此時(shí)因加解密設(shè)備已快速回收前一個(gè)連接1，復(fù)用源端口的新連接1可以正常建立，如圖7所示：

圖7 快速?gòu)?fù)用源端口的連接1正常建鏈

正如前文所述，當(dāng)新的連接成功建立后，加解密設(shè)備會(huì)使用連接1的源地址和源端口，發(fā)起和后端無卡快捷前置服務(wù)器（目的地址為二層負(fù)載均衡VS地址）的連接2，此時(shí)因連接2為標(biāo)準(zhǔn)的“四次揮手”斷鏈，加解密設(shè)備向服務(wù)器端發(fā)送標(biāo)志位為ACK的TCP報(bào)文后進(jìn)入TIME-WAIT狀態(tài)，在處理連接回收TIME-WAIT等待時(shí)間內(nèi)不能接受相同五元組的新連接。在此時(shí)間內(nèi)如果出現(xiàn)相同五元組的新連接，會(huì)導(dǎo)致新連接無法正常建立，出現(xiàn)加解密設(shè)備向商戶方向發(fā)送Reset斷鏈的情況。而且交易量越大五元組沖突的可能性越高，交易失敗的筆數(shù)及概率越高，在業(yè)務(wù)層面表現(xiàn)為客戶已經(jīng)發(fā)起的一筆快捷支付交易失敗，需要重新發(fā)起交易，影響客戶使用體驗(yàn)。

在明確問題原因及原理后，網(wǎng)絡(luò)優(yōu)化的思路是避免因TIME-WAIT導(dǎo)致的連接2無法正常建立問題，同時(shí)需保證各項(xiàng)優(yōu)化操作不會(huì)對(duì)實(shí)際生產(chǎn)交易造成新的影響。在綜合考量各個(gè)因素后，網(wǎng)絡(luò)技術(shù)人員分階段開展優(yōu)化工作，首先將一層負(fù)載均衡設(shè)備源端口轉(zhuǎn)換功能設(shè)置為不轉(zhuǎn)換模式，即不再對(duì)商戶發(fā)起的連接1的源端口進(jìn)行轉(zhuǎn)換，減少快速?gòu)?fù)用前一個(gè)連接源端口的連接1出現(xiàn)的幾率。優(yōu)化后每日連接重置的數(shù)量有一定下降，如圖8所示。

圖8  一層負(fù)載均衡設(shè)備源端口保持優(yōu)化后連接重置交易變化情況

表9所示是優(yōu)化后一筆快捷支付交易中的兩個(gè)連接流經(jīng)各網(wǎng)絡(luò)路徑的源目地址和端口情況。

表9 快捷支付TCP連接源目地址和端口情況

商戶源端口快速?gòu)?fù)用問題及優(yōu)化

在關(guān)閉一層負(fù)載均衡源端口轉(zhuǎn)換設(shè)置后，網(wǎng)絡(luò)技術(shù)人員發(fā)現(xiàn)每日依然存在連接重置的情況，為此繼續(xù)向靠近商戶方向的節(jié)點(diǎn)進(jìn)行網(wǎng)絡(luò)流量分析，發(fā)現(xiàn)商戶在發(fā)出交易請(qǐng)求時(shí)就存在源端口快速?gòu)?fù)用的情況，如圖10所示：

圖10商戶側(cè)源端口快速?gòu)?fù)用

此時(shí)有兩個(gè)方向的優(yōu)化思路，一是仿照解決一層負(fù)載均衡源端口快速?gòu)?fù)用問題思路，減少相同五元組的連接1出現(xiàn)的幾率。考慮到商戶側(cè)的源端口快速?gòu)?fù)用不在G行網(wǎng)絡(luò)技術(shù)人員維護(hù)范圍之內(nèi)，優(yōu)化起來有一定難度，而商戶側(cè)會(huì)和銀行加解密設(shè)備建立連接1，此時(shí)可以嘗試從目的端進(jìn)行優(yōu)化，以達(dá)到同樣的效果。

在連接1的目的端為加解密設(shè)備提供負(fù)載的一層負(fù)載均衡設(shè)備默認(rèn)使用“最小連接數(shù)”的負(fù)載均衡算法，即根據(jù)后端服務(wù)器當(dāng)前的連接情況，動(dòng)態(tài)地選取當(dāng)前積壓連接數(shù)最少的一臺(tái)服務(wù)器，將商戶發(fā)起的交易轉(zhuǎn)發(fā)至多臺(tái)加解密設(shè)備中的其中一臺(tái)。相比“最小連接數(shù)”負(fù)載均衡算法，“輪詢”負(fù)載均衡算法按順序輪流地將交易請(qǐng)求分配到后端服務(wù)器，后一個(gè)連接與前一個(gè)連接分配的目的地址不一致，從原理上來講可減少相同五元組的連接1出現(xiàn)的幾率，而在無卡快捷交易場(chǎng)景下，每臺(tái)加解密設(shè)備上的連接處理機(jī)制一致，調(diào)整為“輪詢”負(fù)載均衡算法后，每臺(tái)加解密設(shè)備連接數(shù)也能相對(duì)保持均衡。

在經(jīng)過充分測(cè)試后，網(wǎng)絡(luò)技術(shù)人員開展第二階段網(wǎng)絡(luò)優(yōu)化，將一層負(fù)載均衡算法調(diào)整為“輪詢”，調(diào)整后每日發(fā)生連接重置的交易筆數(shù)進(jìn)一步下降，證明此步優(yōu)化也是有效的，如圖11所示：

圖11 一層負(fù)載均衡算法優(yōu)化后連接重置交易變化情況

但此時(shí)仍有極少量連接重置情況發(fā)生，原因?yàn)榭旖葜Ц督灰琢看?，調(diào)整一層負(fù)載均衡算法為“輪詢”后，仍有極少量快速?gòu)?fù)用源端口的連接“輪詢”到同一臺(tái)加解密設(shè)備的情況，此時(shí)網(wǎng)絡(luò)技術(shù)人員考慮使用第二個(gè)優(yōu)化思路，即減少連接2回收等待的時(shí)間。如連接2可在較短時(shí)間內(nèi)回收，此時(shí)即使連接1有相同五元組情況，連接2也可正常建立。如前文所述，連接2由加解密設(shè)備通過“四次揮手”關(guān)閉，加解密設(shè)備存在TIME-WAIT等待時(shí)間，TIME-WAIT時(shí)間的長(zhǎng)短將決定連接2回收的時(shí)間。為此，經(jīng)過充分測(cè)試并分批試點(diǎn)，網(wǎng)絡(luò)技術(shù)人員將加解密設(shè)備的TIME-WAIT時(shí)間由1秒調(diào)整為100毫秒。經(jīng)過第三階段優(yōu)化后，每日連接重置交易數(shù)降為0，如圖12所示：

圖12 加解密設(shè)備TIME-WAIT時(shí)間優(yōu)化后連接重置交易變化情況

表13所示是整體優(yōu)化后一筆快捷支付交易中的兩個(gè)連接流經(jīng)各網(wǎng)絡(luò)路徑的源目地址和端口情況。

表13 快捷支付TCP連接源目地址和端口情況

總結(jié)

快捷支付業(yè)務(wù)在應(yīng)用和網(wǎng)絡(luò)層面具有短連接、高頻交易的特性，經(jīng)過三個(gè)關(guān)鍵階段的網(wǎng)絡(luò)優(yōu)化，G行快捷支付交易系統(tǒng)成功率明顯提升，有力支撐了日常大量并發(fā)交易以及“雙十一”、“雙十二”等電商促銷高峰時(shí)段業(yè)務(wù)訪問。

隨著金融業(yè)務(wù)發(fā)展轉(zhuǎn)型，為實(shí)現(xiàn)高質(zhì)量發(fā)展，G行信息科技部持續(xù)深化“123+N”數(shù)字銀行發(fā)展體系，持續(xù)發(fā)揮科技動(dòng)能，通過金融科技手段解決發(fā)展新挑戰(zhàn)。網(wǎng)絡(luò)也將繼續(xù)站在業(yè)務(wù)視角，關(guān)注各類重點(diǎn)業(yè)務(wù)交易場(chǎng)景，優(yōu)化分布式架構(gòu)下網(wǎng)絡(luò)傳輸路徑，提高交易響應(yīng)速度，不斷夯實(shí)底層基礎(chǔ)設(shè)施，持續(xù)優(yōu)化改進(jìn)，提升客戶服務(wù)和使用體驗(yàn)，助力銀行業(yè)務(wù)再上新臺(tái)階。