【CIO實例】金融公有云:美國金融業(yè)監(jiān)管局利用AWS云實現(xiàn)每日750億筆交易分析
譯文【51CTO.com快譯】大約三年前,美國金融業(yè)監(jiān)管局(簡稱FINRA)開始籌備將工作負(fù)載遷移至Amazon云環(huán)境。當(dāng)時,大多數(shù)企業(yè)尚著眼在更易于實現(xiàn)的目標(biāo):將相對易于轉(zhuǎn)移的應(yīng)用程序交由云環(huán)境打理。
但FINRA并不滿足于此。“我們從一開始就在將最為關(guān)鍵的各類系統(tǒng)遷移至AWS。”FINRA執(zhí)行副總裁兼CIO Steve Randich解釋稱,他之前還曾擔(dān)任過納斯達(dá)克證券交易所與花旗銀行的CIO。“我們直接選擇遷移關(guān)鍵性、數(shù)據(jù)密集型服務(wù)。”而Randich將其稱為FINRA的“皇冠明珠”。
FINRA每天都需要對紐約證券交易所中的訂單與相關(guān)信息加以記錄,這意味著其單日事件處理量就高達(dá)750億次。據(jù)Randich所言,F(xiàn)INRA一天處理的交易數(shù)據(jù)相當(dāng)于Visa與萬事達(dá)卡六個月的規(guī)模。同時,F(xiàn)INRA還需要存儲這部分信息,以備后續(xù)進(jìn)行日度、周度乃至月度分析。記錄總量高達(dá)萬億級別,存儲總量亦達(dá)到20PB左右。為了應(yīng)對這一挑戰(zhàn),F(xiàn)INRA選擇了新的IT實現(xiàn)中心——AWS。
為何遷移至云端
作為股票市場的主要政府監(jiān)管機構(gòu),美國證券交易委員會(簡稱SEC)在即將出臺的法規(guī)當(dāng)中提出了更為嚴(yán)格的數(shù)據(jù)收集及分析要求。據(jù)Randich介紹,這也是FINRA決定使用云服務(wù)的主要驅(qū)動因素之一。
該機構(gòu)的原有專用數(shù)據(jù)倉庫設(shè)備運行效果依然良好,但Randich對于其承載FINRA未來用例的能力抱有疑問,“著眼于未來,我們很快意識到需要不同于以往的解決方案才能應(yīng)對新的要求。”他在本屆于拉斯維加斯召開的AWS re:Invent大會演講中指出。
FINRA方面評估了多家服務(wù)供應(yīng)商。原有基礎(chǔ)設(shè)施供應(yīng)商試圖說服他,并強調(diào)稱如此規(guī)模的數(shù)據(jù)庫無法運行在公有云當(dāng)中。然而在經(jīng)過概念驗證性評估之后,F(xiàn)INRA認(rèn)為AWS的“領(lǐng)先程度超越其它競爭對手?jǐn)?shù)年”,Randich表示這一優(yōu)勢仍在不斷擴大。
FINRA執(zhí)行副總裁兼CIO Steve Randich
針對云遷移決策,他提出了四項基本原則:
-自給自足:Randich不希望依賴于任何顧問或者供應(yīng)商。FINRA自主建立相關(guān)知識體系以管理其AWS云。
-公有云對私有云:目前大多數(shù)金融服務(wù)機構(gòu)更傾向于使用私有云。“我們的觀點是,為什么非要持有、管理并支持這么多商用硬件?”他提出質(zhì)疑,“為什么不遵循摩爾定律的指導(dǎo)?”在Randich看來,“基礎(chǔ)設(shè)施管理人員往往只是出于延續(xù)以往經(jīng)驗”才主張選擇私有云。
-開源:Randich高度關(guān)注HBase與Hive的發(fā)展,即傾向于使用開源數(shù)據(jù)庫標(biāo)準(zhǔn)而非由供應(yīng)商把持且要求購買許可的專有型數(shù)據(jù)庫。
-并非單純上傳:相反,他決定對現(xiàn)有應(yīng)用程序進(jìn)行重寫與平臺針對性調(diào)整,從而***程度發(fā)揮云計算中的優(yōu)勢。
基于上述考慮,現(xiàn)在,F(xiàn)INRA使用著各類Amazon云服務(wù):從EC2虛擬機到彈性容器服務(wù),再到Lambda計算; 虛擬私有云、Route 53以及Direct Connect負(fù)責(zé)實現(xiàn)網(wǎng)絡(luò)連接; DynamoDB、關(guān)系型數(shù)據(jù)庫服務(wù)(簡稱RDS)、簡單存儲服務(wù)(簡稱S3)、Glacier以及彈性塊存儲(簡稱EBS)等數(shù)據(jù)服務(wù); 密鑰管理服務(wù)(簡稱KMS)、身份與訪問管理(簡稱IAM)等安全工具; 外加簡單隊列服務(wù)(簡稱SQS)與簡單通知服務(wù)(簡稱SNS)等各類應(yīng)用功能。
憑借著云計算帶來的顯著成本節(jié)約效果,F(xiàn)INRA得以擺脫專有基礎(chǔ)設(shè)施帶來的預(yù)算壓力,進(jìn)而立足于大規(guī)模商用性成本實現(xiàn)事務(wù)處理與存儲。
Randich表示,目前云業(yè)務(wù)系統(tǒng)的交互查詢性能較原有平臺提升了400倍。“原本的方案就像是只能每天進(jìn)行數(shù)次谷歌搜索操作,這樣的效果顯然無法接受。”他解釋稱,“現(xiàn)在我們能夠在數(shù)秒甚至一秒之內(nèi)完成此類大規(guī)模操作。”
FINRA還能夠以自動化方式快速上線及關(guān)閉成千上萬個節(jié)點,從而應(yīng)對“閃電崩盤”及其它極端情況下的市場事件,且整個過程“幾乎不會給正常使用帶來任何影響,我們也往往是在審查日志時才意識到出現(xiàn)了資源需求峰值。”
2015年,Randich表示他開始意識到云環(huán)境下的網(wǎng)絡(luò)安全水平要優(yōu)于內(nèi)部環(huán)境。“這使得我們能夠不再被專有數(shù)據(jù)庫供應(yīng)商們的宣傳所迷惑”,而可以放心大膽地使用云服務(wù),他總結(jié)稱。
原文標(biāo)題:Financial regulators use AWS’s cloud to analyze 75 billion trades daily,原文作者:Brandon Butler
【51CTO譯稿,合作站點轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】