—— 某銀行使用華為云FusionInsight構(gòu)建“一湖兩平臺”金融數(shù)據(jù)湖

一、基于混合云的大數(shù)據(jù)發(fā)展趨勢

大數(shù)據(jù)技術(shù)經(jīng)過近幾年的快速發(fā)展，在企業(yè)數(shù)據(jù)中心的基礎(chǔ)設(shè)施上已不鮮見，尤其是金融行業(yè)，大數(shù)據(jù)技術(shù)應(yīng)用的步伐已經(jīng)走在其它行業(yè)前面，除此之外數(shù)據(jù)規(guī)模量級的增長也非常迅猛。行業(yè)場景方面，金融企業(yè)在以數(shù)據(jù)湖、融合數(shù)倉、湖內(nèi)數(shù)倉（Data LakeHouse）等一些典型的技術(shù)場景中逐步將大數(shù)據(jù)生態(tài)技術(shù)應(yīng)用到金融企業(yè)的風(fēng)險控制、運營管理、信貸查詢、信用卡征信和財務(wù)分析等領(lǐng)域。

從2019年的各類技術(shù)峰會以及各廠商新品發(fā)布會來看，一個新的趨勢開始影響大數(shù)據(jù)的發(fā)展，通過“云原生”重新定義大數(shù)據(jù)類的基礎(chǔ)平臺軟件。大數(shù)據(jù)云服務(wù)化已經(jīng)提了很多年，但是目前用戶的大數(shù)據(jù)平臺的服務(wù)能力依舊很弱，很多企業(yè)的大數(shù)據(jù)平臺僅承擔(dān)跑批業(yè)務(wù)，除了IT崗位的用戶之外，其它的業(yè)務(wù)崗位根本感受不到大數(shù)據(jù)的存在，更談不上通過從大數(shù)據(jù)技術(shù)設(shè)施得到業(yè)務(wù)的收益。本質(zhì)原因就是大數(shù)據(jù)基礎(chǔ)平臺軟件并不具備云服務(wù)化的基礎(chǔ)能力，這是2019年通過“云原生”重新定義軟件的時代背景，由此可預(yù)見，未來基礎(chǔ)軟件平臺將更多的被賦予“提供服務(wù)”的能力。

大數(shù)據(jù)的各個組件成為一種服務(wù)化的形態(tài)，主要是將一個大數(shù)據(jù)中心的服務(wù)能力進行虛擬化，多個用戶群體可共用服務(wù)能力，單個用戶群體有類似獨占的使用體驗，而且隨著用戶群體規(guī)模和類別的增加，資源可以輕量化彈性伸縮，自動發(fā)放與回收，底層基礎(chǔ)架構(gòu)的耦合比較輕，甚至解耦。在這種架構(gòu)下，用戶的需求，可以更快地被響應(yīng)和實現(xiàn)。因為云原生技術(shù)可以有效地縮短應(yīng)用交付的周期，讓需求更快落地，最終為用戶服務(wù)，動態(tài)實現(xiàn)價值，而不僅僅承擔(dān)跑批業(yè)務(wù)。所以，一個本地建設(shè)的大數(shù)據(jù)中心往往需要大量的資金、人力的投入，為單個用戶群體建立專用中心是不現(xiàn)實的，因此大數(shù)據(jù)服務(wù)的云化在這些場景很有價值，也可能是必須的選擇。

在當(dāng)前的云計算產(chǎn)業(yè)商業(yè)模式下，未來金融企業(yè)的大數(shù)據(jù)基礎(chǔ)設(shè)施向公有云或者混合云部署模式轉(zhuǎn)變成為必然，隨之而來的是用戶對云服務(wù)提供商的合規(guī)和信息安全的要求會進一步提高。當(dāng)大數(shù)據(jù)被賦予云原生的含義后，大數(shù)據(jù)的真正業(yè)務(wù)價值才會逐步綻放，大數(shù)據(jù)固定資產(chǎn)投資才能真正變現(xiàn)，從而讓更多的領(lǐng)域從大數(shù)據(jù)中獲益，全面提升大數(shù)據(jù)的投資回報率。

二、某行大數(shù)據(jù)服務(wù)云BDSP案例

背景與挑戰(zhàn)

全行各業(yè)務(wù)線數(shù)據(jù)量不斷增加，業(yè)務(wù)側(cè)對數(shù)據(jù)需求非常迫切，舊有的模式是業(yè)務(wù)提需求給開發(fā)中心，開發(fā)中心安排開發(fā)資源管道，大量的需求積壓，甚至由于開發(fā)周期太長導(dǎo)致需求已經(jīng)沒有了實際意義。另外行內(nèi)煙囪式的數(shù)據(jù)平臺建設(shè)導(dǎo)致“數(shù)據(jù)孤島”，給開發(fā)人員帶來大量的數(shù)據(jù)拉取和整合的工作量。耗費了大量的人力物力以及時間，還導(dǎo)致了業(yè)務(wù)側(cè)的投訴和抱怨，工作效率嚴重滯后。從投資成本來看，業(yè)務(wù)倒逼IT的煙囪式的數(shù)據(jù)平臺的投資建設(shè)，耗費了龐大資金和人力投入，協(xié)同效能的提升問題凸顯。

解決方案

通過引入華為云EI智能數(shù)據(jù)湖FusionInsight提供的MRS+DWS大數(shù)據(jù)云服務(wù)化產(chǎn)品，將行內(nèi)的基礎(chǔ)數(shù)據(jù)需求按照業(yè)務(wù)劃分為數(shù)據(jù)湖、數(shù)據(jù)倉庫和集團信息庫，即“一湖兩庫”為核心，通過不同的數(shù)據(jù)處理手段將數(shù)據(jù)持久化；通過華為MRS和DWS產(chǎn)品提供的組件將主流的數(shù)據(jù)處理引擎集成在大數(shù)據(jù)服務(wù)云平臺中；再將這些數(shù)據(jù)服務(wù)以租戶渠道方式作為接口開放，例如“數(shù)據(jù)集市”、“損益預(yù)查詢”，最后用戶通過自助或者固定的應(yīng)用服務(wù)渠道來獲得大數(shù)據(jù)服務(wù)，如“分析師工作臺”。

平臺全部嘗試采用全國產(chǎn)化技術(shù)，基于ARM技術(shù)服務(wù)器和華為MRS產(chǎn)品構(gòu)建了1000+節(jié)點的大數(shù)據(jù)云化服務(wù)集群。

在行內(nèi)的大數(shù)據(jù)服務(wù)云場景中，真正提供服務(wù)核心的是一個全行共用的大數(shù)據(jù)基礎(chǔ)平臺（MRS+DWS），使用服務(wù)的是多個不同的用戶群體，各用戶群體以租戶形式互相隔離（租戶渠道層），單個租戶在限定的范圍內(nèi)使用大數(shù)據(jù)的服務(wù)，如圖所示。大數(shù)據(jù)服務(wù)云平臺提供用戶自服務(wù)的渠道，例如風(fēng)險計量或者分析師工作臺。用戶自行管理租戶資源池內(nèi)可用的資源、數(shù)據(jù)等內(nèi)容。在使用過程中平臺提供用戶的驗證、訪問的管控、審計，對資源使用的計費等衍生問題的處理。

業(yè)務(wù)價值

將大數(shù)據(jù)基礎(chǔ)平臺在云化基礎(chǔ)設(shè)施上的部署，使得大數(shù)據(jù)系統(tǒng)降低了建設(shè)、部署、運維等環(huán)節(jié)的投入，體現(xiàn)在在多個租戶間平攤大數(shù)據(jù)中心的建設(shè)、運維成本，提高大數(shù)據(jù)中心的使用效率。

基于存算分離的架構(gòu)部署，有效的節(jié)約了存儲成本，真正做到資源的“按需分配”。

對于單租戶，省去了維護大數(shù)據(jù)系統(tǒng)帶來的龐大資金和人力投入，使得大數(shù)據(jù)系統(tǒng)降低了建設(shè)、部署、運維等環(huán)節(jié)的使用門檻，助力普通員工輕松使用大數(shù)據(jù)應(yīng)用。

華為云針對大數(shù)據(jù)上云與治理提出了一套適用于互聯(lián)網(wǎng)、金融、游戲、產(chǎn)業(yè)云等行業(yè)的解決方案，由數(shù)據(jù)采集到數(shù)據(jù)處理與匯聚，再到數(shù)據(jù)計算與分析，最后到應(yīng)用與消費層，通過對數(shù)據(jù)的一系列采集、處理、分析和應(yīng)用，構(gòu)建全場景數(shù)據(jù)服務(wù)助力政府/企業(yè)數(shù)字化轉(zhuǎn)型，最終實現(xiàn)從數(shù)據(jù)到價值的閉環(huán)。828上云季，不但有億元上云補貼，還有新購滿額送華為手機P40 Pro 5G，超多豪禮等你來拿~

https://activity.huaweicloud.com/data.html

掃碼立即搶購，還可免費獲取超高價值的產(chǎn)品白皮書噢！