從數(shù)據(jù)倉庫到數(shù)據(jù)中臺再到數(shù)據(jù)飛輪:金融行業(yè)的數(shù)據(jù)技術(shù)進化史
前言
大家好,我是一名大數(shù)據(jù)開發(fā)工程師,在金融行業(yè)深耕多年,其實數(shù)據(jù)技術(shù)的演進不僅是技術(shù)層面的革新,更是業(yè)務(wù)模式與決策方式的深刻變革。從最開始的數(shù)據(jù)倉庫興起,到數(shù)據(jù)中臺的普及,再到數(shù)據(jù)飛輪的出現(xiàn),每一步都見證了金融行業(yè)對數(shù)據(jù)價值認知的深化和利用能力的提升。下面我將以我所了解到的知識來講一講金融行業(yè)的數(shù)據(jù)技術(shù)進化史。
數(shù)據(jù)倉庫:奠定數(shù)據(jù)基礎(chǔ)
數(shù)據(jù)倉庫這個概念,其實是由數(shù)據(jù)倉庫之父Bill Inmon在1991年出版的“Building the Data Warehouse"定義且被廣泛接受的——面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合,用于支持管理決策。從定義上來看,數(shù)據(jù)倉庫的關(guān)鍵詞為面向主題、集成、穩(wěn)定、反映歷史變化、支持管理決策,而這些關(guān)鍵詞的實現(xiàn)就體現(xiàn)在分層架構(gòu)內(nèi)。
分層架構(gòu)怎么分層呢?市面上主流的分層方式太多了,其實從核心思想上分可以分為ODM貼源層、SDMQ標準層、FDM主題層、ADM應(yīng)用層,如下圖所示:
從數(shù)據(jù)倉庫到數(shù)據(jù)中臺再到數(shù)據(jù)飛輪:金融行業(yè)的數(shù)據(jù)技術(shù)進化史_數(shù)據(jù)
在數(shù)據(jù)倉庫階段,金融行業(yè)主要依賴于IBM、Oracle、Teradata等廠商提供的整體解決方案。然而,隨著數(shù)據(jù)量的進一步爆炸和業(yè)務(wù)需求的多樣化,數(shù)據(jù)倉庫逐漸顯露出其局限性。它雖然能夠存儲和管理大量數(shù)據(jù),但在數(shù)據(jù)處理的實時性、靈活性和效率方面難以滿足日益增長的需求。
數(shù)據(jù)中臺:數(shù)據(jù)價值的深度挖掘
正是在這樣的背景下,數(shù)據(jù)中臺應(yīng)運而生。前面提到數(shù)據(jù)倉庫的核心是分層架構(gòu),那么數(shù)據(jù)中臺的核心就是四化,即業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)資產(chǎn)化、資產(chǎn)服務(wù)化和服務(wù)業(yè)務(wù)化。因為數(shù)據(jù)量的進一步爆炸和業(yè)務(wù)需求的多樣化,所以出現(xiàn)了數(shù)據(jù)中臺,數(shù)據(jù)中臺是如何解決這一現(xiàn)象呢?
下面這張圖是數(shù)據(jù)中臺的邏輯架構(gòu)圖,可以看到數(shù)據(jù)中臺其實是將數(shù)據(jù)服務(wù)化之后提供給業(yè)務(wù)系統(tǒng),目標是將數(shù)據(jù)能力滲透到各個業(yè)務(wù)環(huán)節(jié),不限于決策分析類場景。這種架構(gòu)可以加快數(shù)據(jù)賦能業(yè)務(wù)的速度,為業(yè)務(wù)提供速度更快、更多樣的數(shù)據(jù)服務(wù)。
從數(shù)據(jù)倉庫到數(shù)據(jù)中臺再到數(shù)據(jù)飛輪:金融行業(yè)的數(shù)據(jù)技術(shù)進化史_數(shù)據(jù)倉庫_02
金融行業(yè)其實已經(jīng)步入了智能化的金融科技3.0時代,我認為智慧中臺是智慧金融的新基礎(chǔ)設(shè)施,金融行業(yè)想要實現(xiàn)四化的核心可以先理清金融機構(gòu)自身的數(shù)據(jù)資產(chǎn),梳理好機構(gòu)內(nèi)的數(shù)據(jù)資產(chǎn)后需要對數(shù)據(jù)的標準、口徑等進行統(tǒng)一,最后再向相關(guān)部門提供數(shù)據(jù)服務(wù)。
數(shù)據(jù)飛輪:構(gòu)建數(shù)據(jù)消費的正循環(huán)
什么是數(shù)據(jù)飛輪呢?數(shù)據(jù)飛輪是今年大模型帶火的一個詞匯,核心其實就是通過客戶在應(yīng)用程序中輸入的提示詞這樣的數(shù)據(jù)反饋,使大模型快速迭代。通俗一點就是,好的產(chǎn)品
從數(shù)據(jù)倉庫到數(shù)據(jù)中臺再到數(shù)據(jù)飛輪:金融行業(yè)的數(shù)據(jù)技術(shù)進化史_數(shù)據(jù)倉庫_03
雖然現(xiàn)在數(shù)據(jù)飛輪很火,但是想要在金融行業(yè)落地還是有很多挑戰(zhàn)的,比如金融行業(yè)科技技術(shù)人才占比較少,難以支撐數(shù)據(jù)飛輪落地以及后續(xù)的迭代、更新;難以將數(shù)據(jù)形成資產(chǎn)納入報表或財務(wù)體系,因為無法預(yù)估數(shù)據(jù)的價值形成整套的定價,也缺乏相應(yīng)的質(zhì)量管控體系等。
總結(jié)
從數(shù)據(jù)倉庫到數(shù)據(jù)中臺再到數(shù)據(jù)飛輪,金融行業(yè)的數(shù)據(jù)技術(shù)演進歷程不僅見證了數(shù)據(jù)價值的不斷挖掘和利用,也推動了業(yè)務(wù)模式的深刻變革和創(chuàng)新發(fā)展。在未來的發(fā)展中,我相信數(shù)據(jù)飛輪肯定能完美的在金融行業(yè)實現(xiàn)落地,助力企業(yè)業(yè)務(wù)持續(xù)增長和自我增強的循環(huán)。