2022年數(shù)據(jù)管理五大趨勢
趨勢一:多云和跨云管理
企業(yè)上云后,很自然的想法就是能夠基于一個元數(shù)據(jù)管理系統(tǒng)管理多云的數(shù)據(jù),比如數(shù)據(jù)工程師可以通過運行在AWS上的數(shù)據(jù)目錄來查找數(shù)據(jù),也可以使用運行在Azure上的數(shù)據(jù)集成服務(wù)來訪問Snowflake中的數(shù)據(jù),并將其移動到谷歌云平臺,以便在TensorFlow項目中使用,以上所有操作用一個數(shù)據(jù)管理引擎就能搞定。
趨勢二:AI驅(qū)動的數(shù)據(jù)管理自動化
基于人工智能提升數(shù)據(jù)管理自動化水平提了很多年了,最近企業(yè)引入了一個敏感數(shù)據(jù)自動掃描工具來進行敏感數(shù)據(jù)的自動識別,挺實用,希望這些案例多一點。
趨勢三:數(shù)據(jù)架構(gòu)的體系結(jié)構(gòu)
多云環(huán)境下使得數(shù)據(jù)編目、查找、集成和使用變得困難,數(shù)據(jù)編織是一種解決策略,其能在數(shù)據(jù)之間建立動態(tài)的虛擬鏈接,能實現(xiàn)智能化且易用的數(shù)據(jù)目錄,能通過自服務(wù)的方式實現(xiàn)數(shù)據(jù)的準(zhǔn)備和訪問。
趨勢四:多域主數(shù)據(jù)管理(MDM)
要打造多域主數(shù)據(jù)間的知識圖譜,形成業(yè)務(wù)的全局視圖,從而提升端到端的客戶體驗。
趨勢五:數(shù)據(jù)市場
這點我最認同了,企業(yè)要把數(shù)據(jù)開放當(dāng)成淘寶賣貨,多關(guān)注點體驗,努力促進交易。
《IDC全球首席數(shù)據(jù)官(CDO)大調(diào)研》對全球近900名數(shù)據(jù)領(lǐng)導(dǎo)者進行了調(diào)研。根據(jù)調(diào)研結(jié)果,我們發(fā)現(xiàn)2022年的數(shù)據(jù)管理五大趨勢:
- 趨勢#1 多云和跨云管理
- 趨勢#2 AI驅(qū)動的數(shù)據(jù)管理自動化
- 趨勢#3 數(shù)據(jù)編織的體系結(jié)構(gòu)
- 趨勢#4 多域主數(shù)據(jù)管理
- 趨勢#5 數(shù)據(jù)市場


趨勢#1 多云和跨云管理
調(diào)查發(fā)現(xiàn),82%的組織目前正在使用多個云,或者計劃在未來12個月內(nèi)使用多個云。
隨著越來越多的應(yīng)用程序和數(shù)據(jù)轉(zhuǎn)移到云中,數(shù)據(jù)領(lǐng)導(dǎo)者面臨著越來越復(fù)雜的數(shù)據(jù)管理需求:在同一個云中,跨不同的云中,以及使用本地資源。多云和跨云數(shù)據(jù)管理對于支持這些不同的拓撲結(jié)構(gòu)至關(guān)重要。

圖1:多云中的更多數(shù)據(jù)增加了碎片和復(fù)雜性
多云意味著特定的數(shù)據(jù)管理服務(wù)可以在多個云生態(tài)系統(tǒng)上運行。例如,能夠在亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)、微軟Azure和谷歌云平臺上運行數(shù)據(jù)集成服務(wù)。無論是因為數(shù)據(jù)主權(quán)問題,還是為了避免供應(yīng)商鎖定或并購,多云環(huán)境的出現(xiàn),企業(yè)都希望能夠靈活地跨云生態(tài)系統(tǒng)運行其數(shù)據(jù)管理服務(wù)。
同時,云間數(shù)據(jù)管理使運行在不同云生態(tài)系統(tǒng)上的服務(wù)能夠無縫地協(xié)同工作。例如,數(shù)據(jù)工程師可以通過運行在AWS上的數(shù)據(jù)目錄和市場服務(wù)來查找數(shù)據(jù),該服務(wù)使用運行在Azure上的數(shù)據(jù)集成服務(wù)來訪問Snowflake中的數(shù)據(jù),并將其移動到谷歌云平臺,以便在TensorFlow項目中使用。

圖2:多云和跨云數(shù)據(jù)管理示例
圖2顯示了Informatica如何通過多云和跨云數(shù)據(jù)管理功能幫助您解決碎片和復(fù)雜性問題。
趨勢#2 AI驅(qū)動的數(shù)據(jù)管理自動化
自動化是解決大規(guī)模數(shù)據(jù)碎片化和復(fù)雜性的唯一可行選擇。然而,超過三分之二(68%)的受調(diào)查組織尚未在整個組織內(nèi)將人工智能用于數(shù)據(jù)管理。

圖3:用于數(shù)據(jù)管理的人工智能提高了生產(chǎn)率和靈活性
人工智能可以幫助實現(xiàn)數(shù)據(jù)管理各個方面的自動化,包括數(shù)據(jù)發(fā)現(xiàn)和編目、數(shù)據(jù)和應(yīng)用程序集成、清理和掌握、治理、隱私和數(shù)據(jù)共享。它還提高了所有數(shù)據(jù)用戶的生產(chǎn)率,包括開發(fā)人員、架構(gòu)師、應(yīng)用程序管理員、數(shù)據(jù)管理員、財務(wù)分析師和一線員工。

圖4:用于數(shù)據(jù)管理自動化的人工智能示例
使用人工智能實現(xiàn)數(shù)據(jù)管理自動化增加了人工智能在決策和業(yè)務(wù)流程中的可操作性。優(yōu)化的數(shù)據(jù)管理組織可以:
- 將人工智能全面用于數(shù)據(jù)管理的可能性是以往的五倍
- 為洞察和分析全面操作人工智能的可能性高出三倍
- 將人工智能全面用于過程自動化和優(yōu)化的可能性提高了六倍

趨勢#3 數(shù)據(jù)架構(gòu)的體系結(jié)構(gòu)
隨著組織將更多數(shù)據(jù)放入更多的云中,他們需要一種方法來連接孤立的數(shù)據(jù)源,并使整個組織的數(shù)據(jù)更容易訪問。為了解決這些云數(shù)據(jù)孤島問題,數(shù)據(jù)管理領(lǐng)導(dǎo)者正在尋找數(shù)據(jù)架構(gòu)的體系結(jié)構(gòu)。
事實上,超過一半(54%)的被調(diào)查組織表示,他們正在研究方法和解決方案,或者已經(jīng)將數(shù)據(jù)架構(gòu)的體系結(jié)構(gòu)的某些部分落實到位。

圖5:數(shù)據(jù)架構(gòu)體系結(jié)構(gòu)有助于優(yōu)化數(shù)據(jù)管理
Data Fabric是一個設(shè)計概念,它作為一個架構(gòu)層,用于簡化和擴展數(shù)據(jù)管理任務(wù),并在整個組織中更廣泛、更一致地使用數(shù)據(jù)。

圖6:數(shù)據(jù)架構(gòu)的關(guān)鍵組件
數(shù)據(jù)架構(gòu)的關(guān)鍵組件包括(見圖6):
- 用于發(fā)現(xiàn)和管理數(shù)據(jù)資產(chǎn)的增強元數(shù)據(jù)目錄
- 用于理解數(shù)據(jù)資產(chǎn)之間關(guān)系的元數(shù)據(jù)知識圖
- 一個支持人工智能的推薦引擎,用于建議使用數(shù)據(jù)資產(chǎn)
- 支持ETL、流媒體和API數(shù)據(jù)移動的數(shù)據(jù)準(zhǔn)備和數(shù)據(jù)交付
- 不同數(shù)據(jù)管理服務(wù)協(xié)作的企業(yè)數(shù)據(jù)編排層
嵌入在這五個組件中的是一個AI引擎,它將數(shù)據(jù)架構(gòu)執(zhí)行的數(shù)據(jù)管理任務(wù)進行了自動化。例如,推薦可能感興趣的數(shù)據(jù)集,或自動將業(yè)務(wù)術(shù)語和定義與底層技術(shù)數(shù)據(jù)關(guān)聯(lián),以使業(yè)務(wù)用戶能夠自助服務(wù)。
趨勢#4 多域主數(shù)據(jù)管理(MDM)
隨著企業(yè)的業(yè)務(wù)數(shù)字化進一步發(fā)展,使用云應(yīng)用程序的數(shù)量也在增加。管理端到端的數(shù)字體驗需要應(yīng)用程序中提供一致的主數(shù)據(jù)。
當(dāng)被問及其數(shù)據(jù)管理的預(yù)算優(yōu)先事項時,61%的受訪者表示,多域主數(shù)據(jù)管理(MDM)可以360度查看業(yè)務(wù),是首要考慮的。

圖7:主數(shù)據(jù)管理是優(yōu)化數(shù)據(jù)組織的最優(yōu)先級預(yù)算分配
雖然許多公司最初專注于管理客戶數(shù)據(jù),但他們很快意識到,需要管理和連接材料、供應(yīng)商、產(chǎn)品、位置和主數(shù)據(jù)的其他領(lǐng)域,以獲得360度的業(yè)務(wù)視圖,從而幫助他們提供卓越的數(shù)字體驗。利用多域MDM改善體驗的一些方法包括:
客戶體驗:使?fàn)I銷部門能夠通過客戶、產(chǎn)品和渠道數(shù)據(jù)來了解偏好并提供個性化服務(wù)??缈蛻艚佑|點提供個性化支持和服務(wù)。
產(chǎn)品體驗:使商務(wù)和商品銷售團隊能夠使用客戶、產(chǎn)品和位置數(shù)據(jù),在整個客戶旅程中提供更加吸引的相關(guān)產(chǎn)品體驗。
供應(yīng)商經(jīng)驗:使采購和供應(yīng)商關(guān)系團隊能夠使用供應(yīng)商、材料和位置數(shù)據(jù)簡化供應(yīng)商入職流程,并更好地管理整個組織內(nèi)供應(yīng)商的總開支。
財務(wù)經(jīng)驗:使財務(wù)規(guī)劃和分析團隊能夠使用客戶、產(chǎn)品、渠道、供應(yīng)商、成本中心和位置數(shù)據(jù)來建模場景,制定計劃,并提供及時的報告和分析。

圖8:將多個主數(shù)據(jù)域連接到客戶的360度視圖中
圖8顯示了Informatica如何將客戶、策略和位置主數(shù)據(jù)與交互、交易和服務(wù)請求數(shù)據(jù)連接起來,以創(chuàng)建一個知識圖,提供客戶及其與公司交互的全面360度視圖。
趨勢#5 數(shù)據(jù)市場
數(shù)據(jù)具有變革性。它推動產(chǎn)品和服務(wù)的創(chuàng)新,增強協(xié)作能力,改變企業(yè)和社會。然而,72%的受訪者表示,大多數(shù)業(yè)務(wù)線員工無法自行獲取他們需要使用的所有數(shù)據(jù)。
為了滿足對更大數(shù)據(jù)訪問和共享的需求,我們相信,2022年,從僅僅編目數(shù)據(jù)擴展到更全面的數(shù)據(jù)市場功能的趨勢將會加快。

圖9:優(yōu)化的數(shù)據(jù)組織高度關(guān)注數(shù)據(jù)的訪問和使用
雖然數(shù)據(jù)目錄是數(shù)據(jù)市場的一個組成部分,但該市場還提供訂單管理以及交付和履行功能。它通過類似于零售行業(yè)在線購物體驗簡化了數(shù)據(jù)消費體驗。只需點擊幾下,員工就可以搜索感興趣的主題或領(lǐng)域、將數(shù)據(jù)集添加到購物車、結(jié)賬并安全地交付數(shù)據(jù)。
更先進的數(shù)據(jù)市場還確保以合規(guī)和道德的方式使用組織的數(shù)據(jù)資產(chǎn)。數(shù)據(jù)治理策略可以映射到數(shù)據(jù)集,然后使用這些數(shù)據(jù)集根據(jù)所訪問的數(shù)據(jù)類型創(chuàng)建數(shù)據(jù)使用的條款和條件。這為數(shù)據(jù)消費者提供了正確使用的指導(dǎo),消費者在獲得訪問權(quán)限之前必須接受這些條款。市場提供了對誰在使用什么數(shù)據(jù)、在哪里使用數(shù)據(jù)以及用于什么的完全可審計性。

圖10:使用數(shù)據(jù)市場簡化業(yè)務(wù)自助服務(wù)
圖10顯示了Informatica如何利用云數(shù)據(jù)市場簡化業(yè)務(wù)用戶的數(shù)據(jù)查找、理解和消費。































