新冠疫情在2020年初對大數(shù)據(jù)的應(yīng)用和普及帶來了不利影響，但也使很多企業(yè)加快了他們的數(shù)字化轉(zhuǎn)型計(jì)劃，更多的企業(yè)開始通過深入數(shù)據(jù)湖泊的分析來洞察和發(fā)現(xiàn)機(jī)會。這使他們能夠發(fā)現(xiàn)以前無法辨別的趨勢和模式。

但是，全球數(shù)字化帶來的海量數(shù)據(jù)給它們的存儲和分析帶來了挑戰(zhàn)，有時(shí)限制了其潛力。隨著各行業(yè)領(lǐng)域都迅速采用云計(jì)算技術(shù)，已經(jīng)克服了許多障礙。取而代之的是，人們現(xiàn)在看到了更實(shí)用、即時(shí)和可訪問的商業(yè)智能具有的巨大潛力?？紤]到這一點(diǎn)，需要對2022年大數(shù)據(jù)的主要發(fā)展趨勢進(jìn)行預(yù)測。

1.數(shù)據(jù)湖的采用

隨著新冠疫情加劇了數(shù)字化采用，數(shù)據(jù)湖已經(jīng)成為企業(yè)的一種非常經(jīng)濟(jì)的選擇。遠(yuǎn)程工作和混合工作環(huán)境的興起增加了對數(shù)據(jù)湖的需求，以實(shí)現(xiàn)更快、更高效的數(shù)據(jù)操作。隨著微軟、谷歌、亞馬遜和其他科技巨頭積極鼓勵(lì)向云平臺遷移，數(shù)據(jù)湖的采用使其變得更容易、更便宜。

隨著企業(yè)遷移到云平臺并專注于云計(jì)算數(shù)據(jù)湖，他們也將轉(zhuǎn)向?qū)?shù)據(jù)倉庫與數(shù)據(jù)湖融合。創(chuàng)建數(shù)據(jù)倉庫是為了針對SQL分析進(jìn)行優(yōu)化，但是需要一個(gè)開放、直接和安全的平臺來支持快速增長的新型分析需求和機(jī)器學(xué)習(xí)，最終將使數(shù)據(jù)湖成為數(shù)據(jù)的主要存儲方式。數(shù)據(jù)湖的采用將持續(xù)到2022年及以后，市場規(guī)模將從2020年的37.4億美元增長到2026年的176.0億美元，在2021～2026年預(yù)測期間的復(fù)合年增長率為29.9%。

2.流數(shù)據(jù)和靜態(tài)數(shù)據(jù)將統(tǒng)一

如今的大數(shù)據(jù)分析側(cè)重于兩個(gè)主要來源——流數(shù)據(jù)以及駐留在數(shù)據(jù)庫或數(shù)據(jù)湖中的數(shù)據(jù)。在2022年，預(yù)計(jì)這些來源將繼續(xù)與流媒體和操作系統(tǒng)融合，從而提供更統(tǒng)一的分析。因此將是改進(jìn)數(shù)據(jù)驅(qū)動(dòng)的洞察力，通過使用輕量級分析和改進(jìn)的預(yù)測能力來改進(jìn)運(yùn)營決策。

使用數(shù)據(jù)湖甚至是簡單的數(shù)據(jù)庫，查詢可能相當(dāng)復(fù)雜，而無需考慮需要采用大量資源來處理的動(dòng)態(tài)數(shù)據(jù)流。流數(shù)據(jù)是流動(dòng)的，因此這些資源需求和不斷增加的數(shù)據(jù)要求其查詢保持更新。因此，如今對金融市場、供應(yīng)鏈、客戶分析和維護(hù)和維修的預(yù)測是有限的，通?；谳p量級的“淺層”數(shù)據(jù)。

2022年，人們將看到基于云的存儲和應(yīng)用程序的穩(wěn)步增長，提供消除資源限制，并取代熟悉的集中式結(jié)構(gòu)的傳統(tǒng)方法所需的彈性。對分布式集群執(zhí)行分析，并將其他集群上的流數(shù)據(jù)和操作數(shù)據(jù)源的結(jié)果聚合到一個(gè)單一的控制平臺中將成為常態(tài)。因此將產(chǎn)生真正全面的預(yù)測模型，充分利用數(shù)據(jù)湖的深層數(shù)據(jù)和流源的實(shí)時(shí)數(shù)據(jù)流。

3.數(shù)據(jù)共享將變得普遍

除了云遷移的技術(shù)優(yōu)勢(硬件支持、存儲/帶寬限制、備份和安全)之外，最明顯的可能是共享不再以物理方式存儲在企業(yè)內(nèi)部網(wǎng)絡(luò)中的數(shù)據(jù)的能力。企業(yè)向第三方提供有價(jià)值的數(shù)據(jù)，這些數(shù)據(jù)用于戰(zhàn)略、財(cái)務(wù)甚至合規(guī)性，可以簡化供應(yīng)商和消費(fèi)者的分銷流程。一個(gè)顯著的好處是：以上討論的數(shù)據(jù)湖/流數(shù)據(jù)分析現(xiàn)在有了一個(gè)新的消費(fèi)者基礎(chǔ)。無論是首先關(guān)注像AWS云平臺這樣的商業(yè)化、面向公眾的市場，還是從像Snowflake的內(nèi)部共享平臺(用于內(nèi)部部門和一些垂直行業(yè))開始，這種范式都適用于每種方法，并為復(fù)雜的多步驟提供了根本性的改進(jìn)現(xiàn)行制度和政策。云計(jì)算提供商將同時(shí)提供這兩種數(shù)據(jù)交換產(chǎn)品，以占領(lǐng)“內(nèi)聯(lián)網(wǎng)和互聯(lián)網(wǎng)”數(shù)據(jù)提供商及其消費(fèi)者的市場。

4.查詢引擎將變得更智能，無縫適應(yīng)處理未準(zhǔn)備好的數(shù)據(jù)

通過將機(jī)器學(xué)習(xí)(ML)直接嵌入數(shù)據(jù)庫，正在加速和改進(jìn)數(shù)據(jù)庫優(yōu)化。這是一個(gè)主要用例，因?yàn)闄C(jī)器學(xué)習(xí)可以訪問其最有價(jià)值的資源來構(gòu)建有效模型：大量的匿名數(shù)據(jù)，在明確定義的結(jié)構(gòu)和場景中。隨著查詢引擎感知需求，人們見證了這種趨勢在創(chuàng)建或刪除索引方面取得了長足的進(jìn)步，但這僅僅是開始，并將會快速發(fā)展。這種趨勢正在越來越多地推動(dòng)數(shù)據(jù)存儲和數(shù)據(jù)消費(fèi)的分離。下一代引擎將通過基于分析工作負(fù)載模式和行為應(yīng)用動(dòng)態(tài)加速策略(例如緩存和索引)來實(shí)現(xiàn)數(shù)據(jù)存儲和消費(fèi)之間的這種分離。這場革命背后的理念是“讓引擎工作”。而這種引擎不應(yīng)期望數(shù)據(jù)已準(zhǔn)備好，而是引擎會根據(jù)遇到的數(shù)據(jù)進(jìn)行自我調(diào)整。隨著客戶發(fā)現(xiàn)成本節(jié)約和性能提高，這個(gè)廣闊的開放空間將成為必備功能，而不是一個(gè)很好的功能。

5.預(yù)測分析將推動(dòng)下一代數(shù)字應(yīng)用

當(dāng)人們開始討論合并從動(dòng)態(tài)數(shù)據(jù)饋送和數(shù)據(jù)湖中提取的分析時(shí)，需要重新構(gòu)想對這些見解的訪問。如今，用于“數(shù)據(jù)講故事”的經(jīng)典儀表板是基于仔細(xì)收集、查詢并收集到報(bào)告中以供定期審查的歷史數(shù)據(jù)。

隨著人們進(jìn)入2022年，現(xiàn)在將看到儀表板仍在使用中，但提供的內(nèi)容將是實(shí)時(shí)的，并且在發(fā)生時(shí)是動(dòng)態(tài)的，從應(yīng)用程序代碼中內(nèi)置的流程中提取。重要的是，所有相關(guān)內(nèi)部部門也將對這些信息的訪問民主化，直接提供給銷售、營銷、質(zhì)量保證等戰(zhàn)術(shù)團(tuán)隊(duì)，而不必由數(shù)據(jù)部門解析、解釋和分發(fā)。通過實(shí)時(shí)趨勢分析，這些部門可以比當(dāng)今的長期周期更快地適應(yīng)和改進(jìn)。認(rèn)識到商業(yè)價(jià)值通常與人們的反應(yīng)和行為方式有關(guān)，而不是簡單地獲利，這種改變游戲規(guī)則的預(yù)測驅(qū)動(dòng)力是云計(jì)算、數(shù)據(jù)庫和分析領(lǐng)域新進(jìn)展的一場激動(dòng)人心的“完美風(fēng)暴”。

應(yīng)該清楚的是，2022年將是融合之年。在過去幾年中不斷成熟的幾種技術(shù)范式的合并，將創(chuàng)建一個(gè)較少劃分、歷史和資源受限的分析生態(tài)系統(tǒng)。

受益最多的企業(yè)是那些重視根據(jù)客戶告訴他們的偏好快速調(diào)整流程和服務(wù)的能力的公司。