將一個(gè)系統(tǒng)置于恒定的約束之下可能會(huì)導(dǎo)致脆弱性的進(jìn)化。-- C.S. Holling, ecologist

成為一個(gè)數(shù)據(jù)驅(qū)動(dòng)的組織是許多公司的戰(zhàn)略目標(biāo)之一，因?yàn)閿?shù)據(jù)驅(qū)動(dòng)的好處顯而易見(jiàn): 基于數(shù)據(jù)和個(gè)性化提供最好的客戶體驗(yàn); 通過(guò)數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化降低運(yùn)營(yíng)成本和時(shí)間; 給予員工具有趨勢(shì)分析和商業(yè)智能的力量。然而，盡管在構(gòu)建數(shù)據(jù)平臺(tái)方面付出了越來(lái)越多的努力和投資，仍然會(huì)發(fā)現(xiàn)結(jié)果并不理想。

當(dāng)前的技術(shù)進(jìn)步解決了數(shù)據(jù)處理計(jì)算的規(guī)模問(wèn)題，但還有問(wèn)題懸而未決: 數(shù)據(jù)產(chǎn)生場(chǎng)景的變化、數(shù)據(jù)來(lái)源的擴(kuò)散、數(shù)據(jù)用例和用戶的多樣性以及對(duì)變化的反應(yīng)速度。Data Mesh或許可以解決這些問(wèn)題。

1. 數(shù)據(jù)是什么？

數(shù)據(jù)到底是什么意思？又是一個(gè)“每個(gè)人心中都有一個(gè)哈姆雷特”的問(wèn)題。數(shù)據(jù)通常被分為操作數(shù)據(jù)和分析數(shù)據(jù)。從數(shù)據(jù)庫(kù)的視角來(lái)看，即我們常說(shuō)的OLTP和OLAP。一般地，操作數(shù)據(jù)位于服務(wù)提供業(yè)務(wù)功能的數(shù)據(jù)庫(kù)中，具有事務(wù)性質(zhì)，保持當(dāng)前狀態(tài)并服務(wù)于運(yùn)行業(yè)務(wù)的應(yīng)用程序的需求。分析數(shù)據(jù)是隨著時(shí)間的推移對(duì)業(yè)務(wù)事實(shí)的時(shí)間和聚合視圖，通過(guò)建模以提供回顧性或未來(lái)的洞察力，訓(xùn)練機(jī)器學(xué)習(xí)模型或?yàn)榉治鰣?bào)告提供信息。

當(dāng)前的技術(shù)、架構(gòu)和組織的狀態(tài)導(dǎo)致了這兩個(gè)數(shù)據(jù)領(lǐng)域的分歧，存在兩個(gè)層次，集成而又分離。這種分歧往往會(huì)導(dǎo)致架構(gòu)的脆弱性。也導(dǎo)致了ETL 和不斷增長(zhǎng)的迷宮般數(shù)據(jù)管道的復(fù)雜性。對(duì)于許多試圖連接這兩個(gè)領(lǐng)域的人來(lái)說(shuō)，數(shù)據(jù)從操作數(shù)據(jù)領(lǐng)域流動(dòng)到分析數(shù)據(jù)領(lǐng)域，然后再返回操作數(shù)據(jù)領(lǐng)域。

分析數(shù)據(jù)領(lǐng)域主要有兩個(gè)體系結(jié)構(gòu)和技術(shù)棧: 數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)，而數(shù)據(jù)湖支持?jǐn)?shù)據(jù)科學(xué)的訪問(wèn)模式，數(shù)據(jù)倉(cāng)庫(kù)支持分析和商業(yè)智能報(bào)告訪問(wèn)模式。而實(shí)踐中常常出現(xiàn)，數(shù)據(jù)倉(cāng)庫(kù)試圖搭載數(shù)據(jù)科學(xué)的工作流，數(shù)據(jù)湖又試圖服務(wù)于數(shù)據(jù)分析師和商業(yè)智能。

2. 數(shù)據(jù)領(lǐng)域面臨的挑戰(zhàn)

首先，數(shù)據(jù)平臺(tái)的發(fā)展大約經(jīng)歷了三個(gè)階段：

• 專(zhuān)有的企業(yè)數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能平臺(tái)。這是一個(gè)價(jià)格昂貴的解決方案，給公司留下了大量的技術(shù)債務(wù); 成千上萬(wàn)的無(wú)法維護(hù)的 ETL 、表格和報(bào)告中的技術(shù)債務(wù)，同時(shí)只有少數(shù)專(zhuān)業(yè)人員能夠理解，導(dǎo)致對(duì)業(yè)務(wù)的積極影響沒(méi)有得到充分實(shí)現(xiàn)。
• 以數(shù)據(jù)湖為靈丹妙藥的大數(shù)據(jù)生態(tài)系統(tǒng)。復(fù)雜的大數(shù)據(jù)生態(tài)系統(tǒng)和由高度專(zhuān)業(yè)化的數(shù)據(jù)工程師組成的數(shù)據(jù)團(tuán)隊(duì)長(zhǎng)期運(yùn)行批處理作業(yè)，創(chuàng)造了數(shù)據(jù)湖怪物，充其量只能讓一小部分研發(fā)分析成為可能，承諾過(guò)多而實(shí)現(xiàn)不足。
• 目前的數(shù)據(jù)平臺(tái)與前兩個(gè)階段或多或少有些相似，具有現(xiàn)代化的轉(zhuǎn)變: (a)使用諸如 Kappa 這樣的架構(gòu)實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)可用性的流，(b)將數(shù)據(jù)轉(zhuǎn)換的批處理和流處理這樣的框架統(tǒng)一起來(lái)，以及(c)完全接受基于云的存儲(chǔ)、數(shù)據(jù)管道執(zhí)行引擎和機(jī)器學(xué)習(xí)平臺(tái)的管理服務(wù)。

顯然，第三代數(shù)據(jù)平臺(tái)正在彌補(bǔ)前幾代的一些差距，如實(shí)時(shí)數(shù)據(jù)分析，以及降低管理大數(shù)據(jù)基礎(chǔ)設(shè)施的成本，但是，仍然存在著諸多的挑戰(zhàn)。

2.1 中心化架構(gòu)的挑戰(zhàn)

數(shù)據(jù)平臺(tái)從企業(yè)的各個(gè)角落攝取數(shù)據(jù)，包括運(yùn)行業(yè)務(wù)的操作和事務(wù)系統(tǒng)，或者增加企業(yè)知識(shí)的外部數(shù)據(jù)提供者。例如，在流媒體業(yè)務(wù)中，數(shù)據(jù)平臺(tái)負(fù)責(zé)獲取大量數(shù)據(jù): “媒體播放器表現(xiàn)”、“用戶如何與播放器互動(dòng)”、“播放的歌曲”，以及業(yè)務(wù)上的“標(biāo)簽”、與藝術(shù)家之間的“交易”，以及外部市場(chǎng)研究數(shù)據(jù)，如“人口統(tǒng)計(jì)”信息。清理、豐富源數(shù)據(jù)并將其轉(zhuǎn)換為可信賴的數(shù)據(jù)，以滿足不同使用者的需求。這將嘗試將用戶的操作流程和行為重構(gòu)為聚合視圖。

數(shù)據(jù)平臺(tái)為具有不同需求的各種消費(fèi)者提供數(shù)據(jù)集服務(wù)。這包括從分析性消費(fèi)到探索數(shù)據(jù)，從基于機(jī)器學(xué)習(xí)的決策制定，到總結(jié)業(yè)務(wù)表現(xiàn)的商業(yè)智能報(bào)告。單一數(shù)據(jù)平臺(tái)承載并擁有邏輯上屬于不同領(lǐng)域的數(shù)據(jù)，例如“播放事件”、“銷(xiāo)售指標(biāo)”、“藝術(shù)家”、“專(zhuān)輯”、“標(biāo)簽”、“音頻”、“播客”、“音樂(lè)事件”等來(lái)自大量不同領(lǐng)域的數(shù)據(jù)。

盡管我們已經(jīng)成功地將領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)和有界上下文應(yīng)用到軟件系統(tǒng)中，但是在很大程度上忽略了數(shù)據(jù)平臺(tái)中的領(lǐng)域概念，從面向領(lǐng)域的數(shù)據(jù)所有權(quán)轉(zhuǎn)移到集中領(lǐng)域不可知的數(shù)據(jù)所有權(quán)。這種中心化架構(gòu)可以適用于擁有較少不同消費(fèi)案例且較簡(jiǎn)單領(lǐng)域的組織，但是對(duì)于擁有豐富領(lǐng)域、大量來(lái)源和不同消費(fèi)者集合的企業(yè)來(lái)說(shuō)，難以滿足需求，原因如下：

無(wú)處不在的數(shù)據(jù)和數(shù)據(jù)擴(kuò)散: 隨著越來(lái)越多的數(shù)據(jù)變得無(wú)處不在，在一個(gè)平臺(tái)的控制下消費(fèi)所有數(shù)據(jù)并在一個(gè)地方協(xié)調(diào)它的能力會(huì)降低。

組織的創(chuàng)新和消費(fèi)者的激增: 組織對(duì)快速實(shí)驗(yàn)的需求引入了大量的用例來(lái)消費(fèi)來(lái)自平臺(tái)的數(shù)據(jù)。這意味著數(shù)據(jù)聚合、預(yù)測(cè)和切片上的轉(zhuǎn)換越來(lái)越多，這些轉(zhuǎn)換用來(lái)滿足創(chuàng)新的測(cè)試和學(xué)習(xí)周期。滿足使用者需求的長(zhǎng)響應(yīng)時(shí)間歷來(lái)是組織摩擦點(diǎn)，目前仍然如此。

2.2 流水線耦合的挑戰(zhàn)

通常，數(shù)據(jù)平臺(tái)會(huì)被分解為數(shù)據(jù)處理階段的流水線。一條流水線，在高層次上實(shí)現(xiàn)了數(shù)據(jù)處理技術(shù)實(shí)現(xiàn)中的功能內(nèi)聚，即攝取、準(zhǔn)備、聚合、服務(wù)等。這種方式提供了一定程度的規(guī)?；?，但將團(tuán)隊(duì)分配到流水線的不同階段，有一個(gè)固有的限制，會(huì)導(dǎo)致交付變慢。流水線的各個(gè)階段之間具有高耦合性，以交付獨(dú)立的功能。

許多數(shù)據(jù)平臺(tái)提供了通用的和基于配置的數(shù)據(jù)攝取服務(wù)，可以處理諸如輕松添加新的數(shù)據(jù)源或修改現(xiàn)有的數(shù)據(jù)源以最小化引入的擴(kuò)展開(kāi)銷(xiāo)。但是，這并不會(huì)消除使用者引入新數(shù)據(jù)集導(dǎo)致端到端依賴關(guān)系的管理。雖然在表面上，流水線架構(gòu)看起來(lái)好像已經(jīng)達(dá)到了一個(gè)架構(gòu)的規(guī)?；剑珜?shí)際上，整個(gè)流水線平臺(tái)必須改變以迎合新功能的最小單元: 解鎖一個(gè)新的數(shù)據(jù)集，并使其可用于新的或現(xiàn)有的消費(fèi)者。這限制了對(duì)新消費(fèi)者或新數(shù)據(jù)源實(shí)現(xiàn)高速規(guī)?；哪芰Α?/p>

2.3 數(shù)據(jù)所有權(quán)的挑戰(zhàn)

數(shù)據(jù)所有權(quán)與如何組織構(gòu)建并擁有數(shù)據(jù)平臺(tái)的團(tuán)隊(duì)有關(guān)。所謂的數(shù)據(jù)團(tuán)隊(duì)是由專(zhuān)業(yè)化的數(shù)據(jù)工程師和數(shù)據(jù)產(chǎn)品經(jīng)理組成，通常是孤立于業(yè)務(wù)組織的獨(dú)立單位，盡管會(huì)缺乏業(yè)務(wù)和領(lǐng)域知識(shí)，但在使用大數(shù)據(jù)工具方面有技術(shù)專(zhuān)長(zhǎng)。數(shù)據(jù)團(tuán)隊(duì)需要消費(fèi)來(lái)自其他團(tuán)隊(duì)的數(shù)據(jù)，而那那些團(tuán)隊(duì)可能沒(méi)有提供有意義的、真實(shí)的和正確數(shù)據(jù)的動(dòng)機(jī)。數(shù)據(jù)團(tuán)隊(duì)對(duì)數(shù)據(jù)源的領(lǐng)域知道的有限，并可能缺乏專(zhuān)業(yè)的領(lǐng)域知識(shí)，卻需要為各種各樣的需求提供數(shù)據(jù)，無(wú)論是操作性數(shù)據(jù)還是分析性神經(jīng)，而不需要清楚地了解數(shù)據(jù)的應(yīng)用。

數(shù)據(jù)平臺(tái)團(tuán)隊(duì)處于中間位置，只能全力以赴為所有來(lái)源和消費(fèi)提供合適的數(shù)據(jù)。但實(shí)際上，資源的限制和不均衡，往往導(dǎo)致研發(fā)團(tuán)隊(duì)和業(yè)務(wù)經(jīng)理會(huì)另起爐灶，造成與數(shù)據(jù)團(tuán)隊(duì)的緊張關(guān)系進(jìn)一步加劇。這樣的組織結(jié)構(gòu)缺乏擴(kuò)展性，也沒(méi)有提供創(chuàng)建一個(gè)數(shù)據(jù)驅(qū)動(dòng)組織所承諾的價(jià)值。

3 面對(duì)挑戰(zhàn)的數(shù)據(jù)平臺(tái)

鑒于此，數(shù)據(jù)平臺(tái)范式的轉(zhuǎn)變是必要的。數(shù)據(jù)平臺(tái)或許應(yīng)該是分布式領(lǐng)域驅(qū)動(dòng)架構(gòu)、自服務(wù)平臺(tái)設(shè)計(jì)和產(chǎn)品思維與數(shù)據(jù)的融合。去中心化的數(shù)據(jù)平臺(tái)，需要顛倒我們對(duì)數(shù)據(jù)的看法，即它的本地性和所有權(quán)。領(lǐng)域需要以一種易于使用的方式托管和服務(wù)它們的領(lǐng)域數(shù)據(jù)集，而不是將數(shù)據(jù)從各自領(lǐng)域流向集中的數(shù)據(jù)湖。

3.1 數(shù)據(jù)與領(lǐng)域驅(qū)動(dòng)架構(gòu)的融合

領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)深刻影響了系統(tǒng)架構(gòu)的思維方式，進(jìn)而影響了組織建模。它通過(guò)將系統(tǒng)分解為圍繞業(yè)務(wù)域的分布式服務(wù)，從而成為微服務(wù)架構(gòu)的誘因之一。它從根本上改變了團(tuán)隊(duì)的形式，使得團(tuán)隊(duì)可以獨(dú)立自主地?fù)碛蓄I(lǐng)域能力。

奇怪的是，在涉及到數(shù)據(jù)時(shí)，業(yè)務(wù)領(lǐng)域的概念被忽略了。DDD 在數(shù)據(jù)平臺(tái)中最接近的應(yīng)用是讓數(shù)據(jù)源的系統(tǒng)發(fā)出它們的業(yè)務(wù)領(lǐng)域事件 ，并讓數(shù)據(jù)平臺(tái)消化它們。但之后，領(lǐng)域的概念和不同團(tuán)隊(duì)對(duì)領(lǐng)域數(shù)據(jù)的所有權(quán)就丟失了。這需要我們的思維從傳統(tǒng)的ETL和事件流轉(zhuǎn)變?yōu)榭缢蓄I(lǐng)域的推拉模型。在面向領(lǐng)域的數(shù)據(jù)平臺(tái)中，一個(gè)領(lǐng)域而不是流水線階段。

有些領(lǐng)域自然地與數(shù)據(jù)源保持一致。領(lǐng)域的源數(shù)據(jù)集表示了業(yè)務(wù)的事實(shí)和現(xiàn)實(shí)，業(yè)務(wù)事實(shí)最好以業(yè)務(wù)領(lǐng)域事件的形式表示，可以作為時(shí)間戳事件的分布式日志進(jìn)行存儲(chǔ)和服務(wù)，以供任何授權(quán)使用者訪問(wèn)。領(lǐng)域捕獲的數(shù)據(jù)非常接近數(shù)據(jù)起源的業(yè)務(wù)系統(tǒng)。領(lǐng)域和數(shù)據(jù)源系統(tǒng)之間往往沒(méi)有一對(duì)一的映射，通常有許多系統(tǒng)可以提供屬于某個(gè)領(lǐng)域的部分?jǐn)?shù)據(jù)。因此，存在許多數(shù)據(jù)源對(duì)齊的數(shù)據(jù)集，最終需要聚合到一個(gè)內(nèi)聚的領(lǐng)域數(shù)據(jù)集中。源域數(shù)據(jù)集是最基礎(chǔ)的數(shù)據(jù)集，更改的頻率較低，因?yàn)闃I(yè)務(wù)事實(shí)不會(huì)經(jīng)常更改。這些領(lǐng)域數(shù)據(jù)集預(yù)計(jì)將被永久捕獲和提供，以便隨著組織發(fā)展其數(shù)據(jù)驅(qū)動(dòng)和智能服務(wù)，它們總是可以回到業(yè)務(wù)事實(shí)，并創(chuàng)建新的聚合或預(yù)測(cè)。

有些領(lǐng)域與消費(fèi)密切相關(guān)，消費(fèi)者領(lǐng)域數(shù)據(jù)集可以滿足一組緊密相關(guān)的用例。雖然數(shù)據(jù)集所有權(quán)從中心化平臺(tái)委托給各個(gè)領(lǐng)域域，但仍然需要清理、準(zhǔn)備、聚合和服務(wù)數(shù)據(jù)，流水線的使用也是如此。

3.2 數(shù)據(jù)與產(chǎn)品思維的融合

將數(shù)據(jù)所有權(quán)和流水線分配到業(yè)務(wù)領(lǐng)域，人們會(huì)更關(guān)切對(duì)分布式數(shù)據(jù)集的可訪問(wèn)性、可用性和協(xié)調(diào)性，這就是產(chǎn)品思維和學(xué)習(xí)方法派上用場(chǎng)的地方。把數(shù)據(jù)資產(chǎn)作為產(chǎn)品，把組織的其他數(shù)據(jù)科學(xué)家、機(jī)器學(xué)習(xí)和數(shù)據(jù)工程師作為客戶。

任何技術(shù)產(chǎn)品的一個(gè)重要品質(zhì)是取悅消費(fèi)者，為消費(fèi)者提供最佳的用戶體驗(yàn)，領(lǐng)域數(shù)據(jù)產(chǎn)品需要具備以下基本要素:

可發(fā)現(xiàn)：一個(gè)常見(jiàn)的實(shí)現(xiàn)是擁有所有可用數(shù)據(jù)產(chǎn)品的注冊(cè)表、數(shù)據(jù)目錄及其元信息，例如它們的所有者、來(lái)源、譜系、樣本數(shù)據(jù)集等。

可尋址：一旦發(fā)現(xiàn)一個(gè)數(shù)據(jù)產(chǎn)品，它應(yīng)該有一個(gè)唯一的地址，以API方式訪問(wèn)它。根據(jù)底層存儲(chǔ)和格式，可能對(duì)其數(shù)據(jù)采用不同的命名約定。

可信賴：數(shù)據(jù)產(chǎn)品的所有者圍繞數(shù)據(jù)的真實(shí)性提供一個(gè)可接受的SLA，以及如何近似地反映已經(jīng)發(fā)生的事件的真實(shí)性，或者所產(chǎn)生洞察力的高可能性。提供數(shù)據(jù)來(lái)源和沿襲作為與每個(gè)數(shù)據(jù)產(chǎn)品相關(guān)聯(lián)的元數(shù)據(jù)，有助于使用者進(jìn)一步確信數(shù)據(jù)產(chǎn)品及其是否適合他們的特定需求。

自描述：高質(zhì)量的產(chǎn)品可以被獨(dú)立地發(fā)現(xiàn)、理解和消費(fèi)，數(shù)據(jù)模式是提供自助服務(wù)數(shù)據(jù)資產(chǎn)的起點(diǎn)。

互操作：跨領(lǐng)域數(shù)據(jù)有效關(guān)聯(lián)的關(guān)鍵是遵循某些標(biāo)準(zhǔn)和協(xié)調(diào)規(guī)則。這樣的標(biāo)準(zhǔn)化屬于全局治理，以支持多領(lǐng)域數(shù)據(jù)集之間的互操作性。這種標(biāo)準(zhǔn)化工作的常見(jiàn)問(wèn)題是字段類(lèi)型格式化、識(shí)別跨領(lǐng)域的多義詞、數(shù)據(jù)集的地址約定、常見(jiàn)元數(shù)據(jù)字段、事件格式等。

安全性：對(duì)于每個(gè)領(lǐng)域的數(shù)據(jù)產(chǎn)品，訪問(wèn)控制都是以更細(xì)的粒度應(yīng)用的。訪問(wèn)控制策略可以集中定義，但在訪問(wèn)每個(gè)單獨(dú)的數(shù)據(jù)集產(chǎn)品時(shí)應(yīng)用。SSO和RBAC是實(shí)現(xiàn)產(chǎn)品數(shù)據(jù)集訪問(wèn)控制的一種簡(jiǎn)便方法。

3.3 數(shù)據(jù)與自助服務(wù)的融合

將領(lǐng)域不可知的基礎(chǔ)設(shè)施功能收集和提取到數(shù)據(jù)基礎(chǔ)設(shè)施平臺(tái)中，解決了重復(fù)設(shè)置數(shù)據(jù)流水線引擎、存儲(chǔ)和流式計(jì)算的需要。數(shù)據(jù)基礎(chǔ)設(shè)施團(tuán)隊(duì)可以提供必要的技術(shù)，而各個(gè)領(lǐng)域需要這些技術(shù)來(lái)捕獲、處理、存儲(chǔ)和服務(wù)它們的數(shù)據(jù)產(chǎn)品。將數(shù)據(jù)基礎(chǔ)設(shè)施構(gòu)建為平臺(tái)的關(guān)鍵在于: 

不包括任何特定于領(lǐng)域的概念或業(yè)務(wù)邏輯，保持其與領(lǐng)域無(wú)關(guān);

確保平臺(tái)隱藏了所有潛在的復(fù)雜性，并以自助服務(wù)的方式提供數(shù)據(jù)基礎(chǔ)設(shè)施組件。

自助式數(shù)據(jù)基礎(chǔ)設(shè)施可以降低“創(chuàng)建新數(shù)據(jù)產(chǎn)品的準(zhǔn)備時(shí)間”，例如，通過(guò)配置和腳本自動(dòng)化完成數(shù)據(jù)攝入，數(shù)據(jù)產(chǎn)品創(chuàng)建腳本及生成框架，自動(dòng)將數(shù)據(jù)產(chǎn)品注冊(cè)到目錄中，等等。云作為底層，可以降低提供對(duì)數(shù)據(jù)基礎(chǔ)設(shè)施按需訪問(wèn)的操作成本和工作量。

這樣的新型數(shù)據(jù)平臺(tái)， 被業(yè)界命名為“Data Mesh”。Data Mesh 平臺(tái)是一個(gè)分布式數(shù)據(jù)架構(gòu)，通過(guò)共享和協(xié)調(diào)的自助服務(wù)數(shù)據(jù)基礎(chǔ)設(shè)施來(lái)實(shí)現(xiàn)互操作性，進(jìn)而實(shí)現(xiàn)集中治理和標(biāo)準(zhǔn)化。

4. 什么是Data Mesh？

Data Mesh是現(xiàn)代數(shù)據(jù)管理的一種戰(zhàn)略方法，也是加強(qiáng)組織數(shù)字化轉(zhuǎn)型的一種方法，它集中于提供有價(jià)值且安全的數(shù)據(jù)產(chǎn)品。Data Mesh是超越利用數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖的數(shù)據(jù)管理方法，強(qiáng)調(diào)組織靈活性，通過(guò)授權(quán)數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)消費(fèi)者的訪問(wèn)來(lái)管理數(shù)據(jù)，數(shù)據(jù)所有權(quán)分配給特定于領(lǐng)域的團(tuán)隊(duì)，這些團(tuán)隊(duì)將數(shù)據(jù)作為產(chǎn)品提供、擁有和管理。

4.1 Data Mesh 與 數(shù)據(jù)湖

數(shù)據(jù)湖是一種技術(shù)方法，其主要目標(biāo)是作為一個(gè)單一的存儲(chǔ)，以盡可能簡(jiǎn)單的方式將數(shù)據(jù)轉(zhuǎn)移到中央團(tuán)隊(duì)負(fù)責(zé)管理的地方。雖然數(shù)據(jù)湖可以提供顯著的業(yè)務(wù)價(jià)值，但它們也存在許多問(wèn)題。主要的問(wèn)題是，一旦數(shù)據(jù)被移動(dòng)到湖中，它就失去了上下文，例如，可能有許多文件包含客戶的定義，一個(gè)來(lái)自物流系統(tǒng)，一個(gè)來(lái)自支付，一個(gè)來(lái)自營(yíng)銷(xiāo)，哪一個(gè)適合使用呢？此外，數(shù)據(jù)湖中的數(shù)據(jù)沒(méi)有經(jīng)過(guò)預(yù)處理，因此不可避免地會(huì)出現(xiàn)數(shù)據(jù)問(wèn)題。然后，數(shù)據(jù)使用者通常必須與數(shù)據(jù)湖團(tuán)隊(duì)聯(lián)系，以理解和解決數(shù)據(jù)問(wèn)題，這將成為使用數(shù)據(jù)回答初始業(yè)務(wù)問(wèn)題的瓶頸。

相比之下，Data Mesh不僅僅是技術(shù)，它結(jié)合了技術(shù)和組織，包括數(shù)據(jù)所有權(quán)、數(shù)據(jù)質(zhì)量和數(shù)據(jù)自治。因此，數(shù)據(jù)消費(fèi)者對(duì)數(shù)據(jù)質(zhì)量和數(shù)據(jù)所有權(quán)有著清晰的認(rèn)識(shí)，數(shù)據(jù)問(wèn)題可以更有效地發(fā)現(xiàn)和解決，最終可以使用和信任數(shù)據(jù)。

數(shù)據(jù)湖不再是Data Mesh的中心，而是將數(shù)據(jù)湖的一些原則應(yīng)用于面向數(shù)據(jù)源的領(lǐng)域數(shù)據(jù)產(chǎn)品。然而，無(wú)論是用于數(shù)據(jù)產(chǎn)品的內(nèi)部實(shí)現(xiàn)，還是作為共享數(shù)據(jù)基礎(chǔ)設(shè)施的一部分，人們?nèi)匀焕^續(xù)使用數(shù)據(jù)湖工具。Data Mesh是把領(lǐng)域數(shù)據(jù)產(chǎn)品作為第一類(lèi)關(guān)注點(diǎn)，把數(shù)據(jù)湖工具和管道作為第二類(lèi)關(guān)注點(diǎn)。同樣的原則也適用于用于業(yè)務(wù)報(bào)表和可視化的數(shù)據(jù)倉(cāng)庫(kù)。它只是Data Mesh上的一個(gè)節(jié)點(diǎn)，可能位于面向消費(fèi)者的網(wǎng)絡(luò)邊緣。也就是說(shuō)， 將大數(shù)據(jù)整體分解成一個(gè)協(xié)調(diào)、協(xié)作和分布式的數(shù)據(jù)網(wǎng)格生態(tài)系統(tǒng)。

4.2 Data Mesh 與 Data Fabric

Data Fabric 側(cè)重于各種技術(shù)能力的集成，這些技術(shù)能力相互協(xié)作為最終用戶生成一個(gè)接口。許多Data Fabric 的支持者通過(guò)像機(jī)器學(xué)習(xí)這樣的技術(shù)來(lái)實(shí)現(xiàn)自動(dòng)化，使得終端用戶能夠以更簡(jiǎn)單的方式訪問(wèn)數(shù)據(jù)。對(duì)于簡(jiǎn)單的數(shù)據(jù)使用來(lái)說(shuō)，這是很有價(jià)值的，但是對(duì)于更復(fù)雜的情況，或者需要將業(yè)務(wù)知識(shí)集成到數(shù)據(jù)中的情況，那么 Data Fabric 的局限性就會(huì)變得明顯。

可以說(shuō)，Data Fabric 可以用作 Data Mesh 自助服務(wù)平臺(tái)的一部分，在這個(gè)平臺(tái)中，Data Fabric 將數(shù)據(jù)公開(kāi)給領(lǐng)域，這些領(lǐng)域可以將其業(yè)務(wù)知識(shí)嵌入到最終的數(shù)據(jù)產(chǎn)品中。

Data Mesh的目標(biāo)是為從分析數(shù)據(jù)和歷史事實(shí)中獲得價(jià)值創(chuàng)造一個(gè)基礎(chǔ)，這些數(shù)據(jù)和歷史事實(shí)在規(guī)模上適應(yīng)于數(shù)據(jù)場(chǎng)景的不斷變化、數(shù)據(jù)來(lái)源和消費(fèi)者的擴(kuò)大化、用例需要的轉(zhuǎn)換和處理的多樣性以及對(duì)變化的反應(yīng)速度。

5 Data Mesh 的 四個(gè)核心原則

Data Mesh 的四項(xiàng)核心原則作為一個(gè)整體是必要且充分的，使規(guī)模具有彈性，同時(shí)解決不兼容數(shù)據(jù)的孤立問(wèn)題或運(yùn)營(yíng)成本增加的問(wèn)題。

5.1 領(lǐng)域驅(qū)動(dòng)的數(shù)據(jù)所有權(quán)和數(shù)據(jù)架構(gòu)

要理解什么是領(lǐng)域域驅(qū)動(dòng)數(shù)據(jù)，必須知道領(lǐng)域是什么。在Data Mesh 中，領(lǐng)域是負(fù)責(zé)數(shù)據(jù)管理的相關(guān)數(shù)據(jù)和創(chuàng)建的業(yè)務(wù)功能，負(fù)責(zé)聚合、轉(zhuǎn)換和向最終用戶提供數(shù)據(jù)。最終，該領(lǐng)域?qū)⑵鋽?shù)據(jù)作為數(shù)據(jù)產(chǎn)品公開(kāi)，其整個(gè)生命周期由該領(lǐng)域自身所有。

也就是說(shuō)，Data Mesh 的核心是建立去中心化并把責(zé)任分配給最接近數(shù)據(jù)的人，以支持持續(xù)的變化和可擴(kuò)展性。那么，如何分解和去中心化數(shù)據(jù)生態(tài)系統(tǒng)的組成部分及其所有權(quán)呢？包括分析數(shù)據(jù)、元數(shù)據(jù)和為其服務(wù)所需的計(jì)算。

為了促進(jìn)這種分解，需要一個(gè)按領(lǐng)域排列分析數(shù)據(jù)的架構(gòu)。在此架構(gòu)中，領(lǐng)域與組織其余部分的接口不僅包括操作能力，還包括對(duì)該領(lǐng)域所服務(wù)的分析數(shù)據(jù)的訪問(wèn)。這意味著必須消除耦合，以使領(lǐng)域服務(wù)于它們的分析數(shù)據(jù)，并使計(jì)算數(shù)據(jù)的代碼獨(dú)立于其他領(lǐng)域。為了擴(kuò)展，必須支持領(lǐng)域團(tuán)隊(duì)在其操作或分析數(shù)據(jù)系統(tǒng)的發(fā)布和部署方面的自主性。當(dāng)然，每個(gè)領(lǐng)域可以依賴于其他領(lǐng)域的操作和分析數(shù)據(jù)端點(diǎn)。

5.2 數(shù)據(jù)即為產(chǎn)品

發(fā)現(xiàn)、理解、信任并最終使用高質(zhì)量數(shù)據(jù)是個(gè)重要的問(wèn)題，隨著提供數(shù)據(jù)領(lǐng)域的團(tuán)隊(duì)數(shù)量增加，這個(gè)問(wèn)題只會(huì)隨著Data Mesh而惡化，這就是領(lǐng)域自治的結(jié)果。數(shù)據(jù)即產(chǎn)品原則是為了解決數(shù)據(jù)質(zhì)量和數(shù)據(jù)豎井問(wèn)題而設(shè)計(jì)的，例如 Gartner 所說(shuō)的暗數(shù)據(jù)——信息資產(chǎn)組織在日常業(yè)務(wù)活動(dòng)中收集、處理和存儲(chǔ)，但通常不能用于其他目的。領(lǐng)域提供的分析數(shù)據(jù)必須被視為一種產(chǎn)品，數(shù)據(jù)的消費(fèi)者應(yīng)該被視為客戶。

領(lǐng)域數(shù)據(jù)產(chǎn)品所有者必須深入了解誰(shuí)是數(shù)據(jù)用戶，他們?nèi)绾问褂脭?shù)據(jù)，以及對(duì)使用數(shù)據(jù)感到舒適的方法是什么。這種對(duì)數(shù)據(jù)用戶的深入了解導(dǎo)致了滿足需求的數(shù)據(jù)產(chǎn)品接口設(shè)計(jì)，所有數(shù)據(jù)產(chǎn)品都可以開(kāi)發(fā)支持標(biāo)準(zhǔn)化接口。數(shù)據(jù)用戶和產(chǎn)品所有者之間的對(duì)話是建立數(shù)據(jù)產(chǎn)品接口的必要部分。每個(gè)領(lǐng)域?qū)〝?shù)據(jù)產(chǎn)品開(kāi)發(fā)人員的角色，負(fù)責(zé)構(gòu)建、維護(hù)和服務(wù)領(lǐng)域的數(shù)據(jù)產(chǎn)品，數(shù)據(jù)產(chǎn)品的開(kāi)發(fā)人員將與該領(lǐng)域的其他開(kāi)發(fā)人員一起工作。每個(gè)領(lǐng)域團(tuán)隊(duì)可以提供一個(gè)或多個(gè)數(shù)據(jù)產(chǎn)品，還可以組建新的團(tuán)隊(duì)來(lái)服務(wù)那些自然不適合現(xiàn)有領(lǐng)域的數(shù)據(jù)產(chǎn)品。本質(zhì)上，數(shù)據(jù)質(zhì)量的問(wèn)責(zé)制向上游轉(zhuǎn)移，盡可能接近數(shù)據(jù)源。

數(shù)據(jù)產(chǎn)品是網(wǎng)格上的節(jié)點(diǎn)，它封裝了功能所需的三個(gè)結(jié)構(gòu)組件，作為產(chǎn)品提供對(duì)領(lǐng)域分析數(shù)據(jù)的訪問(wèn)。

代碼: 它包括(a)負(fù)責(zé)消費(fèi)、轉(zhuǎn)換和服務(wù)上游數(shù)據(jù)的數(shù)據(jù)流水線的代碼 (b)提供數(shù)據(jù)訪問(wèn)、語(yǔ)義和語(yǔ)法模式、可觀測(cè)性指標(biāo)和其他元數(shù)據(jù)的 API 代碼; (c)執(zhí)行功能特性的代碼，如訪問(wèn)控制政策、合規(guī)性、出處等。

數(shù)據(jù)和元數(shù)據(jù): 根據(jù)領(lǐng)域數(shù)據(jù)的性質(zhì)及其消費(fèi)模型，數(shù)據(jù)可以作為事件、批處理文件、關(guān)系表、圖表等，同時(shí)保持相同的語(yǔ)義。為了使數(shù)據(jù)可用，有一組相關(guān)的元數(shù)據(jù)，包括數(shù)據(jù)計(jì)算文檔、語(yǔ)義和語(yǔ)法聲明、質(zhì)量指標(biāo)等; 數(shù)據(jù)固有的元數(shù)據(jù)，例如其語(yǔ)義定義，元數(shù)據(jù)用于實(shí)現(xiàn)預(yù)期行為的特征，例如訪問(wèn)控制策略。

基礎(chǔ)設(shè)施: 基礎(chǔ)設(shè)施組件支持構(gòu)建、部署和運(yùn)行數(shù)據(jù)產(chǎn)品的代碼，以及存儲(chǔ)和訪問(wèn)大數(shù)據(jù)及元數(shù)據(jù)。

總的來(lái)說(shuō)，數(shù)據(jù)產(chǎn)品由領(lǐng)域生產(chǎn)，由下游領(lǐng)域或用戶使用，以創(chuàng)造業(yè)務(wù)價(jià)值。數(shù)據(jù)產(chǎn)品不同于傳統(tǒng)的數(shù)據(jù)集市，因?yàn)樗鼈兪仟?dú)立的，本身負(fù)責(zé)與確保數(shù)據(jù)保持最新有關(guān)的安全、來(lái)源和基礎(chǔ)設(shè)施等方面的問(wèn)題。數(shù)據(jù)產(chǎn)品支持明確的所有權(quán)和責(zé)任，可以由其他數(shù)據(jù)產(chǎn)品或最終消費(fèi)者直接使用，以支持商業(yè)智能和機(jī)器學(xué)習(xí)活動(dòng)。

5.3 自助式的數(shù)據(jù)平臺(tái)

領(lǐng)域團(tuán)隊(duì)能夠自主地?fù)碛袛?shù)據(jù)產(chǎn)品的唯一方法是訪問(wèn)基礎(chǔ)設(shè)施的高級(jí)抽象，從而消除提供和管理數(shù)據(jù)產(chǎn)品生命周期的復(fù)雜性。這就需要一個(gè)新的原則，自服務(wù)數(shù)據(jù)基礎(chǔ)設(shè)施作為一個(gè)平臺(tái)，支持領(lǐng)域自治。

自助式數(shù)據(jù)基礎(chǔ)設(shè)施由許多功能組成，領(lǐng)域的成員可以輕松地使用這些功能來(lái)創(chuàng)建和管理其數(shù)據(jù)產(chǎn)品。自助式平臺(tái)功能按照模型中的調(diào)用分為多個(gè)類(lèi)別或平面，每個(gè)平面服務(wù)于不同的用戶配置文件。一個(gè)平面類(lèi)似于網(wǎng)絡(luò)中的控制層和數(shù)據(jù)層。自助式數(shù)據(jù)平臺(tái)由一個(gè)基礎(chǔ)設(shè)施工程小組提供支持，該小組的主要任務(wù)是對(duì)所使用的各種技術(shù)進(jìn)行管理和操作。這是一種關(guān)注點(diǎn)分離，領(lǐng)域團(tuán)隊(duì)關(guān)注數(shù)據(jù)，自助式數(shù)據(jù)平臺(tái)團(tuán)隊(duì)關(guān)注技術(shù)。自助服務(wù)數(shù)據(jù)平臺(tái)的度量標(biāo)準(zhǔn)是領(lǐng)域的自主性。

也就是說(shuō)，可以將數(shù)據(jù)平臺(tái)視為已經(jīng)存在的用于運(yùn)行和監(jiān)視服務(wù)的交付平臺(tái)擴(kuò)展。然而，當(dāng)前用于操作數(shù)據(jù)產(chǎn)品的底層技術(shù)堆棧與數(shù)據(jù)服務(wù)的交付平臺(tái)非常不同，也是大數(shù)據(jù)技術(shù)棧與業(yè)務(wù)系統(tǒng)平臺(tái)的分歧。例如，業(yè)務(wù)領(lǐng)域域團(tuán)隊(duì)可能服務(wù)部署為 Docker 容器，交付平臺(tái)使用 K8s， 然而，數(shù)據(jù)產(chǎn)品可能將其流水線代碼作為一個(gè) Hadoop集群上的作業(yè)運(yùn)行。這是兩套完全不同的基礎(chǔ)設(shè)施，而DataMesh 需要這種級(jí)別上的互操作性和互連性，在合理的地方趨于一致。

5.4 聯(lián)邦體系的治理

傳統(tǒng)的數(shù)據(jù)治理往往被看作是數(shù)據(jù)創(chuàng)造價(jià)值的阻礙因素。DataMesh 通過(guò)將治理關(guān)注點(diǎn)嵌入到領(lǐng)域的工作流中，數(shù)據(jù)治理有許多方面，使用度量和報(bào)告必須成為這個(gè)定義的一部分。數(shù)據(jù)的使用量以及如何使用這些數(shù)據(jù)是理解數(shù)據(jù)產(chǎn)品的價(jià)值從而獲得成功的關(guān)鍵點(diǎn)。

Data Mesh的實(shí)現(xiàn)需要一個(gè)治理模型，該模型包括領(lǐng)域自治、標(biāo)準(zhǔn)化的互操作性、動(dòng)態(tài)拓?fù)浣Y(jié)構(gòu)，最重要的是平臺(tái)自動(dòng)執(zhí)行決策，可以稱之為聯(lián)邦計(jì)算的治理。一個(gè)由領(lǐng)域數(shù)據(jù)產(chǎn)品所有者和數(shù)據(jù)平臺(tái)產(chǎn)品所有者聯(lián)盟領(lǐng)導(dǎo)的決策模型，擁有數(shù)據(jù)所有權(quán)和領(lǐng)域本地決策權(quán)，同時(shí)創(chuàng)建并遵守一套全局規(guī)則，即一套適用于所有數(shù)據(jù)產(chǎn)品及其接口的規(guī)則，以確保生態(tài)系統(tǒng)的健康和互操作性。這個(gè)團(tuán)隊(duì)有一個(gè)艱巨的任務(wù): 維持集權(quán)和地方分治之間的平衡，哪些決策需要本地化到每個(gè)領(lǐng)域，哪些決策需要全局化到所有領(lǐng)域。最終，全局決策只有一個(gè)目的，即通過(guò)發(fā)現(xiàn)和組合數(shù)據(jù)產(chǎn)品，創(chuàng)建互操作性和復(fù)合網(wǎng)絡(luò)效應(yīng)。

一個(gè)支持性的組織結(jié)構(gòu)、激勵(lì)模式和架構(gòu)是聯(lián)邦治理模式發(fā)揮作用的必要條件: 在尊重地方領(lǐng)域自主性的同時(shí)，達(dá)成全局互操作性的決策和標(biāo)準(zhǔn)，并有效地執(zhí)行整體策略。在所有領(lǐng)域及其數(shù)據(jù)產(chǎn)品的平臺(tái)實(shí)施和執(zhí)行的全局標(biāo)準(zhǔn)化內(nèi)容與留給領(lǐng)域決定的內(nèi)容之間取得平衡或許是一門(mén)藝術(shù)。

6. Data Mesh的實(shí)現(xiàn)

Data Mesh的實(shí)現(xiàn)為那些希望在不確定的經(jīng)濟(jì)環(huán)境中蓬勃發(fā)展的組織提供了靈活性，所有組織都需要能夠以低成本、高回報(bào)的方式來(lái)應(yīng)對(duì)環(huán)境的變化。引入新的數(shù)據(jù)源、需要遵守不斷變化的法規(guī)要求或滿足新的分析要求，這些都是促使組織數(shù)據(jù)管理活動(dòng)發(fā)生變化的驅(qū)動(dòng)因素。當(dāng)前的數(shù)據(jù)管理方法通?；趶?fù)雜的、高度集成的 ETL，這些 ETL 位于業(yè)務(wù)系統(tǒng)和分析系統(tǒng)之間，需要努力及時(shí)變化以支持業(yè)務(wù)需求。Data Mesh為數(shù)據(jù)管理提供了一個(gè)更具彈性的方法，以有效地應(yīng)對(duì)這些變化。

Data Mesh是一種涉及人、過(guò)程和技術(shù)的社會(huì)化技術(shù)方法，需要在人、過(guò)程和技術(shù)的所有三個(gè)維度上對(duì)組織進(jìn)行變革，可能會(huì)將70% 的精力花在人員和流程上，30% 的精力花在技術(shù)上。人員從中心化的數(shù)據(jù)團(tuán)隊(duì)分散到各個(gè)領(lǐng)域，現(xiàn)有的工作人員對(duì)于采用Data Mesh的成功至關(guān)重要，他們擁有的知識(shí)和技能會(huì)做出貢獻(xiàn)。因此，管理層級(jí)和獎(jiǎng)勵(lì)機(jī)制也發(fā)生了變化。為了促進(jìn)可持續(xù)和敏捷的數(shù)據(jù)架構(gòu)，需要在組織內(nèi)部進(jìn)行流程更改?？紤]數(shù)據(jù)治理，將需要圍繞數(shù)據(jù)策略定義、實(shí)現(xiàn)和執(zhí)行的新流程，這將影響訪問(wèn)和管理數(shù)據(jù)的流程，以及將該數(shù)據(jù)作為業(yè)務(wù)流程的一部分進(jìn)行利用。

技術(shù)能力是實(shí)現(xiàn)和運(yùn)營(yíng)Data Mesh的關(guān)鍵，可能需要新技術(shù)的原因如下:

• 減少跨技術(shù)開(kāi)發(fā)的摩擦，這些新技術(shù)的互操作性可能是至關(guān)重要的。
• 使領(lǐng)域能夠自給自足，并將重點(diǎn)放在第一類(lèi)關(guān)注點(diǎn)上，即數(shù)據(jù)而不是技術(shù)。
• 允許在線購(gòu)買(mǎi)新的數(shù)據(jù)平臺(tái)，并且可以無(wú)縫地公開(kāi)這些平臺(tái)所暴露的數(shù)據(jù)
• 支持跨Data Mesh的治理報(bào)告，例如數(shù)據(jù)產(chǎn)品使用情況、遵守標(biāo)準(zhǔn)情況和數(shù)據(jù)產(chǎn)品反饋。

在構(gòu)建Data Mesh生態(tài)系統(tǒng)的時(shí)候，一個(gè)關(guān)鍵的 Data Mesh 實(shí)現(xiàn)原則是通過(guò)利用現(xiàn)有的投資來(lái)連接數(shù)據(jù)源: 數(shù)據(jù)湖或數(shù)據(jù)倉(cāng)庫(kù); 云或內(nèi)部設(shè)施等。在生成跨所有不同數(shù)據(jù)集的連接之后，下一個(gè)目標(biāo)是為業(yè)務(wù)和分析團(tuán)隊(duì)創(chuàng)建一個(gè)用于查找數(shù)據(jù)的接口，稱之為邏輯域。需要的所有數(shù)據(jù)都駐留在各自的領(lǐng)域中，領(lǐng)域團(tuán)隊(duì)有權(quán)自主工作。通過(guò)自助服務(wù)的概念，數(shù)據(jù)使用者可以獨(dú)立完成更多的工作。下一步是如何將數(shù)據(jù)集轉(zhuǎn)換為數(shù)據(jù)產(chǎn)品。然后，使用數(shù)據(jù)產(chǎn)品創(chuàng)建一個(gè)庫(kù)或數(shù)據(jù)產(chǎn)品目錄。創(chuàng)建數(shù)據(jù)產(chǎn)品是一項(xiàng)強(qiáng)大的功能，使數(shù)據(jù)消費(fèi)者能夠非?？焖俚貜陌l(fā)現(xiàn)過(guò)渡到構(gòu)想以及洞察。

事實(shí)上，Data Mesh 可能并不適合于每個(gè)組織，可能主要針對(duì)那些在運(yùn)營(yíng)和環(huán)境中遇到不確定性和變化的大型組織。如果組織在數(shù)據(jù)方面的需求很小，而且這些數(shù)據(jù)需求不會(huì)隨著時(shí)間的推移而改變，那么Data Mesh可能是一個(gè)不必要的開(kāi)銷(xiāo)。

7 小結(jié)

面對(duì)數(shù)據(jù)產(chǎn)生場(chǎng)景的變化、數(shù)據(jù)源的增長(zhǎng)和擴(kuò)散、數(shù)據(jù)用例和用戶的多樣性以及對(duì)變化的反應(yīng)速度，當(dāng)前的數(shù)據(jù)平臺(tái)或數(shù)據(jù)中臺(tái)面臨著較大的挑戰(zhàn)，而Data Mesh 或許是解決這些問(wèn)題的一種嘗試。

為了面對(duì)這些挑戰(zhàn)，以實(shí)現(xiàn)規(guī)?；某兄Z，同時(shí)提供使數(shù)據(jù)質(zhì)量和完整性保證，任何Data Mesh的實(shí)現(xiàn)都體現(xiàn)了四個(gè)基本原則：

• 面向領(lǐng)域的分散數(shù)據(jù)所有權(quán)和體系結(jié)構(gòu)
• 數(shù)據(jù)作為產(chǎn)品
• 自助數(shù)據(jù)基礎(chǔ)設(shè)施作為平臺(tái)
• 聯(lián)邦計(jì)算治理

一句話，Data Mesh是現(xiàn)代數(shù)據(jù)管理的一種戰(zhàn)略方法，也是加強(qiáng)組織數(shù)字化轉(zhuǎn)型的一種方法，它集中于提供有價(jià)值且安全的數(shù)據(jù)產(chǎn)品。