成功的數(shù)據(jù)治理計(jì)劃會(huì)利用政策、標(biāo)準(zhǔn)和流程來(lái)創(chuàng)建高質(zhì)量數(shù)據(jù)，并確保在整個(gè)組織中正確利用這些數(shù)據(jù)。數(shù)據(jù)治理最初側(cè)重于關(guān)系數(shù)據(jù)庫(kù)和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)，但后來(lái)情況發(fā)生變化。如果你的企業(yè)擁有數(shù)據(jù)湖環(huán)境，并希望從中獲得準(zhǔn)確的分析結(jié)果，那么你還需要部署適當(dāng)?shù)臄?shù)據(jù)湖治理，作為整體治理計(jì)劃的一部分。

但數(shù)據(jù)湖對(duì)企業(yè)數(shù)據(jù)管理的所有領(lǐng)域（包括數(shù)據(jù)治理）帶來(lái)各種挑戰(zhàn)。下面我們將探討一些主要的治理挑戰(zhàn)，以及有效治理數(shù)據(jù)湖的好處。不過(guò)，首先讓我們定義什么是數(shù)據(jù)湖：這是指一個(gè)擁有大量原始數(shù)據(jù)的數(shù)據(jù)平臺(tái)，通常包括各種結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)類(lèi)型。它通常建立在Hadoop、Spark和其他大數(shù)據(jù)技術(shù)之上。

雖然大多數(shù)數(shù)據(jù)倉(cāng)庫(kù)將數(shù)據(jù)存儲(chǔ)在關(guān)系表中，但數(shù)據(jù)湖使用扁平架構(gòu)。每個(gè)數(shù)據(jù)元素都被分配一個(gè)唯一標(biāo)識(shí)符，并用一組元數(shù)據(jù)標(biāo)簽進(jìn)行標(biāo)記。因此，數(shù)據(jù)湖不像數(shù)據(jù)倉(cāng)庫(kù)那么結(jié)構(gòu)化。數(shù)據(jù)通常以其原始格式保留，并根據(jù)特定分析用途的需要進(jìn)行分類(lèi)、整理和過(guò)濾，而不是在將其加載到數(shù)據(jù)湖中時(shí)。

數(shù)據(jù)湖與數(shù)據(jù)沼澤

如果數(shù)據(jù)湖沒(méi)有得到很好的管理和治理，它可能會(huì)變成沼澤而不是湖泊。數(shù)據(jù)在沒(méi)有適當(dāng)監(jiān)督和記錄的情況下被轉(zhuǎn)儲(chǔ)到平臺(tái)中，使數(shù)據(jù)管理和治理團(tuán)隊(duì)難以跟蹤數(shù)據(jù)湖中的內(nèi)容。這可能會(huì)導(dǎo)致數(shù)據(jù)質(zhì)量、一致性、可靠性和可訪(fǎng)問(wèn)性方面出現(xiàn)問(wèn)題。

因此，數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師和其他最終用戶(hù)可能無(wú)法為分析應(yīng)用程序找到相關(guān)數(shù)據(jù)。更糟糕的是，數(shù)據(jù)沼澤可能會(huì)導(dǎo)致分析錯(cuò)誤，并最終導(dǎo)致糟糕的業(yè)務(wù)決策。數(shù)據(jù)安全和隱私保護(hù)可能無(wú)法正確應(yīng)用，從而使企業(yè)的數(shù)據(jù)資產(chǎn)及其商業(yè)聲譽(yù)面臨風(fēng)險(xiǎn)。為了避免這種沼澤地情況，企業(yè)必須管理數(shù)據(jù)湖環(huán)境。

數(shù)據(jù)湖治理的好處

有效的數(shù)據(jù)治理使企業(yè)能夠提高數(shù)據(jù)質(zhì)量，并最大限度地利用數(shù)據(jù)進(jìn)行業(yè)務(wù)決策，這可以帶來(lái)運(yùn)營(yíng)改進(jìn)、更強(qiáng)大的業(yè)務(wù)戰(zhàn)略和更好的財(cái)務(wù)績(jī)效。這個(gè)道理同樣適用于治理數(shù)據(jù)湖，就像它與其他類(lèi)型的系統(tǒng)一樣。數(shù)據(jù)湖治理提供的具體好處包括：

• 增加對(duì)相關(guān)數(shù)據(jù)的訪(fǎng)問(wèn)以進(jìn)行高級(jí)分析。在管理良好的數(shù)據(jù)湖中，數(shù)據(jù)科學(xué)家和分析團(tuán)隊(duì)的其他成員更容易找到機(jī)器學(xué)習(xí)、預(yù)測(cè)分析和其他數(shù)據(jù)科學(xué)應(yīng)用所需的數(shù)據(jù)。
• 為分析用途準(zhǔn)備數(shù)據(jù)所花費(fèi)的時(shí)間更少。雖然數(shù)據(jù)湖中的數(shù)據(jù)通常以原始形式保留，知道特定應(yīng)用程序需要它，但在受監(jiān)管的環(huán)境中可以縮短數(shù)據(jù)準(zhǔn)備過(guò)程。例如，前期數(shù)據(jù)清理減少以后修復(fù)數(shù)據(jù)錯(cuò)誤和其他問(wèn)題的時(shí)間。
• 降低IT和數(shù)據(jù)管理成本。通過(guò)防止數(shù)據(jù)湖失控，可以減少所需的數(shù)據(jù)處理和存儲(chǔ)資源。通過(guò)提高數(shù)據(jù)準(zhǔn)確性、整齊度和一致性，還可以降低總體數(shù)據(jù)管理需求。
• 提高敏感數(shù)據(jù)的安全性和監(jiān)管合規(guī)下。數(shù)據(jù)湖的常見(jiàn)用例是幫助營(yíng)銷(xiāo)和銷(xiāo)售。因此，他們通常包含有關(guān)客戶(hù)的敏感信心。數(shù)據(jù)湖的強(qiáng)大治理有助于幫助此類(lèi)數(shù)據(jù)得到適當(dāng)保護(hù)，并且不會(huì)被濫用。

數(shù)據(jù)湖治理挑戰(zhàn)

數(shù)據(jù)治理的配套數(shù)據(jù)管理學(xué)科包括數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理和數(shù)據(jù)安全，所有這些因素都會(huì)影響數(shù)據(jù)湖治理及其挑戰(zhàn)。以下是數(shù)據(jù)湖部署中遇到的五個(gè)常見(jiàn)數(shù)據(jù)治理挑戰(zhàn)。

(1) 識(shí)別和維護(hù)正確的數(shù)據(jù)源。在很多數(shù)據(jù)湖實(shí)施中，源元數(shù)據(jù)沒(méi)有被捕獲或根本不可用，這使得數(shù)據(jù)湖內(nèi)容的有效性值得懷疑。例如，記錄系統(tǒng)或數(shù)據(jù)集的業(yè)務(wù)所有者沒(méi)有被列出，或者明顯冗余數(shù)據(jù)可能會(huì)給數(shù)據(jù)分析師帶來(lái)問(wèn)題。至少，應(yīng)記錄數(shù)據(jù)湖中所有數(shù)據(jù)的源元數(shù)據(jù)，并提供給用戶(hù)以深入了解其來(lái)源。

(2) 元數(shù)據(jù)管理問(wèn)題。元數(shù)據(jù)為數(shù)據(jù)集的內(nèi)容提供背景信息，使數(shù)據(jù)在應(yīng)用程序中易于理解和使用，元數(shù)據(jù)是重要組成部分。但是很多數(shù)據(jù)湖部署沒(méi)有將正確的數(shù)據(jù)定義應(yīng)用于收集的數(shù)據(jù)。此外，由于原始數(shù)據(jù)通常加載到數(shù)據(jù)湖中，很多企業(yè)沒(méi)有部署步驟來(lái)驗(yàn)證數(shù)據(jù)或應(yīng)用組織數(shù)據(jù)標(biāo)準(zhǔn)。由于缺乏適當(dāng)?shù)脑獢?shù)據(jù)管理，數(shù)據(jù)湖中的數(shù)據(jù)對(duì)分析沒(méi)什么用處。

(3) 數(shù)據(jù)治理和數(shù)據(jù)質(zhì)量缺乏協(xié)調(diào)。不協(xié)調(diào)數(shù)據(jù)湖治理和數(shù)據(jù)質(zhì)量工作可能會(huì)導(dǎo)致低質(zhì)量數(shù)據(jù)進(jìn)入數(shù)據(jù)湖。當(dāng)數(shù)據(jù)用于分析和推動(dòng)業(yè)務(wù)決策時(shí)，這可能會(huì)導(dǎo)致結(jié)果不準(zhǔn)確，從而導(dǎo)致對(duì)數(shù)據(jù)湖的信心喪失以及整個(gè)組織對(duì)數(shù)據(jù)的普遍不信任。有效的數(shù)據(jù)湖實(shí)施需要數(shù)據(jù)質(zhì)量分析師和工程師與數(shù)據(jù)治理團(tuán)隊(duì)和業(yè)務(wù)數(shù)據(jù)管理員密切合作，以應(yīng)用數(shù)據(jù)質(zhì)量策略、分析數(shù)據(jù)并采取必要措施來(lái)提高其質(zhì)量。

(4) 數(shù)據(jù)治理和數(shù)據(jù)安全缺乏協(xié)調(diào)。在這種情況下，未在治理過(guò)程中正確應(yīng)用的數(shù)據(jù)安全標(biāo)準(zhǔn)和策略，可能會(huì)導(dǎo)致訪(fǎng)問(wèn)受隱私法規(guī)保護(hù)的個(gè)人數(shù)據(jù)和其他類(lèi)型的敏感數(shù)據(jù)時(shí)出現(xiàn)問(wèn)題。盡管數(shù)據(jù)湖旨在成為相當(dāng)開(kāi)放的數(shù)據(jù)源，但仍需要安全和訪(fǎng)問(wèn)控制措施，并且數(shù)據(jù)治理和數(shù)據(jù)安全團(tuán)隊(duì)?wèi)?yīng)共同努力處理數(shù)據(jù)湖設(shè)計(jì)和加載過(guò)程以及持續(xù)的數(shù)據(jù)治理工作。

(5) 使用相同數(shù)據(jù)湖的業(yè)務(wù)部門(mén)之間的沖突。不同部門(mén)可能對(duì)相似數(shù)據(jù)有不同的業(yè)務(wù)規(guī)則，這可能導(dǎo)致無(wú)法協(xié)調(diào)數(shù)據(jù)差異以進(jìn)行準(zhǔn)確分析。擁有一個(gè)強(qiáng)大的數(shù)據(jù)治理計(jì)劃，具有數(shù)據(jù)策略、標(biāo)準(zhǔn)、程序和定義的企業(yè)視圖，包括企業(yè)業(yè)務(wù)術(shù)語(yǔ)表，可以減少多個(gè)業(yè)務(wù)部門(mén)使用一個(gè)數(shù)據(jù)湖時(shí)出現(xiàn)的問(wèn)題。如果企業(yè)有多個(gè)數(shù)據(jù)湖，則每個(gè)數(shù)據(jù)湖都應(yīng)包含在數(shù)據(jù)湖治理流程中，并為其分配業(yè)務(wù)數(shù)據(jù)管理員。

如何開(kāi)始管理數(shù)據(jù)湖

與其他類(lèi)型系統(tǒng)中的數(shù)據(jù)治理一樣，數(shù)據(jù)湖治理的常見(jiàn)初始步驟包括：

• 記錄管理數(shù)據(jù)湖的業(yè)務(wù)案例，包括數(shù)據(jù)質(zhì)量指標(biāo)和其他衡量管理工作收益的方法。
• 尋找高管或業(yè)務(wù)發(fā)起人，以幫助為治理工作獲得批準(zhǔn)和資金支持。
• 如果你還沒(méi)有適當(dāng)?shù)臄?shù)據(jù)治理架構(gòu)，請(qǐng)創(chuàng)建一個(gè)架構(gòu)，其中包括治理團(tuán)隊(duì)、數(shù)據(jù)管理嚴(yán)以及數(shù)據(jù)治理委員會(huì)-由業(yè)務(wù)主管和其他相關(guān)數(shù)據(jù)所有者組成。
• 與治理委員會(huì)合作，為數(shù)據(jù)湖環(huán)境制定數(shù)據(jù)標(biāo)準(zhǔn)和治理政策。

另一個(gè)好的初始步驟是構(gòu)建數(shù)據(jù)目錄，以幫助最終用戶(hù)定位和理解存儲(chǔ)在數(shù)據(jù)湖中的數(shù)據(jù)。或者，如果你已經(jīng)擁有其他數(shù)據(jù)資產(chǎn)的目錄，則可以將其擴(kuò)展為包括數(shù)據(jù)湖。數(shù)據(jù)目錄捕獲元數(shù)據(jù)并創(chuàng)建可用數(shù)據(jù)的清單，用戶(hù)可以搜索以找到他們需要的數(shù)據(jù)。你還可以在目錄中嵌入有關(guān)你組織的數(shù)據(jù)治理策略的信息，以及強(qiáng)制執(zhí)行規(guī)則和限制的機(jī)制。

總之，通過(guò)在設(shè)計(jì)、加載和維護(hù)數(shù)據(jù)環(huán)境中涵蓋強(qiáng)大的數(shù)據(jù)治理以及元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全流程，可以顯著提高數(shù)據(jù)湖的價(jià)值。經(jīng)驗(yàn)豐富的專(zhuān)業(yè)人員在所有這些領(lǐng)域的積極參與也至關(guān)重要。否則，你的數(shù)據(jù)湖可能確實(shí)會(huì)變成更多的數(shù)據(jù)沼澤。