成功的數(shù)據(jù)治理方案涉及部署策略、標準和流程，以在整個企業(yè)中有效正確地利用高質(zhì)量數(shù)據(jù)。如果你的企業(yè)具有數(shù)據(jù)湖環(huán)境，并希望從中獲得高質(zhì)量的分析結(jié)果，則你需要部署正確數(shù)據(jù)湖治理，作為整體治理計劃的一部分。

[[316070]]

但數(shù)據(jù)湖給企業(yè)數(shù)據(jù)管理的方方面面都帶來挑戰(zhàn)，包括數(shù)據(jù)治理。在開始討論治理挑戰(zhàn)前，我們有必要定義什么是數(shù)據(jù)湖：一種可容納大量原始數(shù)據(jù)的數(shù)據(jù)平臺，這些數(shù)據(jù)通常以其本機格式保留，直到需要用于分析。

傳統(tǒng)的數(shù)據(jù)倉庫將數(shù)據(jù)存儲在關(guān)系表中，而數(shù)據(jù)湖則使用平面結(jié)構(gòu)。每個數(shù)據(jù)元素被分配唯一標識符，并用一組元數(shù)據(jù)標簽進行標記。這就是說，數(shù)據(jù)湖沒有數(shù)據(jù)倉庫那么結(jié)構(gòu)化。在訪問數(shù)據(jù)進行分析時，數(shù)據(jù)會被分類和整理，而不是在將數(shù)據(jù)加載到數(shù)據(jù)湖中時。

有效的數(shù)據(jù)治理使企業(yè)能夠提高數(shù)據(jù)質(zhì)量和一致性，并很大程度地利用數(shù)據(jù)進行業(yè)務(wù)決策，從而可以改善業(yè)務(wù)規(guī)劃和財務(wù)績效。數(shù)據(jù)治理的配套數(shù)據(jù)管理學科包括數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理和數(shù)據(jù)安全性，所有這些因素都影響到數(shù)據(jù)湖治理。

現(xiàn)在，讓我們看看下面5個數(shù)據(jù)湖部署中的數(shù)據(jù)治理挑戰(zhàn)。

1.識別和維護正確的數(shù)據(jù)源

在很多數(shù)據(jù)湖部署中，源元數(shù)據(jù)沒有被獲取或根本不可用，這使得數(shù)據(jù)湖內(nèi)容的有效性令人質(zhì)疑。例如，可能未列出記錄系統(tǒng)或數(shù)據(jù)集的業(yè)務(wù)所有者，或者顯然冗余數(shù)據(jù)可能會給數(shù)據(jù)分析人員造成問題。至少應(yīng)記錄數(shù)據(jù)湖中所有數(shù)據(jù)的源元數(shù)據(jù)，并使用戶可以使用它來了解其出處。

2.元數(shù)據(jù)管理問題

元數(shù)據(jù)為數(shù)據(jù)集內(nèi)容提供背景信息，并且是使數(shù)據(jù)在應(yīng)用程序中易于理解和可使用的重要組件。但是很多數(shù)據(jù)湖部署忽略了對收集的數(shù)據(jù)應(yīng)用正確數(shù)據(jù)定義的需求。而且，由于原始數(shù)據(jù)通常被加載到數(shù)據(jù)湖中，很多企業(yè)沒有采取步驟來驗證數(shù)據(jù)或?qū)ζ鋺?yīng)用企業(yè)數(shù)據(jù)標準。缺少適當?shù)脑獢?shù)據(jù)管理使得數(shù)據(jù)湖中的數(shù)據(jù)對分析的用處不大。

3.在數(shù)據(jù)治理和數(shù)據(jù)質(zhì)量方面缺乏協(xié)調(diào)性

不協(xié)調(diào)的數(shù)據(jù)湖治理和數(shù)據(jù)質(zhì)量工作會導致劣質(zhì)數(shù)據(jù)進入數(shù)據(jù)湖。當這些數(shù)據(jù)用于分析并驅(qū)動業(yè)務(wù)決策時，這可能導致結(jié)果不準確，從而導致喪失對數(shù)據(jù)湖的信心以及整個企業(yè)對數(shù)據(jù)普遍不信任。有效的數(shù)據(jù)湖部署需要數(shù)據(jù)質(zhì)量分析師和工程師與數(shù)據(jù)治理團隊及數(shù)據(jù)管理員密切合作，以部署數(shù)據(jù)質(zhì)量策略、分析數(shù)據(jù)并采取必要的措施來提高其質(zhì)量。

4.在數(shù)據(jù)治理和數(shù)據(jù)安全方面缺乏協(xié)調(diào)性

在這種情況下，如果數(shù)據(jù)安全標準和策略未被正確納入治理流程中，可能會導致無法訪問受隱私法規(guī)和其他類型的敏感數(shù)據(jù)保護的個人數(shù)據(jù)。盡管數(shù)據(jù)湖旨在成為相當開放的數(shù)據(jù)源，但仍需要安全性和訪問控制措施，并且，數(shù)據(jù)治理和數(shù)據(jù)安全團隊應(yīng)攜手完成數(shù)據(jù)湖設(shè)計和加載過程，以及持續(xù)的數(shù)據(jù)治理工作。

5.使用相同數(shù)據(jù)湖的業(yè)務(wù)部門之間的沖突

不同部門對于相似數(shù)據(jù)可能具有不同的業(yè)務(wù)規(guī)則，這可能導致無法協(xié)調(diào)數(shù)據(jù)差異以進行準確的分析。完善的數(shù)據(jù)治理方案應(yīng)具有對數(shù)據(jù)策略、標準、流程和定義的企業(yè)視角，包括企業(yè)業(yè)務(wù)詞匯表，這可減少多個業(yè)務(wù)部門使用同一數(shù)據(jù)湖時出現(xiàn)的問題。如果企業(yè)有多個數(shù)據(jù)湖，則每個數(shù)據(jù)湖都應(yīng)包含在數(shù)據(jù)湖治理流程中，并為其分配業(yè)務(wù)數(shù)據(jù)管理員。 總之，通過在數(shù)據(jù)湖的設(shè)計、加載和維護過程中加入強大的數(shù)據(jù)治理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全流程，并由所有這些領(lǐng)域的經(jīng)驗豐富的專業(yè)人員積極參與，可顯著提高數(shù)據(jù)湖的價值。否則，你的數(shù)據(jù)湖可能會變成數(shù)據(jù)沼澤。