[[179929]]

企業(yè)在實施大規(guī)模數(shù)據(jù)湖之前，應該從小規(guī)模開始，并將該技術(shù)作為對現(xiàn)有分析系統(tǒng)的擴展。

最近，數(shù)據(jù)湖已經(jīng)開始在IT行業(yè)涌現(xiàn)。數(shù)據(jù)湖是與附加數(shù)據(jù)管理系統(tǒng)相結(jié)合的數(shù)據(jù)存儲，而附加數(shù)據(jù)管理系統(tǒng)提供關(guān)于數(shù)據(jù)的分析，作為數(shù)據(jù)清理過程的一部分，通常是從其他分析環(huán)境(例如數(shù)據(jù)倉庫或數(shù)據(jù)集市)剝離的能力。

例如，數(shù)據(jù)倉庫的提取，轉(zhuǎn)換和加載預處理消除了告訴系統(tǒng)何時到達或插入“操作數(shù)據(jù)存儲”的日志。

但在當今的行業(yè)中，數(shù)據(jù)湖似乎至少有兩個定義。一個來自存儲公司的是，數(shù)據(jù)湖是允許元數(shù)據(jù)存儲的磁盤存儲基礎設施。另一個主要是營銷驅(qū)動的，是混合通常不混合的多個數(shù)據(jù)存儲的一個湖。根據(jù)專家的定義，沒有銷售全面數(shù)據(jù)湖的供應商，而是人們使用Hadoop和本地工具訪問數(shù)據(jù)來將它們拼湊在一起。

由于最初的供應商炒作讓位于真實世界的實驗，用戶發(fā)現(xiàn)數(shù)據(jù)市場的***實踐并不適用于數(shù)據(jù)湖。為了避免早期用戶的錯誤，適當?shù)亟鉀Q數(shù)據(jù)湖的實施，而不是大規(guī)模。以下是一些在處理數(shù)據(jù)湖時證明有用的***實踐。

記住，數(shù)據(jù)湖是探索性的

數(shù)據(jù)湖實施應該允許組織以特別的和探索的方式擴展現(xiàn)有的分析。

從當前分析系統(tǒng)不會及時獲取的高度數(shù)據(jù)的核心(例如客戶事務日志)中增長數(shù)據(jù)湖中的數(shù)據(jù)類型。大多數(shù)現(xiàn)有的分析不足以真實了解應用程序的行為。數(shù)據(jù)倉庫和Hadoop等數(shù)據(jù)管理方案失去了重要的數(shù)據(jù)。

大數(shù)據(jù)分析系統(tǒng)提供商Pentaho公司的***技術(shù)官James Dixon在博客上例舉了一個例子：數(shù)據(jù)倉庫等系統(tǒng)并不捕獲客戶購買過程中的每一步，而是事務日志。這樣的購買過程的設計對于典型的數(shù)據(jù)架構(gòu)師似乎是直接的，但是在每個步驟中可能有數(shù)分鐘甚至數(shù)小時的滯后。

通過發(fā)現(xiàn)流程中的滯后，用戶可以開始與客戶面對的數(shù)據(jù)湖實現(xiàn)，購買相關(guān)的交易。分析對企業(yè)的整體分析工作具有探索性和重要性，因為一旦用戶更徹底地分析客戶日志時間戳，還不清楚會發(fā)現(xiàn)什么。

數(shù)據(jù)集市，湖泊和倉庫之間有什么區(qū)別?

數(shù)據(jù)集市是數(shù)據(jù)倉庫的變體。數(shù)據(jù)倉庫存儲來自整個組織的較舊的數(shù)據(jù)，用于報告和分析。多個數(shù)據(jù)集市大致相當于數(shù)據(jù)倉庫，通常在自己的IT環(huán)境中為子公司服務。用戶可以有多個數(shù)據(jù)集市進入數(shù)據(jù)倉庫，或者只是松散耦合的數(shù)據(jù)集市。

集成是實現(xiàn)數(shù)據(jù)湖的關(guān)鍵

將數(shù)據(jù)湖與其他企業(yè)數(shù)據(jù)架構(gòu)(包括數(shù)據(jù)治理和主要數(shù)據(jù)管理)完全集成也很重要。了解哪些數(shù)據(jù)類型對數(shù)據(jù)倉庫或數(shù)據(jù)集市很重要，以及原始數(shù)據(jù)是否正確和一致。實施數(shù)據(jù)治理實踐，以避免分析有缺陷的數(shù)據(jù)。

數(shù)據(jù)湖的長期發(fā)展

數(shù)據(jù)湖有潛力。但是，除非人們能夠更好地了解自己可以長期提供什么，否則這很可能只是一個時尚，除非他們的利益比迄今為止具體顯示的更廣泛。

Dixon在并入時序和間距時的數(shù)據(jù)倉庫問題的例子只是當今的分析繼續(xù)依賴簡單統(tǒng)計數(shù)據(jù)，而不考慮什么“壞”數(shù)據(jù)可以告訴人們的一個實例。由于數(shù)據(jù)湖實施可以發(fā)掘分析中的關(guān)鍵“陷阱”，因此它值得任何企業(yè)進行探索。然而，從長遠來看，這需要實驗和仔細平衡數(shù)據(jù)湖和整體信息架構(gòu)。