[[179929]]

企業(yè)在實(shí)施大規(guī)模數(shù)據(jù)湖之前，應(yīng)該從小規(guī)模開(kāi)始，并將該技術(shù)作為對(duì)現(xiàn)有分析系統(tǒng)的擴(kuò)展。

最近，數(shù)據(jù)湖已經(jīng)開(kāi)始在IT行業(yè)涌現(xiàn)。數(shù)據(jù)湖是與附加數(shù)據(jù)管理系統(tǒng)相結(jié)合的數(shù)據(jù)存儲(chǔ)，而附加數(shù)據(jù)管理系統(tǒng)提供關(guān)于數(shù)據(jù)的分析，作為數(shù)據(jù)清理過(guò)程的一部分，通常是從其他分析環(huán)境(例如數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市)剝離的能力。

例如，數(shù)據(jù)倉(cāng)庫(kù)的提取，轉(zhuǎn)換和加載預(yù)處理消除了告訴系統(tǒng)何時(shí)到達(dá)或插入“操作數(shù)據(jù)存儲(chǔ)”的日志。

但在當(dāng)今的行業(yè)中，數(shù)據(jù)湖似乎至少有兩個(gè)定義。一個(gè)來(lái)自存儲(chǔ)公司的是，數(shù)據(jù)湖是允許元數(shù)據(jù)存儲(chǔ)的磁盤(pán)存儲(chǔ)基礎(chǔ)設(shè)施。另一個(gè)主要是營(yíng)銷驅(qū)動(dòng)的，是混合通常不混合的多個(gè)數(shù)據(jù)存儲(chǔ)的一個(gè)湖。根據(jù)專家的定義，沒(méi)有銷售全面數(shù)據(jù)湖的供應(yīng)商，而是人們使用Hadoop和本地工具訪問(wèn)數(shù)據(jù)來(lái)將它們拼湊在一起。

由于最初的供應(yīng)商炒作讓位于真實(shí)世界的實(shí)驗(yàn)，用戶發(fā)現(xiàn)數(shù)據(jù)市場(chǎng)的***實(shí)踐并不適用于數(shù)據(jù)湖。為了避免早期用戶的錯(cuò)誤，適當(dāng)?shù)亟鉀Q數(shù)據(jù)湖的實(shí)施，而不是大規(guī)模。以下是一些在處理數(shù)據(jù)湖時(shí)證明有用的***實(shí)踐。

記住，數(shù)據(jù)湖是探索性的

數(shù)據(jù)湖實(shí)施應(yīng)該允許組織以特別的和探索的方式擴(kuò)展現(xiàn)有的分析。

從當(dāng)前分析系統(tǒng)不會(huì)及時(shí)獲取的高度數(shù)據(jù)的核心(例如客戶事務(wù)日志)中增長(zhǎng)數(shù)據(jù)湖中的數(shù)據(jù)類型。大多數(shù)現(xiàn)有的分析不足以真實(shí)了解應(yīng)用程序的行為。數(shù)據(jù)倉(cāng)庫(kù)和Hadoop等數(shù)據(jù)管理方案失去了重要的數(shù)據(jù)。

大數(shù)據(jù)分析系統(tǒng)提供商Pentaho公司的***技術(shù)官James Dixon在博客上例舉了一個(gè)例子：數(shù)據(jù)倉(cāng)庫(kù)等系統(tǒng)并不捕獲客戶購(gòu)買(mǎi)過(guò)程中的每一步，而是事務(wù)日志。這樣的購(gòu)買(mǎi)過(guò)程的設(shè)計(jì)對(duì)于典型的數(shù)據(jù)架構(gòu)師似乎是直接的，但是在每個(gè)步驟中可能有數(shù)分鐘甚至數(shù)小時(shí)的滯后。

通過(guò)發(fā)現(xiàn)流程中的滯后，用戶可以開(kāi)始與客戶面對(duì)的數(shù)據(jù)湖實(shí)現(xiàn)，購(gòu)買(mǎi)相關(guān)的交易。分析對(duì)企業(yè)的整體分析工作具有探索性和重要性，因?yàn)橐坏┯脩舾鼜氐椎胤治隹蛻羧罩緯r(shí)間戳，還不清楚會(huì)發(fā)現(xiàn)什么。

數(shù)據(jù)集市，湖泊和倉(cāng)庫(kù)之間有什么區(qū)別?

數(shù)據(jù)集市是數(shù)據(jù)倉(cāng)庫(kù)的變體。數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)來(lái)自整個(gè)組織的較舊的數(shù)據(jù)，用于報(bào)告和分析。多個(gè)數(shù)據(jù)集市大致相當(dāng)于數(shù)據(jù)倉(cāng)庫(kù)，通常在自己的IT環(huán)境中為子公司服務(wù)。用戶可以有多個(gè)數(shù)據(jù)集市進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)，或者只是松散耦合的數(shù)據(jù)集市。

集成是實(shí)現(xiàn)數(shù)據(jù)湖的關(guān)鍵

將數(shù)據(jù)湖與其他企業(yè)數(shù)據(jù)架構(gòu)(包括數(shù)據(jù)治理和主要數(shù)據(jù)管理)完全集成也很重要。了解哪些數(shù)據(jù)類型對(duì)數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市很重要，以及原始數(shù)據(jù)是否正確和一致。實(shí)施數(shù)據(jù)治理實(shí)踐，以避免分析有缺陷的數(shù)據(jù)。

數(shù)據(jù)湖的長(zhǎng)期發(fā)展

數(shù)據(jù)湖有潛力。但是，除非人們能夠更好地了解自己可以長(zhǎng)期提供什么，否則這很可能只是一個(gè)時(shí)尚，除非他們的利益比迄今為止具體顯示的更廣泛。

Dixon在并入時(shí)序和間距時(shí)的數(shù)據(jù)倉(cāng)庫(kù)問(wèn)題的例子只是當(dāng)今的分析繼續(xù)依賴簡(jiǎn)單統(tǒng)計(jì)數(shù)據(jù)，而不考慮什么“壞”數(shù)據(jù)可以告訴人們的一個(gè)實(shí)例。由于數(shù)據(jù)湖實(shí)施可以發(fā)掘分析中的關(guān)鍵“陷阱”，因此它值得任何企業(yè)進(jìn)行探索。然而，從長(zhǎng)遠(yuǎn)來(lái)看，這需要實(shí)驗(yàn)和仔細(xì)平衡數(shù)據(jù)湖和整體信息架構(gòu)。