在瞬息萬(wàn)變的信息時(shí)代，成功從數(shù)據(jù)中獲取有價(jià)值信息的企業(yè)，將在競(jìng)爭(zhēng)日益激烈的市場(chǎng)中保持其獨(dú)有的競(jìng)爭(zhēng)力。對(duì)于以數(shù)據(jù)為驅(qū)動(dòng)力的企業(yè)來(lái)說(shuō)，可能會(huì)對(duì)隱藏在海量數(shù)據(jù)中的業(yè)務(wù)和客戶有著比較全面的認(rèn)知，同時(shí)，這也是為什么智能虛擬化技術(shù)致力于消除數(shù)據(jù)孤島的原因。

[[319730]]

數(shù)據(jù)湖是大勢(shì)所趨嗎?

未來(lái)，數(shù)據(jù)只會(huì)變得更加多樣化、動(dòng)態(tài)化和分散化。許多企業(yè)試圖收集他們?nèi)康臄?shù)據(jù)，并通過(guò)將全部數(shù)據(jù)拋入一個(gè)數(shù)據(jù)湖中來(lái)使其可訪問(wèn)，數(shù)據(jù)湖可以以其原始格式來(lái)保存數(shù)據(jù)，直到需要進(jìn)行分析為止。

這種做法或多或少還是有說(shuō)服力的，大部分公司是可以承擔(dān)得起數(shù)據(jù)科學(xué)家收集，翻譯并分析數(shù)據(jù)湖中各種類型數(shù)據(jù)的費(fèi)用。

對(duì)數(shù)據(jù)即存即取的需求已日趨強(qiáng)烈!

企業(yè)間競(jìng)相收集和分析盡可能多的數(shù)據(jù)，旨在獲得與同行相比哪怕是很微小的競(jìng)爭(zhēng)優(yōu)勢(shì)。傳統(tǒng)的數(shù)據(jù)湖無(wú)法處理新出現(xiàn)的數(shù)據(jù)源和正在創(chuàng)建的新的本地?cái)?shù)據(jù)庫(kù)。

查詢必須匹配用戶正在使用的特定數(shù)據(jù)庫(kù)，因此用戶擁有的數(shù)據(jù)庫(kù)越多，就需要使用更多的查詢語(yǔ)言。重要的是，在一個(gè)數(shù)據(jù)湖中集成不同的數(shù)據(jù)，仍然需要人工處理以使其具備可訪問(wèn)性和可讀性，這項(xiàng)工程對(duì)于數(shù)據(jù)工程師和數(shù)據(jù)科學(xué)家來(lái)說(shuō)是非常耗時(shí)的。

數(shù)據(jù)湖缺乏靈活性，在數(shù)據(jù)驅(qū)動(dòng)的經(jīng)濟(jì)中將不再適用

因此，許多企業(yè)正在把目光轉(zhuǎn)向數(shù)據(jù)虛擬化，以優(yōu)化其分析和BI。BI和數(shù)據(jù)正連接他們所有的數(shù)據(jù)，并使其可從一個(gè)地方讀取和訪問(wèn)。

并非所有的數(shù)據(jù)虛擬化都是相同的。

數(shù)據(jù)虛擬化創(chuàng)建了一個(gè)軟件虛擬化層，該層集成了所有跨企業(yè)的數(shù)據(jù)。無(wú)論數(shù)據(jù)的格式是什么，或者數(shù)據(jù)駐留在哪一個(gè)筒倉(cāng)、服務(wù)器或云中，數(shù)據(jù)都會(huì)被轉(zhuǎn)換成一種通用的業(yè)務(wù)語(yǔ)言，并可以從單個(gè)門戶訪問(wèn)。

從理論上講，這賦予了組織一個(gè)共享的數(shù)據(jù)湖，所有不同的業(yè)務(wù)單位和業(yè)務(wù)用戶都可以立即訪問(wèn)他們需要的數(shù)據(jù)。擁有快速訪問(wèn)權(quán)限，使企業(yè)能夠?yàn)楣蚕砟康淖龀鰯?shù)據(jù)驅(qū)動(dòng)的決策。

然而，很多數(shù)據(jù)虛擬化解決方案并沒(méi)有達(dá)到分析的理想效果。這有幾個(gè)關(guān)鍵原因：

1. 專有格式

不少數(shù)據(jù)虛擬化供應(yīng)商會(huì)將所有數(shù)據(jù)合并且轉(zhuǎn)換成一種專有格式。雖然合并允許將數(shù)據(jù)集成到單個(gè)視圖的單個(gè)位置，但供應(yīng)商的專有格式常常將數(shù)據(jù)簡(jiǎn)化為最小的公共分母狀態(tài)。

公共分母狀態(tài)可能致使某些數(shù)據(jù)出現(xiàn)偏差，失去特定的功能，甚至在轉(zhuǎn)換的過(guò)程中丟失。有些數(shù)據(jù)還可能要求其原始數(shù)據(jù)庫(kù)的上下文是關(guān)聯(lián)的。因此，用戶可能會(huì)從錯(cuò)誤的數(shù)據(jù)中汲取信息，并做出適得其反的商業(yè)決策。

2. BI工具不兼容

BI工具對(duì)于企業(yè)來(lái)說(shuō)是一筆金額相當(dāng)大的投資。大多數(shù)企業(yè)級(jí)公司在不同部門擁有幾種不同類型的BI工具。例如，一個(gè)部門可能使用Tableau，而另一個(gè)部門可能使用MicrosoftPowerBI或Excel。

要讓大數(shù)據(jù)分析在企業(yè)中充分發(fā)揮作用，前提是不管用戶喜歡使用什么工具，數(shù)據(jù)都是易于發(fā)現(xiàn)，并能被所有的用戶訪問(wèn)。

許多供應(yīng)商使用的專用數(shù)據(jù)格式可能無(wú)法與公司已經(jīng)投入的技術(shù)進(jìn)行互操作。不同的工具使用不同的查詢語(yǔ)言，顯示數(shù)據(jù)的方式也各不相同。當(dāng)定義不一致的數(shù)據(jù)被集成時(shí)，分析過(guò)程中可能會(huì)出現(xiàn)代價(jià)慘痛的失誤。

選擇合適的BI工具對(duì)于盡量減少業(yè)務(wù)中斷，最大限度地提高用戶的生產(chǎn)力至關(guān)重要。

3. 查詢限制

隨著數(shù)據(jù)不斷增長(zhǎng)和技術(shù)的快速發(fā)展，查詢會(huì)變得越來(lái)越復(fù)雜，這對(duì)于分析工作負(fù)載和處理大規(guī)模數(shù)據(jù)來(lái)說(shuō)并不太理想。管理的數(shù)據(jù)源越多，就越需要更多的數(shù)據(jù)工程來(lái)支持快速、交互式的查詢。

分布式連接移動(dòng)大量數(shù)據(jù)并不適用于交互式查詢。它給企業(yè)基礎(chǔ)結(jié)構(gòu)帶來(lái)了不可預(yù)測(cè)和不可接受的壓力，而簡(jiǎn)單的數(shù)據(jù)緩存對(duì)于動(dòng)態(tài)查詢環(huán)境和當(dāng)今的數(shù)據(jù)大小來(lái)說(shuō)是不夠的。

當(dāng)將BI和AI工作負(fù)載添加到混合工作負(fù)載中時(shí)，性能會(huì)迅速下降，從而促使最終用戶尋找其他直接訪問(wèn)數(shù)據(jù)的路徑，這就使數(shù)據(jù)虛擬化沒(méi)有利好可言。

除了這些擴(kuò)展缺陷之外，傳統(tǒng)的虛擬化產(chǎn)品在解決分析用例方面表現(xiàn)的也很差強(qiáng)人意。

擴(kuò)展大型且復(fù)雜的數(shù)據(jù)服務(wù)需要對(duì)細(xì)節(jié)有深入了解：有關(guān)數(shù)據(jù)的統(tǒng)計(jì)、所涉及的數(shù)據(jù)庫(kù)、共享資源的負(fù)載、數(shù)據(jù)使用者的用例和意圖、安全性約束等。

虛擬化解決方案需要為用戶提供其數(shù)據(jù)的業(yè)務(wù)整體視圖，包括層次結(jié)構(gòu)、度量、維度、屬性和時(shí)間序列。

數(shù)據(jù)虛擬化應(yīng)該提供什么?

大多數(shù)數(shù)據(jù)虛擬化解決方案的發(fā)展步伐與今天的數(shù)據(jù)集和數(shù)據(jù)科學(xué)實(shí)踐不同，仍然依賴于傳統(tǒng)的數(shù)據(jù)聯(lián)合方法和簡(jiǎn)單的緩存技術(shù)。然而，還有更多的下一代智能數(shù)據(jù)虛擬化專為當(dāng)今復(fù)雜且對(duì)時(shí)間敏感的BI需求而設(shè)計(jì)。

如果你的數(shù)據(jù)虛擬化解決方案沒(méi)有提供以下功能，那就說(shuō)明它不夠智能。

1. 自主數(shù)據(jù)工程

人類永遠(yuǎn)不可能是完美的;幸運(yùn)的是，計(jì)算機(jī)可以。

鑒于現(xiàn)代數(shù)據(jù)體系結(jié)構(gòu)的復(fù)雜性，人類面對(duì)這一問(wèn)題根本是就束手無(wú)策，至少不能以現(xiàn)在保持競(jìng)爭(zhēng)力所需的速度進(jìn)行運(yùn)算。這就是數(shù)據(jù)虛擬化解決方案需要提供自主的數(shù)據(jù)工程的原因。

自主數(shù)據(jù)工程可以根據(jù)無(wú)數(shù)的連接和計(jì)算結(jié)果自動(dòng)推斷出優(yōu)化結(jié)果，而這是人腦無(wú)法達(dá)到的。機(jī)器學(xué)習(xí)(ML)是用來(lái)剖析公司的所有數(shù)據(jù)并檢查它是如何被查詢并集成到整個(gè)組織的所有用戶正在構(gòu)建的數(shù)據(jù)模型中的。

自動(dòng)化數(shù)據(jù)工程可盡可能節(jié)省大量的資金和資源，同時(shí)釋放數(shù)據(jù)工程師來(lái)執(zhí)行對(duì)組織更有價(jià)值的更復(fù)雜的任務(wù)。

2. 加速結(jié)構(gòu)

智能數(shù)據(jù)虛擬化還可以自動(dòng)實(shí)現(xiàn)將數(shù)據(jù)放入特定的數(shù)據(jù)庫(kù)，從而達(dá)到最佳的性能。

有許多類型的數(shù)據(jù)和不同的格式比較適合這些數(shù)據(jù)。

智能數(shù)據(jù)虛擬化可以基于生成最佳性能的位置自動(dòng)決定將數(shù)據(jù)放在哪個(gè)平臺(tái)上。不同的數(shù)據(jù)平臺(tái)具有不同的優(yōu)勢(shì)。例如，如果用戶的數(shù)據(jù)模型和查詢正在處理時(shí)間序列數(shù)據(jù)，那么智能數(shù)據(jù)虛擬化將在數(shù)據(jù)庫(kù)中放置一個(gè)針對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行優(yōu)化的加速結(jié)構(gòu)。從而自動(dòng)獲悉哪個(gè)數(shù)據(jù)庫(kù)具有哪些優(yōu)勢(shì)，然后加以利用，不同數(shù)據(jù)庫(kù)類型的可變性都能將其轉(zhuǎn)化為優(yōu)勢(shì)。

加速度結(jié)構(gòu)可節(jié)省大量云運(yùn)營(yíng)成本。根據(jù)用戶正在使用的平臺(tái)，可能會(huì)對(duì)數(shù)據(jù)庫(kù)的存儲(chǔ)大小、運(yùn)行的查詢數(shù)量、查詢中正在移動(dòng)的數(shù)據(jù)、問(wèn)題中的行數(shù)、查詢的復(fù)雜性或其他變量收取費(fèi)用。

例如，使用GoogleBigQuery，需要支付的金額與數(shù)據(jù)庫(kù)的大小以及查詢的復(fù)雜程度成正比。

當(dāng)用戶自動(dòng)使用加速結(jié)構(gòu)進(jìn)行性能和成本優(yōu)化時(shí)，只對(duì)在加速聚合中使用的查詢數(shù)據(jù)收取費(fèi)用，而不是對(duì)整個(gè)數(shù)據(jù)庫(kù)的大小。

3. 自動(dòng)數(shù)據(jù)建模

下一代數(shù)據(jù)虛擬化不僅提供對(duì)數(shù)據(jù)的轉(zhuǎn)換和訪問(wèn)，智能數(shù)據(jù)虛擬化還可以自動(dòng)獲悉每個(gè)數(shù)據(jù)平臺(tái)的功能和局限性。它會(huì)自動(dòng)識(shí)別哪些信息是可用的，以及如何在建立模型時(shí)將其與其他數(shù)據(jù)合并和集成。

智能數(shù)據(jù)虛擬化可以對(duì)用于創(chuàng)建舊版報(bào)表的數(shù)據(jù)模型和查詢進(jìn)行逆向運(yùn)作，因此用戶可以繼續(xù)使用相同的報(bào)表，而不必重新構(gòu)建數(shù)據(jù)模型或查詢。例如，如果用戶在舊系統(tǒng)中創(chuàng)建了一個(gè)TPS報(bào)告，則仍然可以能夠在新系統(tǒng)中檢索到它。

有些查詢可能是在舊數(shù)據(jù)基礎(chǔ)上運(yùn)行的，但它們?nèi)匀豢梢栽谛孪到y(tǒng)上運(yùn)行，而無(wú)需任何重寫。

4. 支持自助服務(wù)

近年來(lái)，IT的很多方面變得“大眾化”了--也就是說(shuō)，技術(shù)的進(jìn)步(尤其是云計(jì)算)使它們變得“大眾化”。使得那些沒(méi)有廣泛技術(shù)基礎(chǔ)的外行人也可以使用這些技術(shù)。雖然分析和商業(yè)智能已經(jīng)落后于民主化趨勢(shì)，但是BI工具現(xiàn)在越來(lái)越適合普通大眾使用。

BI的使用引導(dǎo)了一種新的“自助服務(wù)”分析文化的發(fā)展，在這種文化中，業(yè)務(wù)用戶可以使用自己喜歡的BI工具直接訪問(wèn)和分析數(shù)據(jù)，而不必依賴數(shù)據(jù)工程師或數(shù)據(jù)分析人員。

自助分析正迅速成為企業(yè)中優(yōu)化大數(shù)據(jù)分析的必要手段。

例如，假設(shè)銷售部門保存有關(guān)于前一年的支出的數(shù)據(jù)，但希望使用關(guān)于多個(gè)領(lǐng)域的客戶行為模式的數(shù)據(jù)來(lái)進(jìn)行補(bǔ)充。或者，營(yíng)銷部門需要發(fā)起一場(chǎng)基于賬戶的營(yíng)銷活動(dòng)，目標(biāo)是那些被認(rèn)為最有可能更換供應(yīng)商的公司。

通過(guò)自助服務(wù)分析，銷售或營(yíng)銷部門的業(yè)務(wù)用戶可以訪問(wèn)這些數(shù)據(jù)，并使用恰當(dāng)?shù)墓ぞ哒{(diào)用這些數(shù)據(jù)。自助分析被使用，而不是依賴于訓(xùn)練有素的數(shù)據(jù)工程師來(lái)為BI工具獲取數(shù)據(jù)，以及數(shù)據(jù)科學(xué)家來(lái)建模和預(yù)測(cè)。

借助自助服務(wù)動(dòng)態(tài)，組織中的每個(gè)部門都可以將自己的經(jīng)驗(yàn)和專業(yè)知識(shí)應(yīng)用于BI，從而實(shí)現(xiàn)全新的便利性。

智能數(shù)據(jù)虛擬化提供了一個(gè)業(yè)務(wù)邏輯層，它實(shí)際上將所有數(shù)據(jù)轉(zhuǎn)換為一種公共業(yè)務(wù)語(yǔ)言，這種語(yǔ)言既與源無(wú)關(guān)，也與工具無(wú)關(guān)。有了邏輯層，就意味著業(yè)務(wù)用戶可以使用他們喜歡的任何BI工具，且不必屈從于BI軟件的單一標(biāo)準(zhǔn)。

無(wú)論用戶使用什么工具或使用多少工具，所有數(shù)據(jù)都是可訪問(wèn)的，并且所有查詢都將返回一致的答案。標(biāo)準(zhǔn)和邏輯的解釋使企業(yè)具備共享數(shù)據(jù)智能和自助服務(wù)文化的能力，而這種文化在當(dāng)今數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)環(huán)境中變得越來(lái)越必要。

5. 安全保障

在追求數(shù)據(jù)用戶化的過(guò)程中，無(wú)論便利性和成本效益如何，都不能犧牲安全性和合規(guī)性。

眾所周知，虛擬化層會(huì)帶來(lái)安全風(fēng)險(xiǎn)。但是，使用下一代智能數(shù)據(jù)虛擬化，數(shù)據(jù)將繼承了所有數(shù)據(jù)庫(kù)的安全和治理策略。透明的管理過(guò)程意味著用戶的權(quán)限和策略保持不變。

通過(guò)跟蹤數(shù)據(jù)的源頭和用戶身份，將所有現(xiàn)有的安全和隱私信息保存到各個(gè)用戶。

即使在使用具有不同的安全政策的多個(gè)數(shù)據(jù)庫(kù)時(shí)，這些策略也可以被無(wú)縫地合并，并且自動(dòng)應(yīng)用于全局安全和遵從協(xié)議。在采用智能數(shù)據(jù)虛擬化之后，不需要采取其他步驟來(lái)確保安全性和遵從性。

數(shù)據(jù)虛擬化必須隨著其他IT部門的發(fā)展而發(fā)展

對(duì)企業(yè)而言，擁有用戶化的數(shù)據(jù)和擁有可讀、可訪問(wèn)和可靠的數(shù)據(jù)同樣重要，但現(xiàn)如今，不少公司都陷于海量數(shù)據(jù)的泥淖。越來(lái)越多的分布式模型以動(dòng)態(tài)和多樣化的格式和用例添加到數(shù)據(jù)中。如果用戶無(wú)法快速找到并分析所需數(shù)據(jù)，并確信它們的準(zhǔn)確性和最新性，BI質(zhì)量就會(huì)下降，從而導(dǎo)致基于數(shù)據(jù)的決策不夠理想。

因此，數(shù)據(jù)虛擬化需要不斷發(fā)展以應(yīng)對(duì)這些新的挑戰(zhàn)和復(fù)雜性，這樣它才能真正地用于大數(shù)據(jù)分析。

如果數(shù)據(jù)虛擬化解決方案不能提供自主的數(shù)據(jù)工程，加速結(jié)構(gòu)，如自動(dòng)數(shù)據(jù)建模，自助服務(wù)分析，就存在問(wèn)題了。用戶需要無(wú)后顧之憂的安全性和遵從性，或者是平臺(tái)語(yǔ)言的多維語(yǔ)義層。如果沒(méi)有這些流程，那么數(shù)據(jù)虛擬化解決方案就一定不夠智能。