數(shù)據(jù)網(wǎng)格2.0:兌現(xiàn)去中心化的承諾
譯文譯者 | 布加迪
審校 | 重樓
“數(shù)據(jù)網(wǎng)格”正迎來(lái)重大時(shí)刻。通過谷歌新聞粗略地搜索一下,你會(huì)看到幾十個(gè)相關(guān)的結(jié)果,而且種類繁多。隨著眾多新技術(shù)不斷進(jìn)步,這種情況正在發(fā)生。此外,連大有希望的學(xué)科也會(huì)迅速銷聲匿跡,一些學(xué)科在沒有達(dá)到最初效果的情況下卻存活下來(lái)。這是變化萬(wàn)千的領(lǐng)域,迅速變化是一個(gè)永恒的主題。但即使有這些警告,數(shù)據(jù)網(wǎng)格這種不斷發(fā)展的架構(gòu)可能也值得關(guān)注。
即使從數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)實(shí)踐方面的正常變化來(lái)看,數(shù)據(jù)網(wǎng)格似乎也為重大變化提供了真正的潛力。我們不斷邁向真正以數(shù)據(jù)為中心的文化;在這種環(huán)境中,每一個(gè)戰(zhàn)略決策和業(yè)務(wù)運(yùn)營(yíng)都由可操作的情報(bào)作為指導(dǎo),這些信息是通過實(shí)時(shí)分析海量原始數(shù)據(jù)獲取的,數(shù)據(jù)網(wǎng)格可能會(huì)成為重大的里程碑。
問題是,這樣一種關(guān)鍵的旅程由許多里程碑組成,正如沒有哪種單一的技術(shù)解決方案可以一應(yīng)俱全。數(shù)據(jù)網(wǎng)格是堅(jiān)實(shí)的基礎(chǔ),但是如何將它與其他方法結(jié)合起來(lái)以提供更大的好處?如果數(shù)據(jù)網(wǎng)格這么好,數(shù)據(jù)網(wǎng)格2.0會(huì)是什么樣子呢?
先介紹一下背景。雖然數(shù)據(jù)網(wǎng)格常常與數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)歸為一類,但它實(shí)際上并不屬于這一類。數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)本質(zhì)上是用來(lái)存儲(chǔ)或移動(dòng)數(shù)據(jù)的技術(shù);相反,數(shù)據(jù)網(wǎng)格直接關(guān)注數(shù)據(jù)本身。這種架構(gòu)更容易使數(shù)據(jù)所有權(quán)能夠分布在多個(gè)以業(yè)務(wù)為中心的領(lǐng)域和相似的用戶群,而不是單一的集中式權(quán)限。這種民主化帶來(lái)了眾多相關(guān)的好處,從跨異構(gòu)基礎(chǔ)設(shè)施的分析到根據(jù)業(yè)務(wù)需求進(jìn)行擴(kuò)展,不一而足。
在最好的情況下,這代表一種非凡的愿景。在數(shù)據(jù)網(wǎng)格中,數(shù)據(jù)不再由新一代的精英專家和管理員囤積;業(yè)務(wù)專業(yè)人員可以訪問它來(lái)幫助完成工作。本來(lái)就始終應(yīng)該是這樣。
但最好的還在后頭。去中心化架構(gòu)的廣闊前景遠(yuǎn)未實(shí)現(xiàn)。當(dāng)然,已經(jīng)有了一些實(shí)施和項(xiàng)目,但它們的應(yīng)用范圍比較有限。“數(shù)據(jù)網(wǎng)格成功案例”一欄幾乎空白。
我們可以做得更好,而這始于幾個(gè)核心原則。
首先,需要在完整的上下文中理解基于領(lǐng)域的數(shù)據(jù)所有權(quán)這一概念。這不僅僅是集中式權(quán)力結(jié)構(gòu)的變化,還意味著數(shù)據(jù)不再屬于特定的應(yīng)用程序或監(jiān)督這些應(yīng)用程序的技術(shù)人員,而是屬于業(yè)務(wù)本身。新興技術(shù)將數(shù)據(jù)與創(chuàng)建或存儲(chǔ)數(shù)據(jù)的應(yīng)用程序分離開來(lái),它們是做到這點(diǎn)的最佳方法——這些解決方案如今在市面上可以找到。這是具有重大影響的根本性變化,需要對(duì)由來(lái)已久的最佳實(shí)踐進(jìn)行重大改變。
其次,企業(yè)需要具備能夠將數(shù)據(jù)作為產(chǎn)品來(lái)管理。這不再是復(fù)雜技術(shù)的附帶輸出——數(shù)據(jù)而是一種特定的、可識(shí)別的、離散的產(chǎn)品,可以由一個(gè)或多個(gè)業(yè)務(wù)領(lǐng)域單獨(dú)擁有和管理。更準(zhǔn)確地說,我們談?wù)摰氖菙?shù)據(jù)產(chǎn)品,不是一個(gè)產(chǎn)品,而是多個(gè)產(chǎn)品,開發(fā)所有產(chǎn)品是為了支持分析系統(tǒng)和操作系統(tǒng)。這是革命性的,盡管它只是從另一個(gè)層面實(shí)現(xiàn)了我們長(zhǎng)期以來(lái)的愿景,即數(shù)據(jù)作為一種企業(yè)資產(chǎn),可以與其他更有形的資源共同占有一席之地。
接下來(lái),想象一下自助式數(shù)據(jù)平臺(tái)的好處。這構(gòu)成了元數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)瀏覽器,業(yè)務(wù)用戶和技術(shù)人員都可以用它來(lái)進(jìn)行協(xié)作,比如發(fā)現(xiàn)、訪問、改變、創(chuàng)建甚至生成數(shù)據(jù),而無(wú)需生成新的孤島。毫無(wú)疑問,數(shù)據(jù)集成是數(shù)字時(shí)代的基礎(chǔ):存儲(chǔ)在企業(yè)內(nèi)部的海量數(shù)據(jù)被存放在(或者更確切地說被鎖放在)孤島中,數(shù)據(jù)在孤島中是安全的,卻是隔離的。整理來(lái)自不同孤島的相關(guān)數(shù)據(jù)無(wú)疑很痛苦。這非常基本,也非常普遍,所以這些數(shù)字仍會(huì)讓人感到驚訝,但是與集成相關(guān)的任務(wù)可能會(huì)消耗一半的IT預(yù)算。借下一代數(shù)據(jù)平臺(tái)推動(dòng)的數(shù)據(jù)網(wǎng)格架構(gòu)對(duì)于消除這個(gè)問題大有助益。
最后,還有聯(lián)合計(jì)算治理問題。在與安全和合規(guī)相關(guān)的一系列規(guī)定和法規(guī)要求更強(qiáng)的治理環(huán)境下,這種高瞻遠(yuǎn)矚的解決方案提供了將來(lái)自數(shù)據(jù)產(chǎn)品和業(yè)務(wù)領(lǐng)域所有者的治理策略嵌入到數(shù)據(jù)本身中的能力。這帶來(lái)了巨大的操作優(yōu)勢(shì):無(wú)論最終用戶如何體驗(yàn)數(shù)據(jù)——不管設(shè)備或其他接觸點(diǎn)如何,不管涉及什么應(yīng)用程序,也不管來(lái)自任何位置,都能保證權(quán)限、控制、策略和隱私依然一致。
雖然這些原則不同于數(shù)據(jù)網(wǎng)格方法的核心,但它們完美互補(bǔ)。能夠?qū)崿F(xiàn)真正數(shù)據(jù)民主化的去中心化架構(gòu)具有不可抗拒的吸引力,現(xiàn)在業(yè)務(wù)用戶而不是IT部門決定購(gòu)買什么硬件、使用什么軟件和下載哪些應(yīng)用程序,業(yè)務(wù)部門和公司高管越來(lái)越有權(quán)力決定該分析什么數(shù)據(jù),以及開發(fā)什么自定義數(shù)據(jù)產(chǎn)品以滿足業(yè)務(wù)優(yōu)先級(jí)。
數(shù)據(jù)網(wǎng)格已經(jīng)存在了很長(zhǎng)時(shí)間,我們已經(jīng)看到了它的好處,并意識(shí)到需要數(shù)據(jù)網(wǎng)格2.0。未來(lái)肯定會(huì)有更多的進(jìn)步。但就目前而言,這種架構(gòu)的下一次迭代將使我們比以往任何時(shí)候更深入地走向以數(shù)據(jù)為中心的環(huán)境。
原文標(biāo)題:Data Mesh 2.0: Realizing the Promise of Decentralization,作者:Karanjot Jaswal