【51CTO.com快譯】

在如今這樣“快魚吃慢魚”的市場環(huán)境中，那些數(shù)字化顛覆者往往能夠利用AI算法、無服務器數(shù)據(jù)平臺、以及不間斷分析等創(chuàng)新技術(shù)，去徹底顛覆傳統(tǒng)的業(yè)務模型。同時，Covid-19在全球范圍內(nèi)的大流行，也加速了企業(yè)數(shù)字化的快速轉(zhuǎn)型，新的服務產(chǎn)品需求也應運而生。因此，為了保持競爭力和敏捷性，服務提供型企業(yè)必須迅速地在現(xiàn)有基礎架構(gòu)上，部署新的數(shù)據(jù)技術(shù)，以推動包括：個性化報價、實時警報、以及預測性維護在內(nèi)的市場驅(qū)動型創(chuàng)新。

[[336214]]

不過，在實施從流式處理到數(shù)據(jù)湖(data lakes)分析的過程中，許多企業(yè)發(fā)現(xiàn)他們現(xiàn)有的數(shù)據(jù)架構(gòu)存在著各種歷史遺留問題，以至于無法有效地管理或正確地利用海量數(shù)據(jù)。因此，為了實現(xiàn)新功能的快速部署，并簡化現(xiàn)有的架構(gòu)方法，企業(yè)需要在不影響核心技術(shù)棧的情況下，轉(zhuǎn)變或重塑現(xiàn)有的基礎架構(gòu)。下面，我們來具體討論在此類轉(zhuǎn)變的實施過程中，需要注意的五個方面。

1.轉(zhuǎn)向基于云服務的平臺

在對各種完全不同的數(shù)據(jù)架構(gòu)進行轉(zhuǎn)型的方面，云服務具有一定的根本性和徹底性。它為企業(yè)提供了一系列快速且可擴展的工具，以及競爭優(yōu)勢上的賦能。云服務能夠讓企業(yè)及時且大規(guī)模地獲取、部署和運行新的數(shù)據(jù)架構(gòu)平臺和應用程序。

關(guān)鍵技術(shù)：

• 無服務器的數(shù)據(jù)平臺 – 此類平臺使組織能夠構(gòu)建和運行以數(shù)據(jù)為中心的應用，在賦予無限可擴展能力的同時，消除了現(xiàn)場配置和管理的工作負載與麻煩，進而降低了成本的支出。這些技術(shù)易用性，主要體現(xiàn)在它們可以在數(shù)分鐘內(nèi)，而非過去的數(shù)周之內(nèi)，實現(xiàn)部署。這樣可以大幅減少了總體業(yè)務的運營開銷。
• 容器化數(shù)據(jù)解決方案 – Kubernetes技術(shù)不但能夠使得企業(yè)解耦現(xiàn)有的業(yè)務、而且能夠自動化其他數(shù)據(jù)存儲系統(tǒng)的部署和計算力。據(jù)此，那些具有復雜設置的平臺，仍然可以按需進行擴展，以滿足業(yè)務的需求。

2.從批處理轉(zhuǎn)移到實時處理

實時數(shù)據(jù)流功能為當前的各種業(yè)務應用提供了動力。例如：來自工廠車間的傳感器，可以通過捕獲到的實時數(shù)據(jù)，協(xié)助制造商去預測各類維護問題;保險公司可以根據(jù)來自智能設備的實時行為數(shù)據(jù)，去設置個性化的費率;消費者能以秒為單位，準確地跟蹤從餐廳到家門口的訂餐遞送服務。由于云服務降低了數(shù)據(jù)和計算力的費用，也就大幅降低了實時數(shù)據(jù)消息在傳輸和交付上的成本，此類技術(shù)對于各種規(guī)模的企業(yè)都比較適用。

同時，實時流功能也能夠讓數(shù)據(jù)使用者訂閱不同的“主題”，以便不斷地收到與真實需求相關(guān)的信息。通過將信息存儲到數(shù)據(jù)湖中，我們還能夠保留所有粒度的詳細信息，被用于深入分析和趨勢預測。

關(guān)鍵技術(shù)：

• 消息傳遞平臺 – 現(xiàn)代化消息傳遞平臺能夠提供可擴展、且具有容錯能力的發(fā)布與訂閱服務。與傳統(tǒng)的、基于批處理的消息隊列相比，此類消息傳送平臺每秒鐘可以處理和存儲數(shù)百萬條消息。在降低成本的同時，它也減少了存儲所占用的空間。
• 流分析方案 – 此類系統(tǒng)不但能夠?qū)崟r、直接地分析消息，還能夠?qū)v史數(shù)據(jù)與當前消息進行比較，以通過趨勢分析，來生成預測和建議。

3.從商用現(xiàn)貨(Commercial Off the Shelf，COTS)升級到定制解決方案

過去在軟件選擇性匱乏的時代，企業(yè)往往可以強勢地通過提供COTS，讓用戶被動地接受產(chǎn)品。如今隨著個性化需求的增長，開發(fā)者不得不轉(zhuǎn)向定制的、高度模塊化的數(shù)據(jù)架構(gòu)。他們可以從同類開源的組件中選用最受歡迎的一款，并且能夠根據(jù)實際需求，在不破壞現(xiàn)有業(yè)務模式的情況下，進行升級和改造。

關(guān)鍵技術(shù)：

• 基于API的接口 – 在以DevOps方式實施數(shù)據(jù)管道時，API接口可以讓不同的獨立團隊免受那些無關(guān)的復雜因素的影響，進而減少了人為錯誤的可能性，并加快了產(chǎn)品的面市時間。與此同時，隨著需求的變化，他們也能夠輕松地更換各類組件。
• 分析工作臺 – 此類服務平臺可實現(xiàn)在模塊化組件(如：數(shù)據(jù)庫和服務)之間進行端到端的通信。

4.解耦數(shù)據(jù)訪問

通常情況下，API可以幫助我們解除數(shù)據(jù)訪問時的耦合性問題，并能夠通過封裝，確保對數(shù)據(jù)進行直接訪問和查看時的限制與安全。有了API，我們不但能夠?qū)崿F(xiàn)對通用數(shù)據(jù)集的快速訪問，而且方便了團隊之間對于數(shù)據(jù)的重用，以及高效的無縫協(xié)作。

關(guān)鍵技術(shù)：

• API網(wǎng)關(guān) – 您可以創(chuàng)建和發(fā)布以數(shù)據(jù)為中心的API，進而實現(xiàn)訪問控制，實施使用策略，以及衡量服務的性能。
• 數(shù)據(jù)緩沖 – 許多組織都會用到某個數(shù)據(jù)平臺，來緩沖核心系統(tǒng)外部的事務。該平臺的實現(xiàn)方式既可以是針對每個團隊預期工作負荷的一種數(shù)據(jù)湖，又可以是基于數(shù)據(jù)存儲架構(gòu)的一種存儲庫。

5.轉(zhuǎn)向基于域的數(shù)據(jù)架構(gòu)

許多組織不再將所有的企業(yè)數(shù)據(jù)都存儲在某個單一的位置，而是會過渡到基于域的架構(gòu)中，將數(shù)據(jù)集的所有權(quán)轉(zhuǎn)移給使用它們的業(yè)務職能團隊。此舉的好處不但可以讓那些業(yè)務域的數(shù)據(jù)能夠以一種面向消費的方式推送給用戶，而且能夠有效地應對不斷變化的流動性需求，并遵守持續(xù)更新的法律法規(guī)。

關(guān)鍵技術(shù)：

• 數(shù)據(jù)基礎設施即平臺 – 此類服務平臺提供了用于存儲和管理通用工具的功能。數(shù)據(jù)生產(chǎn)者能夠快速地實現(xiàn)其數(shù)據(jù)需求，且無需自行構(gòu)建平臺。
• 數(shù)據(jù)分類工具 – 此類工具可以在無需獲取完全訪問權(quán)限的情況下，對數(shù)據(jù)進行搜索和瀏覽。該工具的數(shù)據(jù)目錄通常還提供了對于元數(shù)據(jù)的定義，簡化的界面，以及可以從任何地方訪問到數(shù)據(jù)資產(chǎn)。

如何實現(xiàn)現(xiàn)代化的數(shù)據(jù)架構(gòu)

數(shù)據(jù)和技術(shù)領導者需要能夠通過快速地評估和部署新的技術(shù)，以確保跟上現(xiàn)代化數(shù)據(jù)創(chuàng)新的步伐。目前，業(yè)界有如下三種技術(shù)準備與實踐，可方便企業(yè)構(gòu)建出數(shù)據(jù)轉(zhuǎn)發(fā)型組織(data-forward organization)架構(gòu)：

• 對于組織而言，“測試和學習(test-and-learn)”是DevOps的敏捷實踐方法。通過嘗試不同的組件和概念，我們能夠快速地確定出對于本組織行之有效的方法。
• DataOps是DevOps針對數(shù)據(jù)的增強。它有助于加速新組件的設計、開發(fā)和部署，能夠方便團隊快速地實施變更，并按需更新方案與文檔。
• 確保獲得高級管理層的支持，并致力于打造積極的數(shù)據(jù)文化(data-positive culture)。據(jù)此，技術(shù)人員不但能夠提高工作效率并簡化準備流程，還能夠確保數(shù)據(jù)策略與組織的業(yè)務目標相一致。

隨著數(shù)據(jù)、分析、以及AI等元素被嵌入企業(yè)的日常運營之中，我們需要通過靈活的數(shù)據(jù)架構(gòu)，以確保本組織在瞬息萬變的市場中保持敏捷性、魯棒性和競爭力。

【原標題】5 Steps for Implementing a Modern Data Architecture (作者: Rachel Roundy)

【51CTO譯稿，合作站點轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】