在大數(shù)據(jù)領(lǐng)域，無(wú)人不知隨著 2019年 Cloudera 與 Hortonworks 的合并，兩家公司也進(jìn)行了能力整合，并且合并了兩家公司的代表產(chǎn)品CDH和HDP，推出新的數(shù)據(jù)平臺(tái) CDP （Cloudera Data Platform）。據(jù) Cloudera 大中華區(qū)區(qū)域副總裁王剛透露，目前，83% 的中國(guó)客戶已經(jīng)完成或者部分完成 CDP 的升級(jí)?！翱蛻舻年P(guān)鍵任務(wù)對(duì)于 CDP 平臺(tái)還是相對(duì)比較依賴的，因此客戶的付費(fèi)意愿也比較強(qiáng)，也是源于客戶認(rèn)可 CDP 平臺(tái)的價(jià)值，認(rèn)可 CDP 的產(chǎn)品路線圖，從而選擇升級(jí)?！?/p>

如今，數(shù)據(jù)量越來(lái)越大，產(chǎn)生的速度也越來(lái)越快，企業(yè)希望可以實(shí)時(shí)進(jìn)行數(shù)據(jù)分析，快速為業(yè)務(wù)做出輔助決策。為此，Cloudera 也從產(chǎn)品功能方面進(jìn)行創(chuàng)新，幫助企業(yè)客戶可以在多個(gè)公有云、私有云以及本地?cái)?shù)據(jù)中心訪問(wèn)和分析數(shù)據(jù)，使企業(yè)能夠做出由數(shù)據(jù)驅(qū)動(dòng)的明智決策，幫助企業(yè)建立由數(shù)據(jù)驅(qū)動(dòng)的未來(lái)。

Cloudera 大中華區(qū)區(qū)域副總裁王剛

動(dòng)態(tài)數(shù)據(jù)處理讓數(shù)據(jù)管道更強(qiáng)大

眾所周知，數(shù)據(jù)分為兩類，一類是靜態(tài)數(shù)據(jù)（Data at Rest），指駐留在存儲(chǔ)設(shè)備上的數(shù)據(jù)，這些文件沒(méi)有打開(kāi)，也沒(méi)有傳輸?shù)饺魏蔚胤?。另一類是?dòng)態(tài)數(shù)據(jù)（Data in motion），是指在兩臺(tái)設(shè)備之間移動(dòng)的數(shù)據(jù)。

數(shù)據(jù)的價(jià)值隨著時(shí)間的流逝而降低，所以企業(yè)希望可以實(shí)時(shí)訪問(wèn)數(shù)據(jù)，并進(jìn)行加工處理，而不是緩存后再進(jìn)行批處理。因此，Cloudera推出動(dòng)態(tài)數(shù)據(jù)管理產(chǎn)品Cloudera Data-in-Motion，通過(guò) DataFlow & Stream Processing 讓數(shù)據(jù)管道變得更加強(qiáng)大。DataFlow 通過(guò) Apache NiFi 支持的云原生服務(wù)，可以連接位于任何地方的任何數(shù)據(jù)源，處理并交付到任何目的地。Cloudera Stream Processing （CSP） 通過(guò)提供分析流數(shù)據(jù)復(fù)雜模式的能力，并獲得可行動(dòng)的情報(bào)，使客戶能夠?qū)⒘鬓D(zhuǎn)化為數(shù)據(jù)產(chǎn)品。CSP 由 Apache Flink 和 Kafka 提供支持，提供完整的企業(yè)級(jí)流管理和有狀態(tài)處理解決方案。

Cloudera 大中華區(qū)技術(shù)總監(jiān)劉隸放詳細(xì)介紹了 Cloudera Data-in-Motion 的開(kāi)源三大組件，并強(qiáng)調(diào)了基于開(kāi)源組件進(jìn)行了企業(yè)級(jí)產(chǎn)品的管理和支持增強(qiáng)。

Cloudera 大中華區(qū)技術(shù)總監(jiān)劉隸放

一是 Apache Nifi，支撐數(shù)據(jù)的接入到接出，并且針對(duì)一些特定的要求完成了標(biāo)準(zhǔn)接口，保證數(shù)據(jù)在流轉(zhuǎn)過(guò)程中，特別是在復(fù)雜的多對(duì)多或多對(duì)一的情況下進(jìn)行數(shù)據(jù)流轉(zhuǎn)的長(zhǎng)期支持。讓開(kāi)發(fā)人員可以連接任何地方，任何數(shù)據(jù)源，任何結(jié)構(gòu)類型的數(shù)據(jù)，處理加工并交付到任何地方。

二是 Apache Kafka，Cloudera 在 Kafka 開(kāi)源標(biāo)準(zhǔn)產(chǎn)品組件之上進(jìn)行了能力增強(qiáng)。包括Streams Messaging Manager 用于監(jiān)控/操作集群、Streams Replication Manager 用于高可用性/災(zāi)難恢復(fù)部署、Schema Registry 用于集中模式管理，以及Kafka Connect 用于簡(jiǎn)潔的數(shù)據(jù)移動(dòng)和變更數(shù)據(jù)捕獲，巡航控制用于智能重新平衡和自我修復(fù)。

三是 Apache Flink，支持低延遲流處理能力，使用戶能夠通過(guò) REST 端點(diǎn)使用行業(yè)標(biāo)準(zhǔn) SQL 和 API 編寫(xiě)流應(yīng)用程序，從而簡(jiǎn)化開(kāi)發(fā)步驟，并且支持多云和混合云模式。

此外，借助 Cloudera SDX 的 Apache Ranger & Apache Atlas 工具，可以保障企業(yè)的數(shù)據(jù)流安全可控，監(jiān)控和得到有效治理。

據(jù)了解，Cloudera Data-in-Motion 動(dòng)態(tài)數(shù)據(jù)管理產(chǎn)品具有三大優(yōu)勢(shì)，一是可以獲得更快的速度，包括數(shù)據(jù)攝取、數(shù)據(jù)處理、全量數(shù)據(jù)分析洞察等方面的速度都可以得到有效提升；二是該平臺(tái)可以打破數(shù)據(jù)攝取的豎井，簡(jiǎn)化開(kāi)發(fā)、測(cè)試和部署，降低運(yùn)營(yíng)復(fù)雜性；最后，一個(gè)解決方案就可以消除數(shù)據(jù)移動(dòng)的復(fù)制，讓團(tuán)隊(duì)工作效率更高。

三大新產(chǎn)品，滿足企業(yè)多種數(shù)據(jù)需求

為了滿足企業(yè)多種數(shù)據(jù)需求，Cloudera 基于 推出三個(gè)新的產(chǎn)品，包括私有云數(shù)據(jù)服務(wù)PVC DS、湖倉(cāng)一體的關(guān)鍵組成部分 Iceberg，以及對(duì)象存儲(chǔ)組件 Ozone。

PVC DS（Private Cloud Data Service）是一個(gè)私有云數(shù)據(jù)服務(wù)，基于 K8s 的對(duì)外服務(wù)組件，可以實(shí)現(xiàn)數(shù)據(jù)加工、數(shù)據(jù)倉(cāng)庫(kù)和機(jī)器學(xué)習(xí)的處理，并且通過(guò)統(tǒng)一的安全管理讓企業(yè)的權(quán)限管理變得更加簡(jiǎn)單。此外，K8s 具有伸縮性特點(diǎn)，并且可以實(shí)現(xiàn)集群之間的絕對(duì)隔離，保障了業(yè)務(wù)的可用性和安全性。

Iceberg 是開(kāi)放的湖倉(cāng)一體架構(gòu)的關(guān)鍵組成部分，集成并統(tǒng)一了數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖的功能，單一平臺(tái)即可支持當(dāng)數(shù)據(jù)倉(cāng)庫(kù)擴(kuò)展到一定程度時(shí)，SQL 調(diào)優(yōu)就很難處理，此外，數(shù)據(jù)倉(cāng)庫(kù)無(wú)法支撐更高的機(jī)器查詢需求。因此，Cloudera 基于 Iceberg 進(jìn)行了企業(yè)級(jí)的支持和數(shù)據(jù)安全性的保障，包括安全體系的搭建，安全用戶的檢查以及事后溯源等工作，并且提供了各種各樣豐富的功能，例如時(shí)間行程、快照隔離、模式演化、隱藏分區(qū)等。

隨著客戶系統(tǒng)數(shù)據(jù)的快速增長(zhǎng)，傳統(tǒng)存儲(chǔ)組件存在大量存儲(chǔ)問(wèn)題，例如小文件存儲(chǔ)、數(shù)據(jù)總量等問(wèn)題。為此，Cloudera 提供了新的對(duì)象存儲(chǔ)組件 Ozone，解決了 HDFS 相對(duì)于小文件的規(guī)模限制，并且支持原生

劉隸放表示，未來(lái) Cloudera 會(huì)專注在三個(gè)方面。首先是私有云和公有云層面對(duì)云原生服務(wù)的支持；二是在湖倉(cāng)一體方面，在引入 Iceberg 后，會(huì)持續(xù)進(jìn)行投入，從而引領(lǐng)社區(qū)發(fā)展；三是在存儲(chǔ)方面，在 CDP 平臺(tái)支持更多小文件、更大的數(shù)據(jù)量存儲(chǔ)。