[[262008]]

【51CTO.com快譯】在商業(yè)環(huán)境中，隨著各類(lèi)數(shù)據(jù)量的不斷猛增，企業(yè)對(duì)于那些以ETL為基本要素的數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目和高級(jí)分析系統(tǒng)的需求也在不斷增多。此處ETL所對(duì)應(yīng)的是數(shù)據(jù)倉(cāng)庫(kù)的三個(gè)概念：提取(Extracting)、轉(zhuǎn)換(Transforming)和加載(Loading)。其主要流程包括：

1. 從不同的外部源提取數(shù)據(jù)。
2. 將數(shù)據(jù)轉(zhuǎn)換為所需的業(yè)務(wù)模型。
3. 將數(shù)據(jù)加載到新的倉(cāng)庫(kù)之中。

可見(jiàn)，ETL是整個(gè)數(shù)據(jù)遷移任務(wù)的一個(gè)子集。在《數(shù)據(jù)倉(cāng)庫(kù)ETL工具包(Warehouse ETL Toolkit)》一書(shū)中(請(qǐng)?jiān)斠?jiàn)https://www.amazon.com/Data-Warehouse-ETL-Toolkit-Techniques-Extracting/dp/0764567578)，定義了ETL的三個(gè)基本特征：

• 以適當(dāng)?shù)母袷较螺d數(shù)據(jù)，并予以分析。
• 它包含有許多額外的信息。
• 系統(tǒng)會(huì)記錄數(shù)據(jù)的來(lái)源。

因此，數(shù)據(jù)不應(yīng)該只是簡(jiǎn)單地從一處被加載到另一處，而應(yīng)該在加載的過(guò)程中得到改進(jìn)與優(yōu)化。例如：ETL開(kāi)發(fā)人員可以添加新的技術(shù)屬性，去跟蹤數(shù)據(jù)在數(shù)據(jù)庫(kù)中的顯示方式、數(shù)據(jù)被更改的時(shí)間及方式。

ETL的流程步驟

通常，Web程序員可以將ETL架構(gòu)想象成如下圖所示的三個(gè)區(qū)域：

• 數(shù)據(jù)源。
• 中間區(qū)域。
• 數(shù)據(jù)接收器。

數(shù)據(jù)流從源頭向接收器移動(dòng)。由于每個(gè)階段都非常復(fù)雜，因此創(chuàng)建ETL軟件的過(guò)程往往會(huì)包括如下不同的挑戰(zhàn)：

1. 外部數(shù)據(jù)源的多樣性。
2. 需要根據(jù)業(yè)務(wù)規(guī)則來(lái)統(tǒng)一數(shù)據(jù)。
3. 更新頻率和其他具體的要求。

因此，普通IT公司需要清楚地了解數(shù)據(jù)源的結(jié)構(gòu)，并配備相應(yīng)的目標(biāo)應(yīng)用。

一個(gè)ETL示例

常見(jiàn)的ETL任務(wù)是將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)(Relational Database Management System，RDBMS)傳輸?shù)搅硪粋€(gè)更適合于商業(yè)智能工具的數(shù)據(jù)庫(kù)中。因此，ELT的作業(yè)可分為兩種類(lèi)型：

1. 批量作業(yè)
2. 流式作業(yè)

其中，流式作業(yè)的一個(gè)例子是：從RDBMS中獲取數(shù)據(jù),逐個(gè)且單獨(dú)地傳輸出去，以備后期處理。否則，我們認(rèn)為它屬于批量處理的范疇。例如：您可以先獲取整個(gè)文件，再對(duì)其進(jìn)行處理，***將其保存到更大的文件中?？梢哉f(shuō)，不同的ETL系統(tǒng)會(huì)以不同的方式處理上述任務(wù)。

如今，單一的批量方法已被淘汰。持續(xù)增長(zhǎng)的流式數(shù)據(jù)源，導(dǎo)致了各種ETL工具被主要用于通過(guò)處理流式作業(yè)，來(lái)盡快地提供出各種***的數(shù)據(jù)。

同時(shí)，由于ETL能夠?qū)?shù)據(jù)成功地集成到各種數(shù)據(jù)庫(kù)和應(yīng)用之中，而各種琳瑯滿(mǎn)目的云端數(shù)據(jù)集成工具，經(jīng)常會(huì)讓我們難以做出選擇，因此我在此為大家羅列和比較了五款企業(yè)級(jí)ETL工具的優(yōu)缺點(diǎn)，希望能夠幫助您找出最適合手頭項(xiàng)目的解決方案。

1. Apache Nifi

定價(jià) ：免費(fèi)

官方網(wǎng)站：https://nifi.apache.org/

實(shí)用資源：文檔，教程。

優(yōu)點(diǎn)：

• ***地實(shí)現(xiàn)了數(shù)據(jù)流的編程概念。
• 能夠處理二進(jìn)制數(shù)據(jù)。
• 提供數(shù)據(jù)來(lái)源(Data Provenance)。

缺點(diǎn)：

• 用戶(hù)界面過(guò)于簡(jiǎn)單。
• 缺乏實(shí)時(shí)監(jiān)控和逐條記錄的統(tǒng)計(jì)數(shù)據(jù)。

由Apache Software Foundation開(kāi)發(fā)的開(kāi)源項(xiàng)目--Apache NiFi可謂是***的ETL工具之一。由于基于數(shù)據(jù)流的編程概念，因此它能夠讓我們?cè)赽oxes中可視化地組裝各種程序，并在幾乎不需要任何代碼的情況下運(yùn)行起來(lái)。在這一點(diǎn)上，您完全可以不必了解任何編程語(yǔ)言。

作為一款備受歡迎的ETL工具，NiFi能夠處理許多不同的數(shù)據(jù)源，其中包括：RabbitMQ、JDBC查詢(xún)、Hadoop、MQTT、以及UDP套接字等。而在操作方面，您可以對(duì)數(shù)據(jù)進(jìn)行篩選、調(diào)整、連接、拆分、增強(qiáng)和驗(yàn)證。

由于Apache NiFi是用Java編寫(xiě)而成，并且是在Apache 2.0的許可證中發(fā)布的，因此它不但能夠在JVM上運(yùn)行，而且支持所有的JVM語(yǔ)言。

該ETL工具既有助于用戶(hù)創(chuàng)建長(zhǎng)期運(yùn)行(long-running)的作業(yè)，又適用于處理流式數(shù)據(jù)和一些周期性的批處理。不過(guò)，對(duì)于那些手動(dòng)式管理任務(wù)而言，用戶(hù)在設(shè)置NiFi時(shí)，可能會(huì)碰到一些麻煩。

Apache NiFi是一種功能強(qiáng)大且易于使用的解決方案。它采用了全面的架構(gòu)模式，其FlowFile包含了各種元信息。因此，該工具不但能夠識(shí)別CSV，還可以處理照片、視頻、音頻文件、以及其他二進(jìn)制數(shù)據(jù)。

NiFi的處理器包括如下三種輸出：

1. Failure：意味著FlowFile的處理過(guò)程中存在著一些問(wèn)題。
2. Original：表示傳入的FlowFile已被處理。
3. Success：表示FlowFiles的處理已完成。

您可以使用特殊的復(fù)選框，來(lái)刪除那些已終止的輸出。同時(shí)，您應(yīng)該注意在高級(jí)ETL編程中的進(jìn)程組(Process Groups)，它們對(duì)于組合復(fù)雜的數(shù)據(jù)流元素來(lái)說(shuō)是非常必需的。

NiFi的另一個(gè)實(shí)用功能是：可以采用不同的隊(duì)列策略(包括FIFO、LIFO以及其他)。Data Provenance是一種用于記錄數(shù)據(jù)流中幾乎所有內(nèi)容的連接服務(wù)。它可以便利地讓您獲悉數(shù)據(jù)的保存或執(zhí)行方式。當(dāng)然，該功能的唯一缺點(diǎn)是需要大量的磁盤(pán)空間。

雖然在我看來(lái)Apache NiFi的界面不但簡(jiǎn)潔清晰，而且可用性強(qiáng)，但是仍有不少用戶(hù)抱怨其缺少必要的組件。例如，他們認(rèn)為：由于缺少了自動(dòng)調(diào)整各種長(zhǎng)SQL查詢(xún)的文本字段，因此只能通過(guò)手動(dòng)來(lái)完成。

NiFi擁有內(nèi)置的Node集群。您可以通過(guò)選擇一些實(shí)例，來(lái)讓它提取必要的ETL數(shù)據(jù)。另外，NiFi可以通過(guò)背壓(back pressure)機(jī)制，來(lái)快速地連接MySQL，獲取某個(gè)文件，并將其添加到下一個(gè)處理器上。

總而言之，Apache NiFi的主要優(yōu)勢(shì)在于擁有100多種不同的嵌入式處理器。它們能夠通過(guò)HTTP、S3或Google Data Source來(lái)下載文件，并能將文件上傳到MySQL、或其他數(shù)據(jù)接收器上。您只需配置UI，按下RUN按鈕，后續(xù)它就能自動(dòng)運(yùn)行了。

2. Apache StreamSets

定價(jià)：免費(fèi)

官方網(wǎng)站：https://streamsets.com

實(shí)用資源：文檔，教程，開(kāi)發(fā)者支持論壇，源代碼

優(yōu)點(diǎn)：

• 每個(gè)處理器都有基于單條記錄的統(tǒng)計(jì)信息，且具有友好的可視化調(diào)試效果。
• 用戶(hù)界面非常友好。
• 提供流式和基于記錄的數(shù)據(jù)工具。

缺點(diǎn)：

• 缺少可重用的JDBC配置。
• 更改單個(gè)處理器的設(shè)置后，需要停止整個(gè)數(shù)據(jù)流。

Apache StreamSets可謂Apache NiFi的強(qiáng)有力競(jìng)爭(zhēng)對(duì)手，我們很難說(shuō)出誰(shuí)更勝一籌。

根據(jù)流暢且通用的數(shù)據(jù)流格式的設(shè)計(jì)思想，所有被放入StreamSets的數(shù)據(jù)都會(huì)被自動(dòng)轉(zhuǎn)換為可交換的記錄。與Apache Nifi不同的是，該ETL工具并不顯示處理器之間的隊(duì)列。如果您想使用其他不同的格式，Apache Nifi通常需要從一個(gè)版本的處理器轉(zhuǎn)換為另一個(gè)版本。而StreamSets則不然，您需要為設(shè)置的更改停止整個(gè)數(shù)據(jù)流，而不僅僅停止某一個(gè)處理器。

在StreamSets中，雖然對(duì)于錯(cuò)誤的修復(fù)看似困難，但事實(shí)上，由于它提供實(shí)時(shí)的調(diào)試工具，因此用戶(hù)反而更容易實(shí)現(xiàn)錯(cuò)誤的修復(fù)。借助具有實(shí)時(shí)儀表板和顯示所有統(tǒng)計(jì)信息的友好用戶(hù)界面，您可以快速地發(fā)現(xiàn)并修復(fù)任何出現(xiàn)的錯(cuò)誤。此外，您還可以在處理器之間的連接處，放置各種具有記錄功能的過(guò)濾器，以檢查不同可疑的記錄。因此，它具有如下四種處理器的變體：

• Origin：處理器從數(shù)據(jù)源接收信息。
• Processors：獲取和轉(zhuǎn)換接收到的數(shù)據(jù)。
• Destinations：將轉(zhuǎn)換后的數(shù)據(jù)放入各種外部文件。
•  Executors：處理那些由其他處理器完成的操作。

StreamSets的各種處理器可以生成包括錯(cuò)誤在內(nèi)的動(dòng)作和事件。您需要executors，來(lái)跟蹤和修復(fù)這些錯(cuò)誤。雖然那些只用到Processors和Controller Services的用戶(hù)會(huì)更喜歡Apache NiFi的簡(jiǎn)約設(shè)計(jì)。但是，StreamSets也有著規(guī)劃合理的架構(gòu)。憑借著友好的用戶(hù)界面，它也并不那么難以上手。

我個(gè)人感覺(jué)：由于缺少了針對(duì)JDBC設(shè)置的Controller Services，因此在調(diào)整每一個(gè)處理器時(shí)，都會(huì)讓人覺(jué)得有些棘手。

StreamSets會(huì)在運(yùn)行數(shù)據(jù)流之前檢查所有的處理器，即：在數(shù)據(jù)流啟動(dòng)之前，必須確保所有處理器的連接。該功能會(huì)導(dǎo)致StreamSets不允許用戶(hù)留下任何暫未連接、以備將來(lái)修復(fù)錯(cuò)誤的處理器。StreamSets的另一個(gè)缺點(diǎn)是：無(wú)法讓用戶(hù)同時(shí)選擇多個(gè)處理器。畢竟，逐一移動(dòng)并重組多個(gè)處理器，會(huì)耗費(fèi)大量的時(shí)間和精力。

總而言之，作為一款成熟的開(kāi)源ETL工具，它提供了便捷的可視化數(shù)據(jù)流和時(shí)尚的Web界面。

3. Apache Airflow

定價(jià) ：免費(fèi)

官方網(wǎng)站：https://airflow.apache.org

實(shí)用資源：教程

優(yōu)點(diǎn)：

• 適合不同類(lèi)型的任務(wù)。
• 具有清晰且可視化的用戶(hù)界面。
• 提供可擴(kuò)展的方案。

缺點(diǎn)：

• 不適合流式作業(yè)。
• 需要額外的運(yùn)算符(operators)。

這是一種被用于創(chuàng)建與跟蹤工作流的開(kāi)源式ETL軟件。它可以與包括GCP、Azure和AWS在內(nèi)的云服務(wù)一起使用。同時(shí)，您可以在Kubernetes上通過(guò)Astronomer Enterprise來(lái)運(yùn)行Airflow。

在使用Python來(lái)編寫(xiě)工作流代碼時(shí)，您不必?fù)?dān)心XML或GUI拖放等問(wèn)題，這些步驟具有一定的智能性。作為一款靈活的任務(wù)調(diào)度程序，Airflow可以被用在許多API之中，以實(shí)現(xiàn)訓(xùn)練ML模型、發(fā)送通知、跟蹤系統(tǒng)、以及增強(qiáng)函數(shù)等目的。

該平臺(tái)具有如下主要特點(diǎn)：

• 通過(guò)Qubole和astronomer.io來(lái)提供Airflow-as-a-Service。
• 2015年由Airbnb所創(chuàng)建，2016年轉(zhuǎn)入Apache。
• 以Google Cloud Composer為基礎(chǔ)。
• 工作流程被作為有向無(wú)環(huán)圖(directed acyclic graphs，DAGs)執(zhí)行。

開(kāi)發(fā)者可以用Apache Airflow來(lái)創(chuàng)建dynamic、extensible、elegant和scalable四種解決方案。因此，它通過(guò)Python代碼提供了動(dòng)態(tài)管道的生成。同時(shí)，您還可以自定義運(yùn)算符和執(zhí)行程序，以及按需擴(kuò)展的抽象庫(kù)。由于相關(guān)參數(shù)已被包含在平臺(tái)的核心里，因此它能夠創(chuàng)建出各種清晰準(zhǔn)確的管道。此外，模塊化與消息隊(duì)列式的設(shè)計(jì)，也讓Airflow更容易實(shí)現(xiàn)按需擴(kuò)展。

Apache Airflow適用于大多數(shù)日常任務(wù)，包括：運(yùn)行ETL作業(yè)和ML管道，提供數(shù)據(jù)和完成數(shù)據(jù)庫(kù)備份。但是，對(duì)于流式作業(yè)來(lái)說(shuō)，這并不是一個(gè)很好的選擇。

該平臺(tái)具有可視化元素的時(shí)尚UI。您可以查看所有正在運(yùn)行的管道，跟蹤進(jìn)度并修復(fù)錯(cuò)誤。這些都有助于用戶(hù)完成DAG上的復(fù)雜任務(wù)。

雖然該結(jié)構(gòu)比ETL數(shù)據(jù)庫(kù)更具動(dòng)態(tài)性，但是它能夠提供穩(wěn)定的工作流。因此，如果您將工作流定義為代碼的話，它們將更具有協(xié)作性、可版本化、可測(cè)試性和可維護(hù)性。

該平臺(tái)可運(yùn)行在私有的Kubernetes集群中，并包含各種資源管理與分析工具，例如：StatsD、Prometheus和Grafana。

您可以使用如下的Airflow工作流，來(lái)進(jìn)行ETL測(cè)試：

• 單元測(cè)試
• 集成測(cè)試
• 端到端測(cè)試(在某些情況下)

上述***種類(lèi)型適用于檢查DAG的加載、Python運(yùn)算符函數(shù)、各種自定義運(yùn)算符和Bash/EMR腳本。該平臺(tái)不需要任何原始配置，其唯一需要更改的地方是：DB連接字符串。您需要?jiǎng)?chuàng)建一個(gè)空的數(shù)據(jù)庫(kù)，并授予用戶(hù)CREATE/ALTER的權(quán)限。剩下的就可以交給Airflow去完成了。

總而言之，Apache Airflow是一款由Python編寫(xiě)的免費(fèi)獨(dú)立框架。如果您想單獨(dú)運(yùn)行Airflow的話，則會(huì)面臨一些挑戰(zhàn)，因此您***使用一些不同的運(yùn)算符。

4. AWS Data Pipeline

定價(jià)：不定，請(qǐng)參見(jiàn)https://aws.amazon.com/datapipeline/pricing/

官方網(wǎng)站：https://aws.amazon.com/datapipeline/

實(shí)用資源：文檔，社區(qū)論壇

優(yōu)點(diǎn)：

• 易用的ETL技術(shù)
• 價(jià)格合理
• 靈活性好

缺點(diǎn)：

• 沒(méi)有太多內(nèi)置函數(shù)

該Web服務(wù)確保了數(shù)據(jù)在AWS計(jì)算資源和各種數(shù)據(jù)源之間的處理和移動(dòng)。它能夠?qū)σ汛鎯?chǔ)的數(shù)據(jù)提供***的訪問(wèn)與轉(zhuǎn)換。其最終結(jié)果也可以被轉(zhuǎn)移到諸如：Amazon DynamoDB、Amazon RDS、Amazon EMR和Amazon S3等服務(wù)之中。該ETL工具簡(jiǎn)化了創(chuàng)建復(fù)雜數(shù)據(jù)處理負(fù)載的相關(guān)過(guò)程，有助于實(shí)現(xiàn)可重復(fù)、高可用且可靠的用例負(fù)載(case-load)。

AWS Data Pipeline能夠移動(dòng)和處理那些被鎖在本地?cái)?shù)據(jù)孤島中的數(shù)據(jù)。Amazon號(hào)稱(chēng)其ETL工具有如下六項(xiàng)主要優(yōu)勢(shì)：

• 準(zhǔn)確性
• 簡(jiǎn)單性
• 適應(yīng)性
• 價(jià)錢(qián)合理
• 可擴(kuò)展性
• 透明度

AWS Data Pipeline是一種可靠的服務(wù)，它能夠在發(fā)生故障時(shí)，自動(dòng)對(duì)各種活動(dòng)進(jìn)程進(jìn)行重試。通過(guò)配置，您可以通過(guò)Amazon SNS接收到運(yùn)行成功、延時(shí)或失敗等通知。

您還可以通過(guò)拖放控制臺(tái)，來(lái)簡(jiǎn)單快速地設(shè)計(jì)各種管道。其內(nèi)置的預(yù)置條件，省去了您通過(guò)額外編寫(xiě)邏輯去調(diào)用它們。Web開(kāi)發(fā)人員可能會(huì)用到的功能包括：調(diào)度、依賴(lài)關(guān)系跟蹤和問(wèn)題處理。同時(shí)，該服務(wù)也被靈活地設(shè)計(jì)為能夠流暢地處理大量文件。

AWS Data Pipeline是一種無(wú)服務(wù)器式的編排服務(wù)，因此您只需為自己所使用的內(nèi)容付費(fèi)。同時(shí)，它為新用戶(hù)提供了免費(fèi)的試用版。通過(guò)該透明式方案，用戶(hù)能夠接收與管道相關(guān)的完整信息，并完全控制各種計(jì)算資源。

這款ETL工具很適合于執(zhí)行各種管道作業(yè)。我在當(dāng)前的項(xiàng)目中就使用它來(lái)傳輸各種數(shù)據(jù)。雖然AWS Data Pipeline沒(méi)有豐富的內(nèi)置函數(shù)，但是它提供了便捷的UI和內(nèi)置了多種處理器的實(shí)用工具。用戶(hù)可以用它來(lái)生成各種實(shí)例，并實(shí)現(xiàn)級(jí)聯(lián)式的文件管理。

5. AWS Glue

定價(jià)：不定，請(qǐng)參見(jiàn)https://aws.amazon.com/glue/pricing/

官方網(wǎng)站：https://aws.amazon.com/glue/

實(shí)用資源：教程

優(yōu)點(diǎn)：

• 支持各種數(shù)據(jù)源。
• 與AWS的各種服務(wù)有良好的集成。

缺點(diǎn)：

• 需要大量的手工操作。
• 靈活性差。

AWS Glue允許您在AWS管理控制臺(tái)中創(chuàng)建和運(yùn)行一項(xiàng)ETL作業(yè)。該服務(wù)能夠從AWS中獲取各種數(shù)據(jù)和元數(shù)據(jù)，并通過(guò)放入相應(yīng)的類(lèi)目，以供ETL進(jìn)行搜索、查詢(xún)和使用。整個(gè)過(guò)程分為如下三個(gè)步驟：

• 通過(guò)構(gòu)建類(lèi)目(包括JSON、CSV、Parquet和許多其他格式)對(duì)數(shù)據(jù)進(jìn)行分類(lèi)。
• 生成ETL代碼和各種編輯轉(zhuǎn)換(可用Scala或Python編寫(xiě))。
• 調(diào)度和運(yùn)行各種ETL作業(yè)。

這款ETL工具具有如下三個(gè)主要優(yōu)點(diǎn)：

• 便利性：由于能與眾多的AWS服務(wù)和引擎相緊密集成，因此該工具對(duì)于那些已經(jīng)使用了Amazon產(chǎn)品的用戶(hù)來(lái)說(shuō)，非常容易上手。不過(guò)，其缺點(diǎn)在于：您無(wú)法在本地、或任何其他云端環(huán)境中實(shí)現(xiàn)它。
• 經(jīng)濟(jì)實(shí)惠：無(wú)服務(wù)器解決方案意味著您無(wú)需配置或管理任何基礎(chǔ)架構(gòu)。因此，其成本取決于各個(gè)“數(shù)據(jù)處理單元”的開(kāi)銷(xiāo)。您只需為正在運(yùn)行的作業(yè)付費(fèi)便可。
• 功能強(qiáng)大：能夠自動(dòng)創(chuàng)建、維護(hù)和運(yùn)行各種ETL作業(yè)。當(dāng)然，該服務(wù)也需要大量的手工操作。

雖然AWS Glue是AWS生態(tài)系統(tǒng)中的重要組成部分，但是您應(yīng)該注意它的細(xì)微差別。該服務(wù)能夠提供抽象級(jí)別的CSV文件。不過(guò)，您需要通過(guò)大量的手工操作，才能最終生成可運(yùn)行的Spark代碼。您可以在Scala或Python中下載相應(yīng)的代碼，并按需進(jìn)行各種修改。雖然它適用于大量的數(shù)據(jù)源，但是該服務(wù)會(huì)最終強(qiáng)制您選取某一種特定的方案。而且您無(wú)法在后續(xù)的使用中，再去改用其他方式。

如何選擇正確的ETL工具

InfoWorld曾斷言：在構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的方面，ETL的成本占比***。用戶(hù)需要特別關(guān)注由它所產(chǎn)生的瓶頸。因此，只有恰當(dāng)?shù)貙?shí)施ETL，才能優(yōu)化企業(yè)的成本和加快員工的工作效率。***，我為您列出如下五個(gè)方面，供您在選用ETL工具時(shí)進(jìn)行參考：

• 系統(tǒng)的復(fù)雜性。
• 您的數(shù)據(jù)要求。
• 開(kāi)發(fā)者的經(jīng)驗(yàn)。
• ETL的技術(shù)成本。
• 特殊的業(yè)務(wù)需求。

原文標(biāo)題：Top 5 Enterprise ETL Tools，作者：Vitaliy Samofal

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處為51CTO.com】