【51CTO.com快譯】如今，各個行業(yè)與組織能夠訪問到的數(shù)據(jù)越來越龐大、且越來越復雜。不過，我們需要對這些海量的信息進行有效的處理和分析，進而發(fā)掘出那些隱藏在“噪聲”中的數(shù)據(jù)洞見。目前，當屬ETL(提取、轉(zhuǎn)換、加載，三個首字母縮寫)方法最為常見。它是指：我們需要先從諸如數(shù)據(jù)庫、文件、以及電子表格之類的數(shù)據(jù)源中提取信息，然后對其進行轉(zhuǎn)換，以符合數(shù)據(jù)倉庫的標準，最后將它們加載到集中式的數(shù)據(jù)倉庫中。

作為數(shù)據(jù)倉庫分析與轉(zhuǎn)化的重要組成部分，ETL往往需要依賴合適的工具來實現(xiàn)。目前市場上此類工具可謂林林總總。本文將為您篩選出七大頂級、八大補充ETL軟件工具，在逐一介紹其特點和社區(qū)得分的基礎(chǔ)上，最后給出各種適用的場景。

1. Xplenty

作為基于云端的ETL和ELT(提取、加載、轉(zhuǎn)換)數(shù)據(jù)的集成平臺，Xplenty可以輕松地組合多個數(shù)據(jù)源。該平臺提供了一個簡單、直觀的可視化界面，可用于在大量數(shù)據(jù)源和目標之間建立管道。

目前，Xplenty包裝了上百種流行的數(shù)據(jù)存儲和SaaS(軟件即服務)應用，其中包括：MongoDB、MySQL、PostgreSQL、Amazon Redshift、Google Cloud Platform、Facebook、Salesforce、Jira、Slack、以及QuickBooks等。

Xplenty的優(yōu)勢在于：可擴展性、安全性和出色的客戶支持。例如，Xplenty具有一項稱為“字段級加密(Field Level Encryption)”的新功能，可允許用戶使用自己的加密密鑰，對數(shù)據(jù)字段進行加密或解密。同時，Xplenty也能遵守HIPPA、GDPR和CCPA等法律法規(guī)。

目前，在G2網(wǎng)站(譯者注：知名的軟件與服務評價平臺)上有93位評論者為Xplenty給出了4.4顆星(滿分為5顆星)，并將其稱為ETL工具領(lǐng)域的“領(lǐng)先者”之一。作為其中的一名評論者，Kerry D.聲稱：“該工具非常實用，它使得代碼的開發(fā)與支持變得迅速且高效。”

2. Talend

Talend Data Integration是一個開源的ETL數(shù)據(jù)集成解決方案。Talend平臺不但能夠與本地和云中的數(shù)據(jù)源相兼容，而且包括了數(shù)百個預構(gòu)建(pre-built)的集成。

雖然對于一般用戶而言，Talend的開源版本足以夠用，但是較大型的企業(yè)用戶則會選用其付費版本的數(shù)據(jù)管理平臺。畢竟，付費版里包含了用于設計、生產(chǎn)力管理、監(jiān)空、以及數(shù)據(jù)治理的各種工具和功能。

Talend在G2上的平均得分為4.0顆星，并在Gartner的《數(shù)據(jù)集成工具魔力象限》報告中被評為“領(lǐng)先者”。作為其中的一名評論者，Jan L.認為：Talend是一個強大的、具有清晰易用界面的通用數(shù)據(jù)集成工具。

3. Stitch

Stitch是一個開源的ELT數(shù)據(jù)集成平臺。與Talend類似，Stitch也提供了付費的服務版本，應用于更高級的用例、以及更多的數(shù)據(jù)源。有趣的是，Talend于2018年11月收購了Stitch。

Stitch平臺通過提供自助式的ELT和自動化的數(shù)據(jù)流水線，來簡化流程。鑒于Stitch的ELT工具不會自動執(zhí)行任意轉(zhuǎn)換。因此，Stitch團隊建議，轉(zhuǎn)換一旦被添加到數(shù)據(jù)倉庫內(nèi)部，就應在原始數(shù)據(jù)之上添加各種分層。

G2上的評論者為Stitch給出了諸如高性能之類的正面評價。一位評論者稱贊Stitch為“定價簡單、提供內(nèi)部工作流、且開源易用”。當然，Stitch也存在著一些小的技術(shù)問題，以及缺乏對小眾數(shù)據(jù)源的支持。

4. Informatica PowerCenter

Informatica PowerCenter是用于ETL任務的成熟、且功能豐富的企業(yè)級數(shù)據(jù)集成平臺。當然，PowerCenter只是Informatica云數(shù)據(jù)管理工具套件中的一種。

作為企業(yè)級、且與數(shù)據(jù)庫類型無關(guān)的解決方案，PowerCenter以其高性能、以及能與許多不同數(shù)據(jù)源(包括各種SQL和非SQL數(shù)據(jù)庫)相兼容而著稱。而Informatica PowerCenter的缺點在于：售價過高，且對于小型組織而言，可能由于較難學習與掌握，進而帶來技術(shù)障礙。

盡管存在著上述缺點，Informatica PowerCenter還是在G2上斬獲了4.3顆星，同時被譽為數(shù)據(jù)集成軟件領(lǐng)域的“領(lǐng)先者”。作為其中的一名評論者，Victor C.認為PowerCenter是自己曾用過的、功能最強大的ETL工具。當然，他也抱怨PowerCenter的速度過慢，且無法與Tableau和QlikView等可視化的工具進行很好的集成。

5. Oracle Data Integrator

作為Oracle數(shù)據(jù)管理生態(tài)系統(tǒng)中的一部分，Oracle Data Integrator(ODI)是一個全面的數(shù)據(jù)集成解決方案。顯然，該平臺是Hyperion Financial Management和Oracle E-Business Suite(EBS)等其他Oracle產(chǎn)品用戶的合適選擇。ODI既具有本地版本，又提供了Oracle數(shù)據(jù)集成平臺云。

與其他工具不同的是，Oracle Data Integrator只支持ELT任務，而不支持ETL。而用戶對此褒貶不一。同時，由于大部分外圍功能都已經(jīng)包含在了其他Oracle軟件之中，因此ODI比其他各種工具更為簡單。

目前，Oracle Data Integrator在G2上的平均得分為4.0。作為其中的一名評論者，Christopher T.認為，雖然ODI是眾多選項中最強大的一款工具，但是需要經(jīng)過必要的培訓，方可上手。

6. Skyvia

Skyvia是一款可用于大數(shù)據(jù)集成、遷移和備份的云平臺。用戶可以用它來為包括Redshift、BigQuery和Azure在內(nèi)的數(shù)據(jù)倉庫，創(chuàng)建數(shù)據(jù)管道。Skyvia的最大亮點是：它通過提供無代碼式的數(shù)據(jù)集成向?qū)?，以方便新、老ETL用戶使用。

Skyvia在G2的用戶群中備受歡迎，其評分為4.8。作為其中的一名評論者，David K.認為：即便知識有限，他們?nèi)匀豢梢允褂糜蒘kyvia提供的直觀且靈活的連接工具，在多渠道零售業(yè)務中同步庫存。

當然，在使用Skyvia作為ETL工具之前，請事先注意如下三個方面：

• Skyvia主要專注于ETL的提取和加載階段，其轉(zhuǎn)換功能比較有限。
• 與其他ETL工具相比，Skyvia提供的集成和連接器數(shù)量較少。
• 有用戶抱怨在遇到技術(shù)問題時，其客戶支持在效率上存在問題。

7. Fivetran

作為基于云端的ETL解決方案，F(xiàn)ivetran支持與Redshift、BigQuery、Azure和Snowflake等數(shù)據(jù)倉庫的數(shù)據(jù)集成。Fivetran的最大優(yōu)勢在于提供了豐富的數(shù)據(jù)源陣列，其中包括約90種SaaS源，以及添加用戶自定義集成的能力。

目前，F(xiàn)ivetran在G2上斬獲了4.2星。許多用戶對其簡單性和易用性贊許有加。作為其中的一名評論者，Daniel H.認為：Fivetran可以提供快速、可靠的文檔連接，并能夠直接連接到新的連接器上。

當然，針對Fivetran從連接器的數(shù)量更改為基于消費的嶄新定價模式，有用戶提出了異議。同時，也有少數(shù)用戶在技術(shù)和客戶支持方面遇到過問題。他們認為：Fivetran是一個黑匣子，當出現(xiàn)問題時，不但很難自行診斷，而且難以獲取熱線支持。

其他值得參考的8種ETL工具

8. Striim

Striim為大數(shù)據(jù)任務提供了一個實時的數(shù)據(jù)集成平臺。用戶能夠以約20多種不同的文件格式，集成各種數(shù)據(jù)源與目標，其中包括Oracle、SQL Server、MySQL、PostgreSQL、MongoDB和Hadoop。由于Striim符合GDPR和HIPAA等數(shù)據(jù)隱私法規(guī)，因此用戶可以使用SQL或Java定義預加載式的轉(zhuǎn)換。

Striim平臺主要缺點是：它無法包含任何SaaS源或目標，也不允許用戶添加新的數(shù)據(jù)源。此外，Striim的用戶群并不大，目前G2上只有1條評論。

9. Matillion

作為一個云端的ETL平臺，Matillion可以將數(shù)據(jù)與Redshift、Snowflake、BigQuery和Azure Synapse相集成。用戶可以通過界面上的簡單點擊或在SQL中的定義，在Matillion中創(chuàng)建數(shù)據(jù)轉(zhuǎn)換。

與Striim類似，與前面討論的其他工具相比，Matillion僅支持約40種SaaS數(shù)據(jù)源。雖然它在G2處獲得了4.2顆星，它的基于虛擬機的時間，而非實際工作量、或正在使用的計算資源的定價模式，讓部分評論者們表示不認可。

10. Pentaho

由Hitachi Vantara提供的Pentaho(也稱為Kettle)是一種可被用于數(shù)據(jù)集成和分析的開源平臺。用戶既可以選擇Pentaho的免費社區(qū)版本，又可以購買其企業(yè)版的商用許可證。與Xplenty類似，Pentaho具有易用的界面，即使是ETL的新手，也可以使用它來構(gòu)建穩(wěn)定的數(shù)據(jù)管道。當然，Pentaho也存在著諸如：模板和技術(shù)有限等缺點。

目前，Pentaho在G2上的平均得分為4.3顆星。不過，有用戶抱怨：由于在日志記錄中缺乏針對錯誤的詳細注釋，因此他們很難識別錯誤的真正原因。

11. AWS Glue

可用于大數(shù)據(jù)分析任務的AWS Glue，是由Amazon Web Services提供的完全托管式的ETL服務。作為一種端到端的ETL產(chǎn)品，AWS Glue不但減輕了ETL的工作負載，而且能夠與AWS生態(tài)系統(tǒng)中的其余部分，進行良好的集成。

值得注意的是，AWS Glue是無服務器的。這意味著Amazon會自動為用戶配置服務器，并在工作負載完成后將其關(guān)閉。AWS Glue通過提供作業(yè)調(diào)度、以及開發(fā)者端點(developer endpoints)等功能，方便易用地測試各種AWS Glue腳本。

目前，AWS Glue不但在G2平臺上獲得了3.9顆星，而且在X2上被評為ETL工具領(lǐng)域的“領(lǐng)先者”(類似Xplenty)。我們未將其列為前面7大頂級ETL工具的原因在于，它不如其他工具靈活，并且通常更適合那些已經(jīng)處于AWS生態(tài)系統(tǒng)內(nèi)的用戶。

12. Panoply

作為一個自動化的自助式云端數(shù)據(jù)倉庫，Panoply旨在簡化數(shù)據(jù)集成的過程。那些標準的ODBC/JDBC連接、Postgres連接、以及AWS Redshift連接的等數(shù)據(jù)連接器，都可以與Panoply兼容。此外，用戶也可以將Panoply與前面提到的Stitch和Fivetran等ETL工具相連接，以進一步擴展其數(shù)據(jù)集成的工作流。

在G2上，Panoply已獲得了4.4顆星。作為一名評論者，Stacie B認為：Panoply的最大優(yōu)點是能夠輕松地從多個來源導入數(shù)據(jù)，并能快速地設置程序，與實現(xiàn)數(shù)據(jù)的加載。

Panoply未被入選七大頂級ETL工具的理由在于：Panoply既是數(shù)據(jù)倉庫，又是ETL解決方案。因此，如果您已經(jīng)正在使用其他類型的云端數(shù)據(jù)倉庫，并且不打算進行更換的話，則沒有必要選用Panoply。

13. Alooma

作為一種云端數(shù)據(jù)倉庫的ETL數(shù)據(jù)遷移工具，Alooma的主要賣點在于，它自動化了大部分數(shù)據(jù)管道，以方便用戶去關(guān)注技術(shù)細節(jié)，而非結(jié)果。

2019年2月，谷歌收購了Alooma，并將其注冊僅限于Google Cloud Platform的用戶。這意味著任何使用其他數(shù)據(jù)倉庫(如Redshift或Snowflake)的客戶，都將無法使用該工具。

盡管如此，Alooma在G2上仍收獲了4.0顆星的好評。其中的一名評論者認為：雖然Alooma通過其代碼引擎功能提供了各種靈活性，但是其某些關(guān)鍵性的工具棧服務尚未成熟。

14. Hevo Data

作為一個ETL數(shù)據(jù)集成平臺，Hevo Data具有上百種預構(gòu)建的連接器，可用于連接諸如Redshift、BigQuery和Snowflake等各種數(shù)據(jù)庫，云端存儲和SaaS源。用戶可以使用Python在Hevo Data中自定義預加載的轉(zhuǎn)換。

Hevo的最大局限性在于，它無法添加自己的數(shù)據(jù)源，以建立新的連接。此外，Hevo Data的用戶群較小，目前在G2上只有6條評論。

15. FlyData

作為一個實時數(shù)據(jù)復制平臺，F(xiàn)lyData的最大優(yōu)勢在于：它僅與Amazon Redshift數(shù)據(jù)倉庫相兼容。也就是說，如果您是Redshift的“骨灰級用戶”，那么可以直接使用這款為Redshift量身定制的工具。不過，如果您正在使用其他的數(shù)據(jù)倉庫方案，或者想要保持靈活性，并避免被供應商鎖定的風險，那么FlyData就不太適合了。此外，F(xiàn)lyData僅適用于諸如Amazon RDS、Amazon Aurora、MySQL、Percona、PostgreSQL和MariaDB等，少數(shù)數(shù)據(jù)源(其中并無SaaS平臺)。

優(yōu)秀ETL工具的用例

由上可見，沒有兩款ETL軟件工具是完全相同的，它們各有自己的優(yōu)、缺點。為了讓您能夠為自己的業(yè)務需求，找到最佳的ETL工具，下面我們來討論每種工具最適合的應用場景。您可以據(jù)此進行綜合評估與選用。

• Xplenty：適用于日常處理ETL和(或)ELT的任務需求，滿足非技術(shù)人員直觀的拖放界面，以及那些需要多種預構(gòu)建的集成、且重視數(shù)據(jù)安全性的項目。
• Talend：適用于偏好開源解決方案的公司，以及需要多種預構(gòu)建集成的項目。
• Stitch：適用于那些偏好開源的方案，簡單的ELT流程，但不想進行復雜轉(zhuǎn)換的用戶。
• Informatica PowerCenter：適用于具有大量預算，且對性能要求苛刻的大型企業(yè)。
• Oracle Data Integrator：適用于現(xiàn)有的Oracle客戶，以及需要處理ELT任務的公司。
• Skyvia：適用于采用無代碼解決方案，且不需要執(zhí)行大量轉(zhuǎn)換的項目。
• Fivetran：適用于需要各種預構(gòu)建集成，以及通過多個數(shù)據(jù)倉庫來滿足靈活性的用戶。
• Striim：適用于需要遵守GDPR或HIPAA，且不需添加新的數(shù)據(jù)源(尤其是SaaS)的項目。
• Matillion：適用于希望使用簡單的點擊界面，以及有限數(shù)據(jù)源的公司。
• Pentaho：適用于采用了開源ETL工具的項目。
• AWS Glue：適用于現(xiàn)有的AWS用戶，以及需要完全托管式ETL方案的公司。
• Panoply：適用于需要結(jié)合使用ETL和數(shù)據(jù)倉庫方案的項目。
• Alooma：適用于現(xiàn)有的Google Cloud Platform用戶。
• Hevo Data：適用于需要將Python添加到自己的數(shù)據(jù)轉(zhuǎn)換任務中，但不需要添加新的數(shù)據(jù)源的項目。
• FlyData：適用于只需要使用Redshift作為數(shù)據(jù)倉庫的公司。

如您所見，在為自己的團隊確定最佳ETL軟件工具時，您需要了解項目的特點和使用場景，通過試用與研究，方能發(fā)現(xiàn)最佳選擇。

原文標題：Top 7 ETL Tools for 2021，作者: Abe Dearmer

【51CTO譯稿，合作站點轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】