數(shù)十年來，由于可從數(shù)據(jù)庫(kù)提取信息、重新格式化轉(zhuǎn)換數(shù)據(jù)，并將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)，ETL一直是企業(yè)基礎(chǔ)架構(gòu)的關(guān)鍵組件。隨著云、SaaS和大數(shù)據(jù)的出現(xiàn)，新數(shù)據(jù)源和數(shù)據(jù)流的急劇增加，迫切需要更強(qiáng)大和更復(fù)雜的數(shù)據(jù)集成工具出現(xiàn)。新一代ETL工具可以實(shí)時(shí)獲取數(shù)據(jù)，處理數(shù)十億交易以及支持任何來源的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)(無論是內(nèi)部部署還是云中);同時(shí)，這些工具還具備可擴(kuò)展性、靈活性、容錯(cuò)性和安全性，具備傳統(tǒng)內(nèi)部部署解決方案無法實(shí)現(xiàn)的所有功能。 

ETL簡(jiǎn)史

ETL出現(xiàn)于20世紀(jì)70年代，當(dāng)時(shí)大型企業(yè)開始聚合和存儲(chǔ)來自多個(gè)數(shù)據(jù)源的信息，這些數(shù)據(jù)源包括內(nèi)部工資系統(tǒng)、銷售系統(tǒng)、庫(kù)存系統(tǒng)等。自然需要整合這些數(shù)據(jù)，為開發(fā)ETL工具鋪平道路。

數(shù)據(jù)倉(cāng)庫(kù)在20世紀(jì)80年代流行起來，這種類型的數(shù)據(jù)庫(kù)可以集成來自多個(gè)來源的數(shù)據(jù)。 問題在于許多數(shù)據(jù)倉(cāng)庫(kù)只匹配特定供應(yīng)商的ETL工具。因此，很多企業(yè)經(jīng)歷了多ETL工具的很長(zhǎng)一段過渡期。

隨著時(shí)間的推移，數(shù)據(jù)源、數(shù)據(jù)類型以及ETL供應(yīng)商的數(shù)量均急劇增加，ETL工具的價(jià)格開始逐漸降低，這讓很多中端市場(chǎng)也可以使用ETL工具自行解決問題，幫助公司建立現(xiàn)代化的數(shù)據(jù)授權(quán)的企業(yè)。

現(xiàn)代企業(yè)部署ETL工具的三種方式

當(dāng)ETL工具的成本可以被更多企業(yè)接受之后，開源ETL工具的發(fā)展也開始加速。現(xiàn)代企業(yè)部署ETL工具的方式無非有三種：

1. 根據(jù)自身情況選擇合適的開源ETL工具，整個(gè)過程需要更多的功能、靈活性與技術(shù)支持。(感興趣的可以查看開源解決方案清單《主流開源ETL工具清單及優(yōu)劣說明!》)
2. 與現(xiàn)有供應(yīng)商合作，選擇一種能夠很好處理當(dāng)前多樣數(shù)據(jù)流和數(shù)據(jù)源問題的方案，當(dāng)然，這些供應(yīng)商一般就是大品牌的廠商，比如IBM、微軟等，成本較高;
3. 選擇一些現(xiàn)代的ETL商用工具，這些工具往往是一些新興企業(yè)支持的，可能也會(huì)有不錯(cuò)的開源版本。重要的是，這些工具往往是更切合企業(yè)在云計(jì)算、大數(shù)據(jù)環(huán)境下的需求，這些方案通常是基于云端的，并且可以提供端到端的ETL支持。(感興趣的可以閱讀上一篇文章《現(xiàn)代ETL工具與傳統(tǒng)解決方案清單附對(duì)比》，了解可用的工具清單。

開源ETL解決方案的優(yōu)缺點(diǎn)!

ETL需要從不同的系統(tǒng)中提取數(shù)據(jù)并將其轉(zhuǎn)換為符合數(shù)據(jù)倉(cāng)庫(kù)格式要求的結(jié)果，再將其加載到數(shù)據(jù)倉(cāng)庫(kù)中。

1. 提取—提取是從一個(gè)或多個(gè)來源(在線，實(shí)體，傳統(tǒng)數(shù)據(jù)庫(kù)，Salesforce或其他許多來源)檢索數(shù)據(jù)的過程。檢索數(shù)據(jù)后，ETL將其加載到一個(gè)臨時(shí)區(qū)域并為下一階段做好準(zhǔn)備。
2. 轉(zhuǎn)換—轉(zhuǎn)換是一個(gè)關(guān)鍵功能，因?yàn)樗鼮閿?shù)據(jù)集成鋪平了道路，就像之前有不同渠道的零售商一樣，轉(zhuǎn)換可能涉及重新格式化，但有時(shí)這一步驟還有其他類型的操作，比如貨幣金額從美元到歐元的轉(zhuǎn)換計(jì)算。
3. 加載—成功將傳入數(shù)據(jù)插入到目標(biāo)數(shù)據(jù)庫(kù)、數(shù)據(jù)存儲(chǔ)或數(shù)據(jù)倉(cāng)庫(kù)中。 

開源解決方案可能只足以解決上述三個(gè)功能其中之一，但是大部分開源解決方案提供了全部功能。如果企業(yè)對(duì)自己的技術(shù)能力足夠自信，可以考慮開源ETL解決方案，因?yàn)楝F(xiàn)在不少開源解決方案不過是商用方案的功能限制版本，并不是真正社區(qū)驅(qū)動(dòng)的項(xiàng)目，即便出現(xiàn)問題也可以聯(lián)系到專業(yè)的廠商團(tuán)隊(duì)幫忙解決。

對(duì)于非關(guān)鍵型或小型項(xiàng)目，開源ETL工具是很合適的選擇，成本低且企業(yè)可接受非關(guān)鍵型任務(wù)上的較低出錯(cuò)率。但是，開源解決方案最大的問題是可能無法解決當(dāng)今依賴數(shù)據(jù)決策的企業(yè)的復(fù)雜動(dòng)態(tài)問題，真正的解決方案不僅需要處理當(dāng)前存在的大量數(shù)據(jù)源和數(shù)據(jù)類型，還需要處理每天都在新增的數(shù)據(jù)源和數(shù)據(jù)類型。開源ETL解決方案因?yàn)楦虏患皶r(shí)很可能讓數(shù)據(jù)海嘯瞬時(shí)壓倒，這一點(diǎn)倒是和不少傳統(tǒng)方案不謀而合。但是，成本和性能從來都是等價(jià)的，低成本的選擇需要企業(yè)有較大的包容量，并且不少開源方案其實(shí)已經(jīng)有了很多成功案例可參考。

現(xiàn)代ETL工具：更快，上云，易擴(kuò)展!

傳統(tǒng)的內(nèi)部部署ETL捆綁了一系列令人頭痛的問題。例如，它們通常是內(nèi)部構(gòu)建的，很快就會(huì)變得過時(shí)或缺乏重要功能;維護(hù)費(fèi)用昂貴且耗時(shí);只支持批處理(而不是實(shí)時(shí)處理)，并且不能很好擴(kuò)展。

相比之下，現(xiàn)代ETL(如Alooma)工具可以在各種數(shù)據(jù)源和數(shù)據(jù)流中捕捉、轉(zhuǎn)換和存儲(chǔ)數(shù)百萬(或數(shù)十億)事務(wù)的數(shù)據(jù)。這可以讓數(shù)據(jù)真正為企業(yè)帶來價(jià)值，比如分析歷史記錄以優(yōu)化銷售流程，實(shí)時(shí)調(diào)整價(jià)格和庫(kù)存，利用ML / AI創(chuàng)建預(yù)測(cè)模型，開發(fā)新的收入流，轉(zhuǎn)向云端等。

現(xiàn)代ETL工具的主要優(yōu)點(diǎn)是：

• 不拘泥于格式且靈活，足以快速輕松地集成新的數(shù)據(jù)源。
• 能夠?qū)崟r(shí)處理海量數(shù)據(jù)，實(shí)現(xiàn)閃電般的速度分析。
• 易于擴(kuò)展，因?yàn)樗昧藦椥栽啤?/li>
• 全托管
• 安全

現(xiàn)代ETL工具和開源方案的邊界正在逐漸模糊，成本大多介于開源和傳統(tǒng)之間，但是，這類方案一開始就是奔著日益增長(zhǎng)的、基于網(wǎng)絡(luò)的大數(shù)據(jù)流量所創(chuàng)建的，因此對(duì)企業(yè)在云計(jì)算和大數(shù)據(jù)時(shí)代出現(xiàn)的新需求具備極佳的適應(yīng)能力，但這類解決方案的能力到底如何，我們會(huì)在后續(xù)的文章中繼續(xù)跟進(jìn)。

結(jié)語(yǔ)

傳統(tǒng)商用解決方案：適用關(guān)鍵型任務(wù)、成本高、服務(wù)好、擴(kuò)展性差，不適合海量復(fù)雜數(shù)據(jù)源的環(huán)境。傳統(tǒng)工具最大的限制是被設(shè)計(jì)成批處理模式，甚至僅有批處理模式，很難整合跨平臺(tái)數(shù)據(jù)源。查找和解決問題過程十分耗時(shí)，需要研發(fā)人員逐個(gè)排查。

開源ETL工具：適用非關(guān)鍵型和小型項(xiàng)目，成本低，服務(wù)分情況，社區(qū)驅(qū)動(dòng)的解決方案服務(wù)一般，只能依靠社區(qū)力量;企業(yè)驅(qū)動(dòng)的解決方案可尋求廠商幫助。對(duì)海量數(shù)據(jù)的應(yīng)變能力一般，需要企業(yè)內(nèi)部具備一定研發(fā)實(shí)力。

現(xiàn)代ETL工具：成本介于上述兩者之間，其中含有個(gè)別開源方案，適用于海量復(fù)雜的數(shù)據(jù)源環(huán)境，擴(kuò)展性良好。部分方案內(nèi)置錯(cuò)誤問題響應(yīng)、監(jiān)控及報(bào)告流程，部分需要通過簡(jiǎn)單編碼實(shí)現(xiàn)，后續(xù)服務(wù)要根據(jù)廠商而定，定制化強(qiáng)。