行業(yè)專家已經(jīng)進行了研究，評估了各種云數(shù)據(jù)倉庫(CDW)選項，在整個組織中獲得了正確的買進和批準(zhǔn)，并準(zhǔn)備在Snowflake、Redshift、DeltaLake或其他云數(shù)據(jù)倉庫(CDW)上繼續(xù)前進。新的商業(yè)智能(BI)、分析和機器學(xué)習(xí)機會現(xiàn)在清晰可見。云數(shù)據(jù)倉庫(CDW)與它們的內(nèi)部部署前輩相比，在速度、效率和成本方面具有優(yōu)勢。但前方仍有艱苦的工作要做，你們現(xiàn)在所做的選擇可能意味著數(shù)日、數(shù)月或數(shù)年之后你們將取得成功。

盡管提取、轉(zhuǎn)換和加載(ETL)的世界已經(jīng)從其內(nèi)部部署的根源發(fā)展起來，但構(gòu)建和管理將向數(shù)據(jù)消費者交付分析就緒數(shù)據(jù)的數(shù)據(jù)管道仍然是非常資源密集型的。以下是減少這些資源需求并縮短成功發(fā)行云數(shù)據(jù)倉庫(CDW)的時間的五種方法。

1.為任何數(shù)據(jù)源查找連接器

您可能有一個深厚而強大的數(shù)據(jù)工程師團隊，他們過去曾為源代碼集成編寫過代碼。他們甚至可能喜歡這項工作，盡管大多數(shù)人都很樂意離開這項乏味的工作。無論如何，這是加速數(shù)據(jù)倉庫遷移的最大機會之一。在您之前，許多團隊都需要數(shù)據(jù)庫、文件、應(yīng)用程序或事件流的連接器。有各種可用的預(yù)構(gòu)建連接器工具，涵蓋了大多數(shù)組織的大部分?jǐn)?shù)據(jù)源。當(dāng)然，也可能有一些您的行業(yè)甚至企業(yè)所獨有的數(shù)據(jù)源。但是，就像使用預(yù)構(gòu)建的連接器一樣，將受益于具有框架的供應(yīng)商的經(jīng)驗以及處理自定義源的特定經(jīng)驗。

2.自動化基礎(chǔ)設(shè)施

通過遷移到云，您已經(jīng)離開了在數(shù)據(jù)中心管理物理服務(wù)器的世界，但如果不小心，您仍然可能會讓基礎(chǔ)設(shè)施工作壓倒您的團隊。管理數(shù)據(jù)的重復(fù)移動和準(zhǔn)備需要調(diào)度任務(wù)及其依賴關(guān)系、配置計算集群、優(yōu)化成本和性能等等。有不同的選項可以減輕您的團隊的工程時間，從開源編排器和無服務(wù)器選項到完全管理的管道工具。

3.民主化數(shù)據(jù)生產(chǎn)

通常認(rèn)為數(shù)據(jù)民主化主要是一個成功的云數(shù)據(jù)倉庫(CDW)項目的結(jié)果。為更多的數(shù)據(jù)消費者提供儀表板和數(shù)據(jù)集當(dāng)然是數(shù)據(jù)素養(yǎng)組織的關(guān)鍵。讓數(shù)據(jù)的生產(chǎn)者——那些最熟悉數(shù)據(jù)的含義和歷史的人——能夠獲得數(shù)據(jù)也很重要。如果沒有這一點，就需要一個中央團隊負(fù)責(zé)選擇數(shù)據(jù)，并將具有意義和價值的數(shù)據(jù)交付給數(shù)據(jù)消費者。他們要么花費無數(shù)小時研究每個域和數(shù)據(jù)源，要么最終生成用戶無法理解和不信任的云數(shù)據(jù)倉庫(CDW)。更好的方法是為領(lǐng)域?qū)＜姨峁o代碼工具，直接構(gòu)建管道并為分析準(zhǔn)備數(shù)據(jù)。

4.不要忽略排除故障的時間

當(dāng)您計劃遷移到云數(shù)據(jù)倉庫(CDW)時，很容易將所有注意力集中在啟動云數(shù)據(jù)倉庫(CDW)所需的數(shù)據(jù)工程工作上。然而，企業(yè)的數(shù)據(jù)工程師可能經(jīng)?；ㄙM和其他事情一樣多的時間進行故障排除。有用于監(jiān)視的工具，您可以編寫用于錯誤警報的代碼。更有效的是完全管理的管道產(chǎn)品，它提供開箱即用的這些功能，并可以在問題到達您的團隊之前解決問題。所有這五個技巧將增加您的云數(shù)據(jù)倉庫(CDW)的正常運行時間，這是您的數(shù)據(jù)工程師的最終時間緩解。這也是實現(xiàn)價值的關(guān)鍵，這取決于你的數(shù)據(jù)消費者的信任和采用。

5.期待意外

在這一點上，可能會認(rèn)為自動化已經(jīng)解決了所有問題，工具的生態(tài)系統(tǒng)已經(jīng)涵蓋了所有可以想象到的情況?，F(xiàn)實是沒有一個簡單的按鈕，您應(yīng)該警惕黑盒解決方案，建議管道可以100%自動化。數(shù)據(jù)源和目標(biāo)將會改變。您可能決定集成業(yè)務(wù)目錄或數(shù)據(jù)質(zhì)量工作流等功能。確保您已經(jīng)投資了具有靈活性的工具或服務(wù)，以處理您獨特且不斷變化的環(huán)境。通過嚴(yán)格的自動化，可以節(jié)省數(shù)百個小時，但是當(dāng)他們需要解決邊緣情況時，可以節(jié)省這些時間。