執(zhí)行良好的大數(shù)據(jù)戰(zhàn)略可以簡(jiǎn)化運(yùn)營(yíng)成本、縮短上市時(shí)間并支持新產(chǎn)品。但是，在將董事會(huì)討論的大數(shù)據(jù)舉措付諸實(shí)踐的過(guò)程中，企業(yè)面臨著各種大數(shù)據(jù)挑戰(zhàn)。

IT和數(shù)據(jù)專業(yè)人員需要構(gòu)建物理基礎(chǔ)架構(gòu)，以便在不同來(lái)源和多個(gè)應(yīng)用程序之間移動(dòng)數(shù)據(jù)。他們還需要滿足性能、可擴(kuò)展性、及時(shí)性、安全性和數(shù)據(jù)治理的要求。此外，企業(yè)必須預(yù)先考慮部署成本，因?yàn)樗鼈兛赡軙?huì)迅速失控。

也許最重要的是，企業(yè)首先需要弄清楚大數(shù)據(jù)如何以及為什么對(duì)他們的業(yè)務(wù)很重要。

ERP軟件提供商VAI的商業(yè)智能經(jīng)理Bill Szybillo說(shuō)：“大數(shù)據(jù)項(xiàng)目面臨的最大挑戰(zhàn)之一是，如何成功應(yīng)用所獲得的見(jiàn)解?！?/p>

他解釋說(shuō)，很多應(yīng)用程序和系統(tǒng)都在捕獲數(shù)據(jù)，但企業(yè)往往難以理解什么是有價(jià)值的數(shù)據(jù)，而且無(wú)法應(yīng)用這些見(jiàn)解-以一種有影響力的方式。

從更廣泛的角度來(lái)看，下面的建議可幫助企業(yè)了解這10個(gè)大數(shù)據(jù)挑戰(zhàn)以及如何解決這些挑戰(zhàn)。

1. 管理大量數(shù)據(jù)

就其定義而言，大數(shù)據(jù)通常涉及存儲(chǔ)在不同系統(tǒng)和平臺(tái)中的大量數(shù)據(jù)。Szybillo表示，企業(yè)面臨的第一個(gè)挑戰(zhàn)是將他們從CRM和ERP系統(tǒng)以及其他數(shù)據(jù)源中提取的超大型數(shù)據(jù)集整合到統(tǒng)一且可管理的大數(shù)據(jù)架構(gòu)中。

他說(shuō)，當(dāng)你對(duì)正在收集的數(shù)據(jù)有所了解，通過(guò)進(jìn)行小的調(diào)整就可以更容易地縮小見(jiàn)解。要實(shí)現(xiàn)這一點(diǎn)，請(qǐng)構(gòu)建允許增量更改的基礎(chǔ)架構(gòu)。嘗試做較大改變可能最終會(huì)產(chǎn)生新的問(wèn)題。

2.發(fā)現(xiàn)和修復(fù)數(shù)據(jù)質(zhì)量問(wèn)題

當(dāng)數(shù)據(jù)質(zhì)量問(wèn)題蔓延到大數(shù)據(jù)系統(tǒng)時(shí)，基于大數(shù)據(jù)構(gòu)建的分析算法和人工智能應(yīng)用程序可能會(huì)產(chǎn)生糟糕的結(jié)果。隨著數(shù)據(jù)管理和分析團(tuán)隊(duì)試圖引入更多不同類型的數(shù)據(jù)，這些問(wèn)題可能會(huì)變得更加嚴(yán)重和難以審計(jì)。Bundler是一個(gè)在線市場(chǎng)，用于尋找?guī)椭藗冑?gòu)買(mǎi)產(chǎn)品和安排發(fā)貨的網(wǎng)絡(luò)購(gòu)物助手，當(dāng)它擴(kuò)展到500,000名客戶時(shí)，就經(jīng)歷了這樣的問(wèn)題。該公司的關(guān)鍵增長(zhǎng)動(dòng)力是利用大數(shù)據(jù)提供高度個(gè)性化的體驗(yàn)、識(shí)別追加銷售機(jī)會(huì)，并監(jiān)控新趨勢(shì)。有效的數(shù)據(jù)質(zhì)量管理是關(guān)鍵問(wèn)題。

Bundler首席執(zhí)行官Pavel Kovalenko說(shuō)：“你需要不斷監(jiān)控和修復(fù)任何數(shù)據(jù)質(zhì)量問(wèn)題?！彼f(shuō)，重復(fù)條目和拼寫(xiě)錯(cuò)誤很常見(jiàn)，尤其是當(dāng)數(shù)據(jù)來(lái)自不同來(lái)源時(shí)。為了確保他們所收集數(shù)據(jù)的質(zhì)量，Kovalenko的團(tuán)隊(duì)創(chuàng)建了一個(gè)智能數(shù)據(jù)識(shí)別器，該識(shí)別器將重復(fù)數(shù)據(jù)與較小的數(shù)據(jù)差異進(jìn)行匹配，并報(bào)告任何可能的拼寫(xiě)錯(cuò)誤。對(duì)于通過(guò)分析數(shù)據(jù)生成的業(yè)務(wù)見(jiàn)解，這可幫組提高準(zhǔn)確性。

3. 應(yīng)對(duì)數(shù)據(jù)集成和準(zhǔn)備復(fù)雜性

開(kāi)源分析平臺(tái)供應(yīng)商Knime首席數(shù)據(jù)科學(xué)家Rosaria Silipo稱，大數(shù)據(jù)平臺(tái)解決了收集和存儲(chǔ)大量不同類型數(shù)據(jù)的問(wèn)題，并可快速檢索分析使用所需的數(shù)據(jù)。但數(shù)據(jù)收集過(guò)程仍然非常具有挑戰(zhàn)性。

企業(yè)收集的數(shù)據(jù)存儲(chǔ)的完整性取決于它們的不斷更新。這需要保持對(duì)各種數(shù)據(jù)源的訪問(wèn)，并擁有專門(mén)的大數(shù)據(jù)集成策略。

有些企業(yè)使用數(shù)據(jù)湖作為包羅萬(wàn)象的存儲(chǔ)庫(kù)，以存儲(chǔ)不同來(lái)源收集的大數(shù)據(jù)集，而沒(méi)有考慮如何集成不同的數(shù)據(jù)。例如，各種業(yè)務(wù)領(lǐng)域會(huì)產(chǎn)生對(duì)聯(lián)合分析很重要的數(shù)據(jù)，但這些數(shù)據(jù)通常帶有不同的底層語(yǔ)義，企業(yè)必須消除歧義。Silipo告誡不要對(duì)項(xiàng)目進(jìn)行臨時(shí)集成，這可能涉及大量返工。為了獲得大數(shù)據(jù)項(xiàng)目的最佳投資回報(bào)率，通常最好制定戰(zhàn)略方法以支持?jǐn)?shù)據(jù)集成。

4. 高效且經(jīng)濟(jì)地?cái)U(kuò)展大數(shù)據(jù)系統(tǒng)

如果企業(yè)沒(méi)有關(guān)于如何使用大數(shù)據(jù)的策略，他們可能會(huì)浪費(fèi)大量資金來(lái)存儲(chǔ)大數(shù)據(jù)。技術(shù)和服務(wù)提供商ZL Tech的企業(yè)解決方案負(fù)責(zé)人George Kobakhidze表示，企業(yè)需要了解大數(shù)據(jù)分析始于數(shù)據(jù)攝取階段。管理企業(yè)數(shù)據(jù)存儲(chǔ)庫(kù)還需要一致的保留策略，以循環(huán)淘汰舊信息，尤其是現(xiàn)在，因?yàn)镃OVID-19疫情前的數(shù)據(jù)在當(dāng)今市場(chǎng)上通常不再準(zhǔn)確。

云管理平臺(tái)供應(yīng)商CloudCheckr的產(chǎn)品副總裁Travis Rehl說(shuō)，因此，數(shù)據(jù)管理團(tuán)隊(duì)?wèi)?yīng)該在部署大數(shù)據(jù)系統(tǒng)之前，規(guī)劃好數(shù)據(jù)的類型、模式和用途。但這說(shuō)起來(lái)容易做起來(lái)難。

他表示：“通常，你從一個(gè)數(shù)據(jù)模型開(kāi)始并進(jìn)行擴(kuò)展，但很快意識(shí)到該模型不適合你的新數(shù)據(jù)點(diǎn)，并且你突然需要解決技術(shù)債務(wù)?！?/p>

具有適當(dāng)數(shù)據(jù)結(jié)構(gòu)的通用數(shù)據(jù)湖可以更輕松地有效且經(jīng)濟(jì)地重用數(shù)據(jù)。例如，Parquet文件通常比數(shù)據(jù)湖中的CSV轉(zhuǎn)儲(chǔ)提供更好的性能成本比。

5. 評(píng)估和選擇大數(shù)據(jù)技術(shù)

數(shù)據(jù)管理團(tuán)隊(duì)有多種大數(shù)據(jù)技術(shù)可供選擇，而且各種工具的功能往往重疊。

NoSQL數(shù)據(jù)庫(kù)公司Aerospike的首席戰(zhàn)略官Lenley Hensarling建議團(tuán)隊(duì)首先考慮來(lái)自流和批處理源的數(shù)據(jù)的當(dāng)前和未來(lái)需求，例如大型機(jī)、云應(yīng)用程序和第三方數(shù)據(jù)服務(wù)。例如，需要考慮的企業(yè)級(jí)流媒體平臺(tái)包括Apache Kafka、Apache Pulsar、AWS Kinesis和Google Pub/Sub，所有這些平臺(tái)都提供云計(jì)算、本地和混合云系統(tǒng)之間的無(wú)縫數(shù)據(jù)移動(dòng)。

接下來(lái)，團(tuán)隊(duì)?wèi)?yīng)該開(kāi)始評(píng)估復(fù)雜數(shù)據(jù)準(zhǔn)備能力，為人工智能、機(jī)器學(xué)習(xí)和其他高級(jí)分析系統(tǒng)提供數(shù)據(jù)。規(guī)劃數(shù)據(jù)的處理位置也很重要。對(duì)于存在延遲問(wèn)題的情況，團(tuán)隊(duì)需要考慮如何在邊緣服務(wù)器上運(yùn)行分析和AI模型，以及如何輕松更新模型。企業(yè)需要平衡這些功能與部署和管理在本地、云端或邊緣運(yùn)行的設(shè)備和應(yīng)用程序的成本。

6. 生成業(yè)務(wù)見(jiàn)解

數(shù)據(jù)團(tuán)隊(duì)傾向于關(guān)注大數(shù)據(jù)技術(shù)，而不是結(jié)果。在很多情況下，Silipo發(fā)現(xiàn)人們很少關(guān)注如何處理數(shù)據(jù)。

從企業(yè)中的大數(shù)據(jù)應(yīng)用程序中生成有價(jià)值的業(yè)務(wù)見(jiàn)解需要考慮各種場(chǎng)景，例如創(chuàng)建基于KPI的報(bào)告、識(shí)別有用的預(yù)測(cè)或提出不同類型的建議。

這將需要具有機(jī)器學(xué)習(xí)專業(yè)知識(shí)的業(yè)務(wù)分析專業(yè)人士、統(tǒng)計(jì)學(xué)家和數(shù)據(jù)科學(xué)家的共同努力。她說(shuō)，這些團(tuán)隊(duì)與大數(shù)據(jù)工程團(tuán)隊(duì)合作可以幫助提高構(gòu)建大數(shù)據(jù)環(huán)境的投資回報(bào)率。

7. 雇傭和留住具有大數(shù)據(jù)技能的員工

軟件開(kāi)發(fā)和IT外包公司SenecaGlobal戰(zhàn)略高級(jí)副總裁Mike O’Malley表示：“大數(shù)據(jù)軟件開(kāi)發(fā)面臨的最大挑戰(zhàn)之一是尋找和留住具有大數(shù)據(jù)技能的員工?！?/p>

這種特殊的大數(shù)據(jù)趨勢(shì)不太可能很快消失。S&P Global的一份報(bào)告發(fā)現(xiàn)，云架構(gòu)師和數(shù)據(jù)科學(xué)家是2021年需求最大的職位之一。填補(bǔ)這些職位的策略是與已經(jīng)建立人才庫(kù)的軟件開(kāi)發(fā)服務(wù)公司合作。

提供免費(fèi)IT培訓(xùn)的慈善機(jī)構(gòu)ComIT的創(chuàng)始人兼所有者Pablo Listingart說(shuō)，另一個(gè)策略是與HR合作，找出并解決現(xiàn)有大數(shù)據(jù)人才的任何缺口。

他表示：“很多大數(shù)據(jù)計(jì)劃之所以失敗，是因?yàn)閺捻?xiàng)目開(kāi)始到結(jié)束的錯(cuò)誤預(yù)期和錯(cuò)誤估計(jì)。”合適的團(tuán)隊(duì)將能夠估計(jì)風(fēng)險(xiǎn)、評(píng)估嚴(yán)重性并解決各種大數(shù)據(jù)挑戰(zhàn)。

建立吸引和留住合適人才的文化也很重要。客戶數(shù)據(jù)平臺(tái)供應(yīng)商Meiro的首席技術(shù)官Vojtech Kurka說(shuō)，他一開(kāi)始的設(shè)想是，他可以在正確的位置使用一些SQL和Python腳本來(lái)解決所有數(shù)據(jù)問(wèn)題。隨著時(shí)間的推移，他意識(shí)到，他可以取得更大的進(jìn)步-通過(guò)雇用合適的人，并推廣一種讓人們快樂(lè)和積極的安全公司文化。

8. 防止成本失控

數(shù)據(jù)集成公司AtScale的創(chuàng)始人兼首席技術(shù)官David Mariani稱，另一個(gè)常見(jiàn)的大數(shù)據(jù)挑戰(zhàn)是“云賬單心臟病發(fā)作”。很多企業(yè)使用現(xiàn)有的數(shù)據(jù)消耗指標(biāo)來(lái)估計(jì)新的大數(shù)據(jù)基礎(chǔ)設(shè)施的成本，但這是一個(gè)錯(cuò)誤。

其中一個(gè)問(wèn)題是，企業(yè)低估了對(duì)計(jì)算資源的需求，更豐富數(shù)據(jù)集帶來(lái)更廣泛的訪問(wèn)，這需要更高的計(jì)算資源。特別是，云計(jì)算讓大數(shù)據(jù)平臺(tái)更容易呈現(xiàn)更豐富、更細(xì)化的數(shù)據(jù)，這種能力會(huì)推高成本，因?yàn)樵葡到y(tǒng)將彈性擴(kuò)展以滿足用戶需求。

使用按需定價(jià)模型也會(huì)增加成本。一種好的做法是選擇固定資源定價(jià)，但這并不能完全解決問(wèn)題。盡管計(jì)量器停止在固定數(shù)量，但編寫(xiě)不佳的應(yīng)用程序最終可能仍會(huì)消耗影響其他用戶和工作負(fù)載的資源。因此，另一個(gè)好的做法是對(duì)查詢實(shí)施細(xì)粒度的控制。Mariani稱：“我見(jiàn)過(guò)幾個(gè)客戶，由于SQL設(shè)計(jì)不佳，用戶編寫(xiě)了10,000美元的查詢?！?/p>

CloudCheckr公司的Rehl還建議，數(shù)據(jù)管理團(tuán)隊(duì)在與業(yè)務(wù)和數(shù)據(jù)工程團(tuán)隊(duì)討論大數(shù)據(jù)部署時(shí)，提前提出成本問(wèn)題。定義它的要求是企業(yè)的責(zé)任;軟件開(kāi)發(fā)人員應(yīng)負(fù)責(zé)以有效格式交付數(shù)據(jù)，DevOps負(fù)責(zé)確保監(jiān)控和管理正確的歸檔策略和增長(zhǎng)率。

9. 管理大數(shù)據(jù)環(huán)境

隨著大數(shù)據(jù)應(yīng)用程序跨更多系統(tǒng)增長(zhǎng)，數(shù)據(jù)管理問(wèn)題變得越來(lái)越難以解決。隨著新的云架構(gòu)使企業(yè)能夠以非聚合形式捕獲和存儲(chǔ)他們收集的所有數(shù)據(jù)，這個(gè)問(wèn)題變得更加復(fù)雜。受保護(hù)的信息字段可能會(huì)意外潛入各種應(yīng)用程序。

Mariani 稱：“根據(jù)我的經(jīng)驗(yàn)，如果沒(méi)有數(shù)據(jù)治理策略和控制，可能會(huì)失去更廣泛、更深入的數(shù)據(jù)訪問(wèn)的大部分好處?！?/p>

好的做法是將數(shù)據(jù)視為一種產(chǎn)品，從一開(kāi)始就制定內(nèi)置的治理規(guī)則。在前期投入更多時(shí)間在識(shí)別和管理大數(shù)據(jù)治理問(wèn)題，將更容易提供自助服務(wù)訪問(wèn)，而不需要監(jiān)督每個(gè)新用例。

10. 請(qǐng)確保理解數(shù)據(jù)背景信息和用例

企業(yè)還傾向于過(guò)分強(qiáng)調(diào)技術(shù)，而不了解數(shù)據(jù)的背景信息及其對(duì)業(yè)務(wù)的用途。

數(shù)據(jù)爭(zhēng)論工具提供商Trifacta公司首席執(zhí)行官Adam Wilson說(shuō)：“企業(yè)通常投入大量精力在考慮大數(shù)據(jù)存儲(chǔ)架構(gòu)、安全框架和攝取方面，但很少考慮引導(dǎo)用戶和用例。”

團(tuán)隊(duì)需要考慮誰(shuí)將提煉數(shù)據(jù)以及如何提煉數(shù)據(jù)。那些最接近業(yè)務(wù)問(wèn)題的人需要與最接近技術(shù)的人合作，以管理風(fēng)險(xiǎn)并確保正確對(duì)齊。這涉及到思考如何使數(shù)據(jù)工程民主化。構(gòu)建一些簡(jiǎn)單的端到端用例也有助于獲得早期勝利、了解限制并吸引用戶。