相信很多人都有這樣一個疑問"為什么別人家的大數(shù)據(jù)戰(zhàn)略都成功了，就我家失敗了呢?"為了解答大家的疑問，我們和來自21家公司的22位高管進行了交談，通過他們幫助客戶管理優(yōu)化數(shù)據(jù)、提升業(yè)務(wù)價值的經(jīng)驗，來告訴大家為什么你的大數(shù)據(jù)戰(zhàn)略失敗了。 

傳統(tǒng)技術(shù)

取決于傳統(tǒng)的系統(tǒng)。這是很基礎(chǔ)也是很現(xiàn)實的問題，想要充分利用大數(shù)據(jù)系統(tǒng)，就必須具備主演的知識。所以，如何讓現(xiàn)有員工學(xué)會使用這些數(shù)據(jù)是有條不紊實施大數(shù)據(jù)戰(zhàn)略的先決條件。

無法處理遺留系統(tǒng)和新軟件的流沙和技術(shù)債務(wù)。

愿意擁抱云。雖然有很多方法可以擁抱云，但是繼續(xù)支持遺留企業(yè)系統(tǒng)是不可行的，他們不能隨著數(shù)據(jù)的流入而擴大規(guī)模。

建立正確的骨干基礎(chǔ)設(shè)施(即存儲，傳輸，計算，故障轉(zhuǎn)移)。從服務(wù)器獲取數(shù)據(jù)進行分析。如何處理數(shù)據(jù)集。Scale, complexity, modeling。

當(dāng)企業(yè)試圖構(gòu)建大型數(shù)據(jù)項目時，往往無法成功地執(zhí)行。當(dāng)然，這里面的原因也有很多，例如成本受到限制，缺乏合適的人才、想要重用現(xiàn)有的基礎(chǔ)設(shè)施而忽略了敏捷過程。因此依賴大數(shù)據(jù)基礎(chǔ)的業(yè)務(wù)通常在業(yè)務(wù)區(qū)域性或范圍內(nèi)的實現(xiàn)，最終很難實現(xiàn)回報投資或者是需要花費更多的時間來獲得回報。而且有時候主觀的活動也會受到思想和資源的限制，一個新的想法從誕生到執(zhí)行也會經(jīng)歷冗長的拖延。除了之外，企業(yè)也常常因為復(fù)雜性而無法分析大數(shù)據(jù)，當(dāng)然這也和缺乏數(shù)據(jù)分析師和其他IT專業(yè)人員解釋數(shù)據(jù)有關(guān)。

缺少知識

他們不了解云。雖然他們會采用"基礎(chǔ)設(shè)施即服務(wù)"的方式，但是他們由于不了解效益，所以效率并沒有提高。而且很多企業(yè)會選擇放棄自己的IT部門，將云管理外包給第三方提供商。例如Salesforce使用云實現(xiàn)可擴展性、性能和存儲節(jié)省。彈性云支持伸縮，所以需要使用SQL servid4r network以及其它組件來即時擴展，現(xiàn)在大部分公有云廠商都提供cognitive 和 AI/ML。

雖然大數(shù)據(jù)的潛在利益會讓每個人或每個公司感到興奮，但是有一些共同問題確確實實在阻礙公司大數(shù)據(jù)發(fā)展：

技術(shù)很多，難以抉擇。

缺乏技術(shù)人才。

采用通用數(shù)據(jù)格式的組織障礙。我們對早期采用大數(shù)據(jù)企業(yè)的建議是要時刻關(guān)注最新的技術(shù)，尤其是像Apache Flink這樣的數(shù)據(jù)流技術(shù)，避免因為采用了過時的大數(shù)據(jù)技術(shù)而掉隊。

企業(yè)更相信大數(shù)據(jù)的某些承諾，而對具體用例的理解不夠，不同的業(yè)務(wù)部門或者特定的業(yè)務(wù)驅(qū)動程序都缺乏對業(yè)務(wù)的支持。對于數(shù)據(jù)湖、平臺、云或者軟件的選擇是一個很復(fù)雜的決定，并且每天都會有新的解決方案出來。公有云中的工具集、技能集并不是最重要的，你可以根據(jù)用例和實現(xiàn)目標(biāo)選擇最佳工具。

客戶了解大數(shù)據(jù)潛在好處的渠道可能大部分來自于競爭對手，但是如果大家都使用相同的工具、數(shù)據(jù)源、知識，那么誰都不會有所進步。所以挖掘新的人才和工具才是解決問題的關(guān)鍵。我看到很多這樣的情況，因為項目進展不順利，公司就放棄了大數(shù)據(jù)計劃。想要成功實現(xiàn)大數(shù)據(jù)項目，首先就要戰(zhàn)勝未知的恐懼，其次才是戰(zhàn)勝其它的問題，例如，確保數(shù)據(jù)分析符合道德要求、法律的監(jiān)管，發(fā)展數(shù)據(jù)科學(xué)領(lǐng)域的才能等等。

業(yè)務(wù)問題

從應(yīng)用程序和用例開始你就是思考數(shù)據(jù)，不能把數(shù)據(jù)當(dāng)成是事后處理。其實，成功的關(guān)鍵就是為應(yīng)用奠定堅實的數(shù)據(jù)，注意底層數(shù)據(jù)存儲和數(shù)據(jù)結(jié)構(gòu)。

技術(shù)和解決方案的擴散。從Hadoop開始，你需要了解不同的存儲和流，在某些地方配置和管理開源組件可能會損壞項目的ROI，隨意這里一定要了解問題的最佳解決方案是什么，開箱即用的解決方案可以減少配置和管理時間。

不了解大數(shù)據(jù)分析，所以一定要選擇和應(yīng)用衡量結(jié)果的工具和技術(shù)。對于可衡量的結(jié)果，公司必須對文檔進行足夠的嚴(yán)格性，并分析所要達到的目標(biāo)。然后根據(jù)它們的能力來選擇工具和技術(shù)，以滿足或超過預(yù)期的結(jié)果。我看過太多沒有事先準(zhǔn)備而盲目選擇，最終導(dǎo)致失敗。

數(shù)據(jù)質(zhì)量和管理

有能力了解數(shù)據(jù)。根據(jù)需要將數(shù)據(jù)從存儲移到計算。

缺乏對元數(shù)據(jù)的關(guān)注——不全面地看待問題。

用于記錄數(shù)據(jù)的系統(tǒng)。沒有簡單的方法來獲得數(shù)據(jù)進行比較，數(shù)據(jù)孤島、系統(tǒng)和模式中的不一致，這一切都要求我們規(guī)范化我們規(guī)范化所有系統(tǒng)和模式的數(shù)據(jù)。

最大的挑戰(zhàn)之一是他們使用所有數(shù)據(jù)的能力，移動數(shù)據(jù)是非常昂貴和耗時的，因為如何將數(shù)據(jù)扶植到分析的地方是個大難題。

無組織或非結(jié)構(gòu)化的數(shù)據(jù)收集和處理。對于NLG，特別是敘述性的輸出往往局限于數(shù)據(jù)輸入的清潔。

在Hadoop中無法同時擴展。帶有單線程的查詢引擎。安全性符合GDPR的能力。處理技術(shù)以刪除記錄。把數(shù)據(jù)放在適當(dāng)?shù)牡胤剑胤焦芾韱T可以了解當(dāng)?shù)氐姆?，防止可能觸犯法律的查詢。

緩慢的、手工的和一次性的工作會被丟棄，例如花費太多時間來查找數(shù)據(jù)，沒有權(quán)威共同的數(shù)據(jù)集，因為準(zhǔn)備和清理數(shù)據(jù)的時間太長導(dǎo)致分析時間不足等等。

其他

復(fù)雜的技術(shù)堆棧，比如零售商需要考慮來自購物車的實時信息和用戶之前12個月的購買歷史記錄，甚至需要將三、四個系統(tǒng)整合在一起。越多的移動部件約會導(dǎo)致更多的破壞和延遲，所以簡化數(shù)據(jù)管道并獲得更高可用性也是企業(yè)面臨的大難題。

零售商需要來自購物車的實時信息和12個月的購買歷史記錄。將三個或四個系統(tǒng)縫合在一起。更多的移動部件導(dǎo)致更多的機會破壞和延遲。幫助簡化數(shù)據(jù)管道以獲得更高的可用性。數(shù)據(jù)架構(gòu)師企業(yè)，以便它能夠和準(zhǔn)備擴展。

以上言論綜合了下面22位企業(yè)高管的意見：

• Emma McGrattan, S.V.P. of Engineering,
• Neena Pemmaraju, VP, Products,
• Tibi Popp, Co-founder and CTO,
• Laura Pressman, Marketing Manager,
• Sébastien Vugier, SVP, Ecosystem Engagement and Vertical Solutions,
• Kostas Tzoumas, Co-founder and CEO,
• Shehan Akmeemana, CTO,
• Peter Smails, V.P. of Marketing and Business Development,
• Tomer Shiran, Founder and CEO and Kelly Stirman, CMO,
• Ali Hodroj, Vice President Products and Strategy,
• Flavio Villanustre, CISO and V.P. of Technology,
• Fangjin Yang, Co-founder and CEO,
• Murthy Mathiprakasam, Director of Product Marketing,
• Iran Hutchinson, Product Manager and Big Data Analytics Software/Systems Architect,
• Dipti Borkar, V.P. of Products,
• Adnan Mahmud, Founder and CEO,
• Jack Norris, S.V.P. Data and Applications,
• Derek Smith, Co-founder and CEO,
• Ken Tsai, Global V.P., Global Vice President, Head of Database and Data Management Product Marketing,
• Clarke Patterson, Head of Product Marketing,
• Seeta Somagani, Solutions Architect,