相信很多人都有這樣一個疑問"為什么別人家的大數(shù)據(jù)戰(zhàn)略都成功了，就我家失敗了呢?"為了解答大家的疑問，我們和來自21家公司的22位高管進行了交談，通過他們幫助客戶管理優(yōu)化數(shù)據(jù)、提升業(yè)務價值的經(jīng)驗，來告訴大家為什么你的大數(shù)據(jù)戰(zhàn)略失敗了。 

傳統(tǒng)技術

取決于傳統(tǒng)的系統(tǒng)。這是很基礎也是很現(xiàn)實的問題，想要充分利用大數(shù)據(jù)系統(tǒng)，就必須具備主演的知識。所以，如何讓現(xiàn)有員工學會使用這些數(shù)據(jù)是有條不紊實施大數(shù)據(jù)戰(zhàn)略的先決條件。

無法處理遺留系統(tǒng)和新軟件的流沙和技術債務。

愿意擁抱云。雖然有很多方法可以擁抱云，但是繼續(xù)支持遺留企業(yè)系統(tǒng)是不可行的，他們不能隨著數(shù)據(jù)的流入而擴大規(guī)模。

建立正確的骨干基礎設施(即存儲，傳輸，計算，故障轉移)。從服務器獲取數(shù)據(jù)進行分析。如何處理數(shù)據(jù)集。Scale, complexity, modeling。

當企業(yè)試圖構建大型數(shù)據(jù)項目時，往往無法成功地執(zhí)行。當然，這里面的原因也有很多，例如成本受到限制，缺乏合適的人才、想要重用現(xiàn)有的基礎設施而忽略了敏捷過程。因此依賴大數(shù)據(jù)基礎的業(yè)務通常在業(yè)務區(qū)域性或范圍內(nèi)的實現(xiàn)，最終很難實現(xiàn)回報投資或者是需要花費更多的時間來獲得回報。而且有時候主觀的活動也會受到思想和資源的限制，一個新的想法從誕生到執(zhí)行也會經(jīng)歷冗長的拖延。除了之外，企業(yè)也常常因為復雜性而無法分析大數(shù)據(jù)，當然這也和缺乏數(shù)據(jù)分析師和其他IT專業(yè)人員解釋數(shù)據(jù)有關。

缺少知識

他們不了解云。雖然他們會采用"基礎設施即服務"的方式，但是他們由于不了解效益，所以效率并沒有提高。而且很多企業(yè)會選擇放棄自己的IT部門，將云管理外包給第三方提供商。例如Salesforce使用云實現(xiàn)可擴展性、性能和存儲節(jié)省。彈性云支持伸縮，所以需要使用SQL servid4r network以及其它組件來即時擴展，現(xiàn)在大部分公有云廠商都提供cognitive 和 AI/ML。

雖然大數(shù)據(jù)的潛在利益會讓每個人或每個公司感到興奮，但是有一些共同問題確確實實在阻礙公司大數(shù)據(jù)發(fā)展：

技術很多，難以抉擇。

缺乏技術人才。

采用通用數(shù)據(jù)格式的組織障礙。我們對早期采用大數(shù)據(jù)企業(yè)的建議是要時刻關注最新的技術，尤其是像Apache Flink這樣的數(shù)據(jù)流技術，避免因為采用了過時的大數(shù)據(jù)技術而掉隊。

企業(yè)更相信大數(shù)據(jù)的某些承諾，而對具體用例的理解不夠，不同的業(yè)務部門或者特定的業(yè)務驅動程序都缺乏對業(yè)務的支持。對于數(shù)據(jù)湖、平臺、云或者軟件的選擇是一個很復雜的決定，并且每天都會有新的解決方案出來。公有云中的工具集、技能集并不是最重要的，你可以根據(jù)用例和實現(xiàn)目標選擇最佳工具。

客戶了解大數(shù)據(jù)潛在好處的渠道可能大部分來自于競爭對手，但是如果大家都使用相同的工具、數(shù)據(jù)源、知識，那么誰都不會有所進步。所以挖掘新的人才和工具才是解決問題的關鍵。我看到很多這樣的情況，因為項目進展不順利，公司就放棄了大數(shù)據(jù)計劃。想要成功實現(xiàn)大數(shù)據(jù)項目，首先就要戰(zhàn)勝未知的恐懼，其次才是戰(zhàn)勝其它的問題，例如，確保數(shù)據(jù)分析符合道德要求、法律的監(jiān)管，發(fā)展數(shù)據(jù)科學領域的才能等等。

業(yè)務問題

從應用程序和用例開始你就是思考數(shù)據(jù)，不能把數(shù)據(jù)當成是事后處理。其實，成功的關鍵就是為應用奠定堅實的數(shù)據(jù)，注意底層數(shù)據(jù)存儲和數(shù)據(jù)結構。

技術和解決方案的擴散。從Hadoop開始，你需要了解不同的存儲和流，在某些地方配置和管理開源組件可能會損壞項目的ROI，隨意這里一定要了解問題的最佳解決方案是什么，開箱即用的解決方案可以減少配置和管理時間。

不了解大數(shù)據(jù)分析，所以一定要選擇和應用衡量結果的工具和技術。對于可衡量的結果，公司必須對文檔進行足夠的嚴格性，并分析所要達到的目標。然后根據(jù)它們的能力來選擇工具和技術，以滿足或超過預期的結果。我看過太多沒有事先準備而盲目選擇，最終導致失敗。

數(shù)據(jù)質量和管理

有能力了解數(shù)據(jù)。根據(jù)需要將數(shù)據(jù)從存儲移到計算。

缺乏對元數(shù)據(jù)的關注——不全面地看待問題。

用于記錄數(shù)據(jù)的系統(tǒng)。沒有簡單的方法來獲得數(shù)據(jù)進行比較，數(shù)據(jù)孤島、系統(tǒng)和模式中的不一致，這一切都要求我們規(guī)范化我們規(guī)范化所有系統(tǒng)和模式的數(shù)據(jù)。

最大的挑戰(zhàn)之一是他們使用所有數(shù)據(jù)的能力，移動數(shù)據(jù)是非常昂貴和耗時的，因為如何將數(shù)據(jù)扶植到分析的地方是個大難題。

無組織或非結構化的數(shù)據(jù)收集和處理。對于NLG，特別是敘述性的輸出往往局限于數(shù)據(jù)輸入的清潔。

在Hadoop中無法同時擴展。帶有單線程的查詢引擎。安全性符合GDPR的能力。處理技術以刪除記錄。把數(shù)據(jù)放在適當?shù)牡胤?，地方管理員可以了解當?shù)氐姆桑乐箍赡苡|犯法律的查詢。

緩慢的、手工的和一次性的工作會被丟棄，例如花費太多時間來查找數(shù)據(jù)，沒有權威共同的數(shù)據(jù)集，因為準備和清理數(shù)據(jù)的時間太長導致分析時間不足等等。

其他

復雜的技術堆棧，比如零售商需要考慮來自購物車的實時信息和用戶之前12個月的購買歷史記錄，甚至需要將三、四個系統(tǒng)整合在一起。越多的移動部件約會導致更多的破壞和延遲，所以簡化數(shù)據(jù)管道并獲得更高可用性也是企業(yè)面臨的大難題。

零售商需要來自購物車的實時信息和12個月的購買歷史記錄。將三個或四個系統(tǒng)縫合在一起。更多的移動部件導致更多的機會破壞和延遲。幫助簡化數(shù)據(jù)管道以獲得更高的可用性。數(shù)據(jù)架構師企業(yè)，以便它能夠和準備擴展。

以上言論綜合了下面22位企業(yè)高管的意見：

• Emma McGrattan, S.V.P. of Engineering,
• Neena Pemmaraju, VP, Products,
• Tibi Popp, Co-founder and CTO,
• Laura Pressman, Marketing Manager,
• Sébastien Vugier, SVP, Ecosystem Engagement and Vertical Solutions,
• Kostas Tzoumas, Co-founder and CEO,
• Shehan Akmeemana, CTO,
• Peter Smails, V.P. of Marketing and Business Development,
• Tomer Shiran, Founder and CEO and Kelly Stirman, CMO,
• Ali Hodroj, Vice President Products and Strategy,
• Flavio Villanustre, CISO and V.P. of Technology,
• Fangjin Yang, Co-founder and CEO,
• Murthy Mathiprakasam, Director of Product Marketing,
• Iran Hutchinson, Product Manager and Big Data Analytics Software/Systems Architect,
• Dipti Borkar, V.P. of Products,
• Adnan Mahmud, Founder and CEO,
• Jack Norris, S.V.P. Data and Applications,
• Derek Smith, Co-founder and CEO,
• Ken Tsai, Global V.P., Global Vice President, Head of Database and Data Management Product Marketing,
• Clarke Patterson, Head of Product Marketing,
• Seeta Somagani, Solutions Architect,