大數(shù)據(jù)戰(zhàn)略屢敗謎團,誰才是罪魁禍?zhǔn)祝?/h1>
相信很多人都有這樣一個疑問"為什么別人家的大數(shù)據(jù)戰(zhàn)略都成功了,就我家失敗了呢?"為了解答大家的疑問,我們和來自21家公司的22位高管進行了交談,通過他們幫助客戶管理優(yōu)化數(shù)據(jù)、提升業(yè)務(wù)價值的經(jīng)驗,來告訴大家為什么你的大數(shù)據(jù)戰(zhàn)略失敗了。
圖片來自網(wǎng)絡(luò)
傳統(tǒng)技術(shù)
取決于傳統(tǒng)的系統(tǒng)。這是很基礎(chǔ)也是很現(xiàn)實的問題,想要充分利用大數(shù)據(jù)系統(tǒng),就必須具備主演的知識。所以,如何讓現(xiàn)有員工學(xué)會使用這些數(shù)據(jù)是有條不紊實施大數(shù)據(jù)戰(zhàn)略的先決條件。
無法處理遺留系統(tǒng)和新軟件的流沙和技術(shù)債務(wù)。
愿意擁抱云。雖然有很多方法可以擁抱云,但是繼續(xù)支持遺留企業(yè)系統(tǒng)是不可行的,他們不能隨著數(shù)據(jù)的流入而擴大規(guī)模。
建立正確的骨干基礎(chǔ)設(shè)施(即存儲,傳輸,計算,故障轉(zhuǎn)移)。從服務(wù)器獲取數(shù)據(jù)進行分析。如何處理數(shù)據(jù)集。Scale, complexity, modeling。
當(dāng)企業(yè)試圖構(gòu)建大型數(shù)據(jù)項目時,往往無法成功地執(zhí)行。當(dāng)然,這里面的原因也有很多,例如成本受到限制,缺乏合適的人才、想要重用現(xiàn)有的基礎(chǔ)設(shè)施而忽略了敏捷過程。因此依賴大數(shù)據(jù)基礎(chǔ)的業(yè)務(wù)通常在業(yè)務(wù)區(qū)域性或范圍內(nèi)的實現(xiàn),最終很難實現(xiàn)回報投資或者是需要花費更多的時間來獲得回報。而且有時候主觀的活動也會受到思想和資源的限制,一個新的想法從誕生到執(zhí)行也會經(jīng)歷冗長的拖延。除了之外,企業(yè)也常常因為復(fù)雜性而無法分析大數(shù)據(jù),當(dāng)然這也和缺乏數(shù)據(jù)分析師和其他IT專業(yè)人員解釋數(shù)據(jù)有關(guān)。
缺少知識
他們不了解云。雖然他們會采用"基礎(chǔ)設(shè)施即服務(wù)"的方式,但是他們由于不了解效益,所以效率并沒有提高。而且很多企業(yè)會選擇放棄自己的IT部門,將云管理外包給第三方提供商。例如Salesforce使用云實現(xiàn)可擴展性、性能和存儲節(jié)省。彈性云支持伸縮,所以需要使用SQL servid4r network以及其它組件來即時擴展,現(xiàn)在大部分公有云廠商都提供cognitive 和 AI/ML。
雖然大數(shù)據(jù)的潛在利益會讓每個人或每個公司感到興奮,但是有一些共同問題確確實實在阻礙公司大數(shù)據(jù)發(fā)展:
技術(shù)很多,難以抉擇。
缺乏技術(shù)人才。
采用通用數(shù)據(jù)格式的組織障礙。我們對早期采用大數(shù)據(jù)企業(yè)的建議是要時刻關(guān)注最新的技術(shù),尤其是像Apache Flink這樣的數(shù)據(jù)流技術(shù),避免因為采用了過時的大數(shù)據(jù)技術(shù)而掉隊。
企業(yè)更相信大數(shù)據(jù)的某些承諾,而對具體用例的理解不夠,不同的業(yè)務(wù)部門或者特定的業(yè)務(wù)驅(qū)動程序都缺乏對業(yè)務(wù)的支持。對于數(shù)據(jù)湖、平臺、云或者軟件的選擇是一個很復(fù)雜的決定,并且每天都會有新的解決方案出來。公有云中的工具集、技能集并不是最重要的,你可以根據(jù)用例和實現(xiàn)目標(biāo)選擇最佳工具。
客戶了解大數(shù)據(jù)潛在好處的渠道可能大部分來自于競爭對手,但是如果大家都使用相同的工具、數(shù)據(jù)源、知識,那么誰都不會有所進步。所以挖掘新的人才和工具才是解決問題的關(guān)鍵。我看到很多這樣的情況,因為項目進展不順利,公司就放棄了大數(shù)據(jù)計劃。想要成功實現(xiàn)大數(shù)據(jù)項目,首先就要戰(zhàn)勝未知的恐懼,其次才是戰(zhàn)勝其它的問題,例如,確保數(shù)據(jù)分析符合道德要求、法律的監(jiān)管,發(fā)展數(shù)據(jù)科學(xué)領(lǐng)域的才能等等。
業(yè)務(wù)問題
從應(yīng)用程序和用例開始你就是思考數(shù)據(jù),不能把數(shù)據(jù)當(dāng)成是事后處理。其實,成功的關(guān)鍵就是為應(yīng)用奠定堅實的數(shù)據(jù),注意底層數(shù)據(jù)存儲和數(shù)據(jù)結(jié)構(gòu)。
技術(shù)和解決方案的擴散。從Hadoop開始,你需要了解不同的存儲和流,在某些地方配置和管理開源組件可能會損壞項目的ROI,隨意這里一定要了解問題的最佳解決方案是什么,開箱即用的解決方案可以減少配置和管理時間。
不了解大數(shù)據(jù)分析,所以一定要選擇和應(yīng)用衡量結(jié)果的工具和技術(shù)。對于可衡量的結(jié)果,公司必須對文檔進行足夠的嚴(yán)格性,并分析所要達到的目標(biāo)。然后根據(jù)它們的能力來選擇工具和技術(shù),以滿足或超過預(yù)期的結(jié)果。我看過太多沒有事先準(zhǔn)備而盲目選擇,最終導(dǎo)致失敗。
數(shù)據(jù)質(zhì)量和管理
有能力了解數(shù)據(jù)。根據(jù)需要將數(shù)據(jù)從存儲移到計算。
缺乏對元數(shù)據(jù)的關(guān)注——不全面地看待問題。
用于記錄數(shù)據(jù)的系統(tǒng)。沒有簡單的方法來獲得數(shù)據(jù)進行比較,數(shù)據(jù)孤島、系統(tǒng)和模式中的不一致,這一切都要求我們規(guī)范化我們規(guī)范化所有系統(tǒng)和模式的數(shù)據(jù)。
最大的挑戰(zhàn)之一是他們使用所有數(shù)據(jù)的能力,移動數(shù)據(jù)是非常昂貴和耗時的,因為如何將數(shù)據(jù)扶植到分析的地方是個大難題。
無組織或非結(jié)構(gòu)化的數(shù)據(jù)收集和處理。對于NLG,特別是敘述性的輸出往往局限于數(shù)據(jù)輸入的清潔。
在Hadoop中無法同時擴展。帶有單線程的查詢引擎。安全性符合GDPR的能力。處理技術(shù)以刪除記錄。把數(shù)據(jù)放在適當(dāng)?shù)牡胤剑胤焦芾韱T可以了解當(dāng)?shù)氐姆?,防止可能觸犯法律的查詢。
緩慢的、手工的和一次性的工作會被丟棄,例如花費太多時間來查找數(shù)據(jù),沒有權(quán)威共同的數(shù)據(jù)集,因為準(zhǔn)備和清理數(shù)據(jù)的時間太長導(dǎo)致分析時間不足等等。
其他
復(fù)雜的技術(shù)堆棧,比如零售商需要考慮來自購物車的實時信息和用戶之前12個月的購買歷史記錄,甚至需要將三、四個系統(tǒng)整合在一起。越多的移動部件約會導(dǎo)致更多的破壞和延遲,所以簡化數(shù)據(jù)管道并獲得更高可用性也是企業(yè)面臨的大難題。
零售商需要來自購物車的實時信息和12個月的購買歷史記錄。將三個或四個系統(tǒng)縫合在一起。更多的移動部件導(dǎo)致更多的機會破壞和延遲。幫助簡化數(shù)據(jù)管道以獲得更高的可用性。數(shù)據(jù)架構(gòu)師企業(yè),以便它能夠和準(zhǔn)備擴展。
以上言論綜合了下面22位企業(yè)高管的意見:
- Emma McGrattan, S.V.P. of Engineering,
- Neena Pemmaraju, VP, Products,
- Tibi Popp, Co-founder and CTO,
- Laura Pressman, Marketing Manager,
- Sébastien Vugier, SVP, Ecosystem Engagement and Vertical Solutions,
- Kostas Tzoumas, Co-founder and CEO,
- Shehan Akmeemana, CTO,
- Peter Smails, V.P. of Marketing and Business Development,
- Tomer Shiran, Founder and CEO and Kelly Stirman, CMO,
- Ali Hodroj, Vice President Products and Strategy,
- Flavio Villanustre, CISO and V.P. of Technology,
- Fangjin Yang, Co-founder and CEO,
- Murthy Mathiprakasam, Director of Product Marketing,
- Iran Hutchinson, Product Manager and Big Data Analytics Software/Systems Architect,
- Dipti Borkar, V.P. of Products,
- Adnan Mahmud, Founder and CEO,
- Jack Norris, S.V.P. Data and Applications,
- Derek Smith, Co-founder and CEO,
- Ken Tsai, Global V.P., Global Vice President, Head of Database and Data Management Product Marketing,
- Clarke Patterson, Head of Product Marketing,
- Seeta Somagani, Solutions Architect,