大數(shù)據(jù)的寒冬已至，誰將倒下，誰成巨人？
一、大數(shù)據(jù)寒冬已至
凜冽的寒風吹散了北京的跨年霧霾，帶來了數(shù)九寒天的冰凍感受。中關村大數(shù)據(jù)日活動剛剛結束一個月，各地大數(shù)據(jù)的相關展會依然如火如荼。但是紙面上的紅火無法掩蓋內(nèi)在的虛弱，出來混總是要還的，大數(shù)據(jù)的寒冬正如這三九天一樣，撲面而來，讓人措手不及。
早在半年前，百分點主動進行了業(yè)務優(yōu)化，將超過600人的團隊調整至500人。2017新年剛過，亞信數(shù)據(jù)同樣步入調整步伐，負責新領域探索的部門全都在調整范圍內(nèi)，這正是機制靈活公司的快速市場反應。新年前后與多家業(yè)界有名的大數(shù)據(jù)公司溝通，有一個普遍的問題就是共同虧損，不管是做數(shù)據(jù)生意的，還是做平臺項目的，無一例外，而且公司普遍對團隊在2017年的盈利提出要求。讓我們再想象一下，如果這些團隊未能在2017年實現(xiàn)盈利結果會如何?
對運營商而言，即便聯(lián)通、電信宣稱通過數(shù)據(jù)變現(xiàn)實現(xiàn)了數(shù)億的銷售收入，但如果核算下從數(shù)據(jù)采集到變現(xiàn)應用全過程的成本投入(包含人員)，一定是一個不太樂觀的數(shù)字。對BAT來說，如果把數(shù)據(jù)運營部門獨立核算，情況同樣如此。只是像運營商、BAT這樣的家業(yè)龐大的公司，不在意當前的損益，有能力持續(xù)開展戰(zhàn)略投入。
那么是什么原因導致大數(shù)據(jù)行業(yè)集體進入寒冬?是實體經(jīng)濟下行影響嗎?還是大數(shù)據(jù)停留在概念炒作階段，未進入到實際應用?
大環(huán)境確實對大數(shù)據(jù)行業(yè)產(chǎn)生負面影響，不只是大數(shù)據(jù)，2016年實質上還是資本的寒冬，移動互聯(lián)網(wǎng)的寒冬。但從根本上看，過度競爭才是大數(shù)據(jù)寒冬的主要因素，也是一切寒冬的罪魁禍首。
二、更多的玩家更低的門檻必然導致自我淘汰
必須承認，從整個市場來看，2016年大數(shù)據(jù)行業(yè)整體取得了巨大進步。
首先，來自數(shù)據(jù)的價值被充分挖掘。大數(shù)據(jù)的熱度讓“數(shù)據(jù)是資產(chǎn)”“數(shù)據(jù)產(chǎn)生價值”深入人心，且在實際生產(chǎn)中催生了豐富的數(shù)據(jù)應用?？腿悍治?、精準定向推送、金融信貸中的身份核驗、基于數(shù)據(jù)的信用評級等，其核心并非“大數(shù)據(jù)”技術的應用，更多的應該是“數(shù)據(jù)”的價值發(fā)掘。如果可以統(tǒng)計的話，2016年各公司之間的數(shù)據(jù)交易與2015年相比一定是一個指數(shù)級的增長。
數(shù)據(jù)分析應用經(jīng)歷四個階段，分別是簡單數(shù)據(jù)的簡單分析(傳統(tǒng)的數(shù)據(jù)庫統(tǒng)計)、簡單數(shù)據(jù)的復雜分析(傳統(tǒng)數(shù)據(jù)量的數(shù)據(jù)挖掘)、復雜數(shù)據(jù)的簡單分析、復雜數(shù)據(jù)的復雜分析?；跀?shù)據(jù)價值發(fā)掘的各項應用絕大部分集中在***、第二階段。能夠下象棋的“深藍”和能夠下圍棋的 “阿爾法狗”其實都應該屬于簡單數(shù)據(jù)的復雜分析(單一領域的機器學習)。
其次，大數(shù)據(jù)應用的典型案例層出不窮，目前集中于復雜數(shù)據(jù)的簡單分析。
比如上海踩踏事件后，對于特殊時段/事件的實時人群流量監(jiān)測成為大中城市的共同需求。通常通過運營商大規(guī)模信令數(shù)據(jù)的準實時處理，來實現(xiàn)區(qū)域人群準實時洞察分析。2016年已經(jīng)在各大旅游區(qū)、航展、火車站等進行了廣泛的應用。
比如某市政府因人口疏解壓力，要求分析各區(qū)縣(各鄉(xiāng)鎮(zhèn))之間的常住人口、工作人口數(shù)量，以及各類人口變動來源與去向。通常通過運營商信令數(shù)據(jù)的離線分析，可以較好的模擬真實居住/工作人群的結構與變化特征。2016年該領域實際上開展了較深入的應用。
比如公安部門、信用評級部門需要分析個人或企業(yè)的關系鏈。對個人來說，有那些人跟你是家庭關系、親戚關系、同學關系、同事關系包括曾經(jīng)同學、同事等，以及關系的關系。通過大數(shù)據(jù)圖計算方式，能快遍歷每個節(jié)點與周邊多個節(jié)點之間的直接或間接關聯(lián)關系，形成個人關系圖譜。對企業(yè)來說，股權投資、高管兼任、資金擔保等均可通過圖計算方式，分析出企業(yè)關系圖譜或各類復雜的資金鏈/擔保鏈關系圖譜等。
但是，上述整體市場的進步并不意味著參與的企業(yè)個體能夠持續(xù)的活下去。十家公司出現(xiàn)十個典型案例，大家都可能玩完，而一個公司一個典型案例覆蓋十個客戶，才有可能活得下去。
就如“谷賤傷農(nóng)”的道理一樣，過度投入帶來的過度競爭才是大數(shù)據(jù)寒冬的真正原因。不是大數(shù)據(jù)技術不好，也不是應用缺乏，而是當前的應用市場無法容納過度參與玩家的生產(chǎn)能力。
首先，過度投入來自對新技術新領域的追捧。從Gartner公司每年一度的新興技術成熟度曲線(Hype Cycle for Emerging Technologies)可看出，大數(shù)據(jù)在2013年正處在成熟度曲線的頂峰，2014年已經(jīng)開始走下坡路，2015年已經(jīng)脫離曲線，從概念炒作走向實際應用。現(xiàn)在已經(jīng)有不少公司開展調整，在可見的將來還會有更多的公司步入后塵。那么2016年熱度頂峰的新技術是什么，是區(qū)塊鏈。我有認識的朋友，一年半前從大數(shù)據(jù)平臺項目離職搞區(qū)塊鏈，那時候我還根本理解不了什么是區(qū)塊鏈。大概半年前又回到大數(shù)據(jù)公司，重新搞起了大數(shù)據(jù)平臺。
其次，軟件行業(yè)的整體迷茫，紛紛把大數(shù)據(jù)當成救命稻草。現(xiàn)在還有軟件公司(包含廣告公司)不稱呼自己是大數(shù)據(jù)公司的嗎?還有軟件公司不搞些大數(shù)據(jù)平臺或應用產(chǎn)品嗎?不用提傳統(tǒng)電信運營支撐公司東方國信、亞信數(shù)據(jù)，就說飛信支撐方神州太岳，在2015年也高調轉型大數(shù)據(jù)應用領域。
云計算與SaaS化應用的興起導致的軟件革命，讓行業(yè)競爭加劇，很多軟件廠商無所適從。就如一季度曾曝出的用友軟件的大幅度虧損一樣，不管做ERP還是小應用，傳統(tǒng)的軟件公司的日子越來越難過了。這些軟件公司把進軍大數(shù)據(jù)當成解決軟件行業(yè)性問題的良方，結果是從一個火坑跳入另一個火坑。
再次，大數(shù)據(jù)開源技術的低門檻，玩家進出無障礙。以最經(jīng)典的Apache Hadoop社區(qū)為例，Hadoop的項目結構不斷豐富發(fā)展，已經(jīng)形成一個豐富的Hadoop生態(tài)系統(tǒng)，囊括HDFS、MapReduce、Yarn、Hive、Hbase、Sqoop、Zookeeper、Flume、Kafka、Spark等近30個模塊。雖然能夠對社區(qū)提供持續(xù)原創(chuàng)性貢獻的企業(yè)不多，但并不妨礙眾多公司，一兩個熟手+若干個生手就可以承諾搭建并運營一個實時交易風控平臺(以實時流計算為主要模式的平臺)。問題的關鍵在于，同樣面對新技術，新加入的玩家與傳統(tǒng)的BI廠商基本處于同一起跑線上。
***，建設容易運營難，大數(shù)據(jù)價值還未真正體現(xiàn)。數(shù)據(jù)價值已經(jīng)體現(xiàn)，但大數(shù)據(jù)價值還未真正體現(xiàn)。很明顯，之前大數(shù)據(jù)的虛火來自于建設的熱潮。當建設的熱潮退去，需要通過真實的應用價值來回報的時候，發(fā)現(xiàn)雖然有不少案例，但是總體的價值根本無法hold住之前的投入。因此反向的減少建設投入，導致市場空間相對于之前的高速擴張有較大的萎縮。
一切正如2000年的互聯(lián)網(wǎng)寒冬一樣，當前的大數(shù)據(jù)寒冬正是市場機制自動產(chǎn)生的“優(yōu)勝劣汰”過程，這是歷史規(guī)律。
對于任何一個企業(yè)或組織來說，最終結局都逃不過失敗，但對于優(yōu)秀的企業(yè)來說，可以失敗得晚一點，生存得更久一些。就如華為任正非在《華為的冬天》里說到的一樣，“十年來我天天思考的都是失敗，對成功視而不見，也沒有什么榮譽感、自豪感，而是危機感。也許是這樣才存活了十年。我們大家要一起來想，怎樣才能活下去，也許才能存活得久一些。失敗這一天是一定會到來，大家要準備迎接，這是我從不動搖的看法，這是歷史規(guī)律。”
三、產(chǎn)品聚焦是前提
在大數(shù)據(jù)的寒冬里，要比別人活得久一點，首先得明確自身的產(chǎn)品是什么，市場在什么地方，與競爭對手相比，產(chǎn)品是否有差異。
大數(shù)據(jù)的產(chǎn)品很多，大的方面可以分為6類。
***，大數(shù)據(jù)基礎平臺。解決分布式數(shù)據(jù)存儲、離線計算與資源管理問題，包含目前比較流行的Paas平臺。
第二，實時計算引擎。通過Storm\Spark streaming等架構解決大批量實時計算問題。
第三，數(shù)據(jù)庫。各類DB，Sql，Mysql，Hbase等。
第四，大數(shù)據(jù)資產(chǎn)管理。數(shù)據(jù)從采集到應用開放全過程的數(shù)據(jù)結構管理。比如元數(shù)據(jù)管理，過程管理，隱私安全管理，開放管理與審計等。
第五，通用大數(shù)據(jù)應用。適用與所有行業(yè)的工具與模型。比如可視化工具，統(tǒng)一分析門戶，互聯(lián)網(wǎng)內(nèi)容分析，智能營銷管理，數(shù)據(jù)挖掘工具/模型， SaaS化DMP等。
第六，垂直領域大數(shù)據(jù)應用。與特定行業(yè)的緊密結合的產(chǎn)品，如金融征信，位置運營，精準扶貧，智慧醫(yī)療等。
如果你的產(chǎn)品線包含從***到第六，那么你離倒下已經(jīng)不遠了。如果你能夠在某一個領域做得足夠的精深，精深到讓其它所有的玩家都很難生存，那么恭喜你，你就是在戰(zhàn)場上確立了自己地位的人，一定活得更久。
從中國大數(shù)據(jù)技術大會連續(xù)幾年的趨勢預測，也可以幫助我們判斷出市場的需求前景所在。
2013首提的數(shù)據(jù)資源化(價值化)在后續(xù)兩年基本實現(xiàn)，在2016年越來越成熟。如果你擁有較好的數(shù)據(jù)資源，毫無疑問，活下去的概率會大增。
在2016年以前，大數(shù)據(jù)分析與可視化被持續(xù)提及。在實際中，市面上可視化工具數(shù)不勝數(shù)，其中國外有一款叫Tableau，已經(jīng)部分實現(xiàn)了2016年所預測的“可視化推動平民化”。如果還想依靠類似可視化工具來提供原來的BI服務，基本上沒有市場空間了。
大數(shù)據(jù)的安全與隱私問題是持續(xù)令人擔心的熱點，這里其實隱藏另一個問題，如何將復雜數(shù)據(jù)結果算準的問題。這意味著要詳細了解數(shù)據(jù)資源的構成(元數(shù)據(jù))，世系關系(從哪兒來用在哪個應用上)，這導致大數(shù)據(jù)治理或者大數(shù)據(jù)資產(chǎn)管理產(chǎn)品是一個適用于所有行業(yè)的剛性需求。
數(shù)據(jù)科學的興起是自2013年來持續(xù)提及的預測。實質上目前的很多大數(shù)據(jù)應用并未涉及到模型，這也是導致門檻低、競爭激烈的重要原因。因為真正大數(shù)據(jù)的應用應該是“復雜數(shù)據(jù)的復雜分析”，該領域缺少對應的產(chǎn)品。
與需求相結合的數(shù)據(jù)科學能力(能解決最終應用問題的模型能力)是大數(shù)據(jù)公司的核心能力，舉一個例子，目前國內(nèi)的圖像識別、人臉識別等，其核心算法(通常以卷積神經(jīng)網(wǎng)絡為代表)絕大部分來自國外。再舉一個現(xiàn)實中的例子，市政公安部門很需要對各地區(qū)進行犯罪趨勢預測，以便對警務/行政資源進行合理分配，現(xiàn)實中基本缺少對應的解決方案。
受個人的局限，無法就每一個大數(shù)據(jù)產(chǎn)品前景做出判斷，但從各大數(shù)據(jù)公司的交流進行總結，往往產(chǎn)品聚焦的公司，差異化會更明顯，在特定領域更能做到對手所無法達到的高度，具有更強的生命力。
四、成本控制是唯一出路
2000年4月3日開始，美國Nasdaq股票狂跌，到了年底，中國的網(wǎng)站開始紛紛倒閉。至此，持續(xù)三年的互聯(lián)網(wǎng)***波浪潮突然從峰頂?shù)敕骞?，互?lián)網(wǎng)的冬天來臨了。
2001年1月，阿里的賬面上只剩能維持半年多的700萬美元，更可怕的是，當時的阿里并沒有找到賺錢的辦法。陷入自創(chuàng)業(yè)以來最困難最危機的境地。
正如后來大家所知道的，阿里裁掉了美國、歐洲、中國香港、韓國的網(wǎng)站團隊，將所有的業(yè)務回到杭州這個中心，這是阿里巴巴***次裁員，也是唯一一次大裁員。效果立竿見影，每月的成本立刻從100萬降到了50萬美元，阿里巴巴贏得了寶貴的一年喘息時間!
去掉所有的浮夸，控制成本，做最謹慎的預測，確保能夠活下去作為***要義，是度過寒冬的唯一出路。
華為軟件人數(shù)不少，從營業(yè)收入上看過百億，應該是中國***的軟件公司，但是大并不意味著能夠盈利。
我有個朋友獨自負責一個50人的小公司，主要提供大軟件公司所照顧不到的部分省市運營商的分析營銷服務，年營業(yè)收入數(shù)千萬元，卻能做到業(yè)界較好的利潤率。究其原因，她一個人既是CEO，又是唯一一個營銷經(jīng)理兼客戶經(jīng)理，給自己開比較低的工資，核心人員用股份來挽留，每年都在為下一個年度的生存項目提前較勁。
這是一個最典型的為了活下去而努力的公司，沒有絢麗的遠景規(guī)劃，沒有層級復雜的管理，全都投入生產(chǎn)，成本控制到***。所以，她能活下去，或許還能不斷壯大。
對于這些善于成本控制、產(chǎn)品及市場目標明確的公司而言，寒冬或許是一個新的機遇。就如一個優(yōu)秀的獵手，在凜冽寒風中耐心的等待，等待著對手倒下，然后從容收割獨屬于自己的獵物。
【本文是51CTO專欄作者“科技雜談”的原創(chuàng)稿件，微信id:keji_zatan，轉載請聯(lián)系原作者】
