【51CTO專稿】說到大數(shù)據(jù)，你先想到什么？

超過PB級的流量和存儲，電子商務(wù)網(wǎng)站的各種購買記錄、購物車記錄和頁面瀏覽記錄，上億用戶級別的社交網(wǎng)絡(luò)，抓取整個互聯(lián)網(wǎng)的搜索引擎，金融領(lǐng)域以秒作為時間間隔的、快速變更的交易信息，3D地圖，每天增長飛速的圖片、音頻和視頻流……

業(yè)界對大數(shù)據(jù)普遍進(jìn)行了幾方面的特征定義，如數(shù)據(jù)量大、數(shù)據(jù)類型復(fù)雜、處理速度快。再說的直白點，大數(shù)據(jù)相比“傳統(tǒng)”上的數(shù)據(jù)處理，不過是各方面維度的量級增加而已，由于技術(shù)的進(jìn)步，把以前需要用大型機(jī)計算一個月的數(shù)據(jù)，變成用一個普通的機(jī)器或廉價的集群用幾秒鐘就能處理完畢的工作。

從這個角度來看，大數(shù)據(jù)的趨勢其實針對各行各業(yè)都適用，而并非只是互聯(lián)網(wǎng)、金融、搞氣象或天文的科研機(jī)構(gòu)這幾個行業(yè)的專屬趨勢。所以，當(dāng)微軟的CIO也開始談?wù)摯髷?shù)據(jù)的時候，各位也不必感到驚訝。

上周，微軟公司副總裁兼首席信息官Tony Scott（@kncukier）在北京微軟大廈與幾家媒體見面，一起聊了一些大數(shù)據(jù)方面的話題，51CTO記者也受邀參加。在談到大數(shù)據(jù)的整體趨勢時，Scott很高興的將自己兒子的一個案例故事分享給大家聽：

“我兒子最近在洛杉磯，自己創(chuàng)辦了一家小企業(yè)。我非常驚訝的發(fā)現(xiàn)，他免費的獲得了很多的洛杉磯本土的人文信息，他從事行業(yè)的業(yè)務(wù)信息以及流量信息。對大量的免費信息進(jìn)行綜合分析之后，能夠準(zhǔn)確地做一個業(yè)務(wù)決策：這個業(yè)務(wù)從哪兒開始做，如業(yè)務(wù)門店的選址等。如果是在十年之前，這樣的數(shù)據(jù)要么是無法獲得，要么就是要花高昂的成本購買。但是現(xiàn)在令人驚喜的一點是，所有的數(shù)據(jù)是免費的，而且為他提供很好的知情的業(yè)務(wù)決策。”

[[78301]]

微軟全球CIO Tony Scott

一個獨立創(chuàng)業(yè)者涉及到的數(shù)據(jù)量雖然還稱不上多“大”，但要知道這可僅僅是冰山一角。單單是“門店選址”這一塊需求，不用說面向整個城市，想想看單就海淀區(qū)有多少這方面的需求：就算不考慮那些街邊賣水果煎餅的路攤，要考慮到人流量、時間段、購買能力、購買欲望等等因素，這個數(shù)據(jù)量就已經(jīng)相當(dāng)可觀了。

大數(shù)據(jù)在微軟

根據(jù)Scott的介紹，目前微軟內(nèi)部的IT部門負(fù)責(zé)對微軟在全球的9萬名直接員工提供服務(wù)，加上微軟服務(wù)供應(yīng)商和外部咨詢員等第三方人員，總用戶數(shù)量大約在27萬左右。IT部門本身不擁有數(shù)據(jù)中心：他們自己也是微軟各種云計算業(yè)務(wù)的租戶之一，如Azure，Office 365，MSN，Bing搜索，Hotmail等等。

針對這27萬用戶的服務(wù)，微軟IT部門直接可管理的物理服務(wù)器有8000臺，如果考慮虛擬化的情況則是至少24000個虛機(jī)，整個集群上運行著代號為Isotope的微軟大數(shù)據(jù)平臺（Hadoop到Windows Server的端口），為微軟內(nèi)部的營銷團(tuán)隊、測試團(tuán)隊等用戶提供支持。IT部門管理的終端聯(lián)網(wǎng)設(shè)備在30萬臺左右，其中有大量的PC機(jī)，還有因最近BYOD（自帶設(shè)備辦公）趨勢下所增長的個性化移動設(shè)備。

“關(guān)于我們的營銷團(tuán)隊的一個例子，他們試圖對各種不同類型客戶的在線和離線行為進(jìn)行建模。他們的數(shù)據(jù)集從數(shù)億到數(shù)十萬不等，由于當(dāng)前模型預(yù)測的局限性，試圖對在線和離線進(jìn)行建模是非常困難的。根據(jù)我們的大數(shù)據(jù)演示，未來我們應(yīng)該能夠提供更強大的預(yù)測變量，更好的控制模型開發(fā)，更靈活的驗證模型，縮短結(jié)果呈現(xiàn)的周期，并降低開發(fā)和維護(hù)成本。”

Scott也提到這個平臺是如何支持上周剛剛發(fā)布RP版本的Windows 8產(chǎn)品開發(fā)的。眾所周知，Windows自身有一套bug反饋系統(tǒng)，在用戶系統(tǒng)崩潰了的時候，系統(tǒng)會將錯誤報告發(fā)送給微軟的研發(fā)團(tuán)隊。比如在Windows 8的測試版本發(fā)布之后，就會收到來自上百萬臺PC反饋的信息。對這些bug信息進(jìn)行分析建模，根據(jù)反饋的結(jié)果進(jìn)行產(chǎn)品改良，才有最終Windows 8的完成。

大數(shù)據(jù)在各行各業(yè)

微軟的IT部門跟許多非企業(yè)級技術(shù)類公司的IT部門的職責(zé)還不完全一樣。由于微軟本身就是一個龐大的企業(yè)，而微軟的大部分業(yè)務(wù)是面向企業(yè)級用戶所研發(fā)的，因此微軟會先內(nèi)部部署試用自己的產(chǎn)品（即業(yè)界常常提到的“吃狗糧”文化）。也正因為如此，雖然身為微軟面向內(nèi)部的CIO，但Scott也會經(jīng)常跟微軟的產(chǎn)品技術(shù)部門溝通，也會跟微軟的客戶們溝通，使微軟自身能夠以微軟產(chǎn)品“第一用戶”的身份進(jìn)行經(jīng)驗分享。而Scott還有另一個優(yōu)勢，就是在加盟微軟之前，他曾先后在萬豪國際集團(tuán)、通用汽車、迪斯尼等企業(yè)就職，對于這些傳統(tǒng)行業(yè)的狀態(tài)和需求都有一定的了解。

“對于制造行業(yè)來說，有的制造商屬于大的制造商，他們生產(chǎn)的產(chǎn)品數(shù)以百萬計，而且在全球進(jìn)行分銷，這些產(chǎn)品可能是PC機(jī)、手機(jī)，或者其他的智能設(shè)備，或者是汽車。對于這些制造商來說，他們必須收集用戶使用這些產(chǎn)品的信息，幫助他們?nèi)ラ_發(fā)、生產(chǎn)更高質(zhì)量，而且對用戶來說更適用的產(chǎn)品……再比如說我們有一個規(guī)模非常大的工廠，可能每天要生產(chǎn)幾千臺大型的設(shè)備，整個制造流水線當(dāng)中有不同的流程。那么就需要收集每個流程的信息，從而更好地進(jìn)行質(zhì)量的控制，提高最終成品的質(zhì)量。這樣的技術(shù)應(yīng)用已經(jīng)在汽車制造行業(yè)，電子設(shè)備制造行業(yè)，還有一些醫(yī)療設(shè)備制造行業(yè)所廣泛的使用。”

Scott也曾經(jīng)在醫(yī)藥公司工作過。“你也知道，醫(yī)藥公司早期的研發(fā)或者銷售時，通常都是搜集月度的信息，利用原來傳統(tǒng)的數(shù)據(jù)庫的工具，花幾個月才能分析出來?，F(xiàn)在有了大數(shù)據(jù)的工具，我們以小時為單位來采集數(shù)據(jù)，在不到幾分之幾秒的時間里獲得以前一個星期甚至一個月才能得出的數(shù)據(jù)結(jié)果。而且這一切都是以實時方式實現(xiàn)的。”

共同的機(jī)遇與挑戰(zhàn)

現(xiàn)在，有云計算集群這樣價格相對低廉的、可出租的強大計算力，有Hadoop這樣開源的軟件框架來支持海量數(shù)據(jù)的快速分析，一些以前需要一個資金雄厚的組織花費大量人力物力完成的任務(wù)，現(xiàn)在很可能一個不到十人的小團(tuán)隊，花費很少的成本就能夠完成。

“對于微軟的客戶來說，最關(guān)鍵的一點，一方面通過云的技術(shù)能夠讓用戶獲得無限計算的資源，來去分析大規(guī)模的數(shù)據(jù)，而且對客戶來說，成本是低到可以接受的程度。通過對大數(shù)據(jù)的分析，能夠讓客戶獲得獨一無二的洞察力，而且有的時候是非常專業(yè)性的學(xué)習(xí)能力。而且隨著時間的推移，每一年這樣的學(xué)習(xí)能力，這樣的洞察力都在變得更好。”Scott十分看好大數(shù)據(jù)應(yīng)用在各個專業(yè)領(lǐng)域的發(fā)展前景。“我們看到在不同的領(lǐng)域，比如說醫(yī)藥領(lǐng)域，科學(xué)技術(shù)領(lǐng)域，基礎(chǔ)研究領(lǐng)域，制造，甚至是天氣預(yù)報的領(lǐng)域，都出現(xiàn)一些非常有意思的大數(shù)據(jù)類型的應(yīng)用。而且逐漸的也能夠?qū)@樣一些應(yīng)用帶來的成果進(jìn)行評估。正是因為通過私有云，或者公有云匯集計算的力量，我們才能夠獲得這樣一個獨一無二的機(jī)會，解決一些以前無法解決的非常有意義的問題。”

這也意味著整個市場會誕生很多新的機(jī)會。就企業(yè)而言，以前可能是一些在數(shù)據(jù)方面和統(tǒng)計學(xué)專業(yè)方面的商業(yè)分析員，使用著那些普通人看也看不懂的工具，每個月一次生成報表給業(yè)務(wù)人員和領(lǐng)導(dǎo)們看，由此輔助企業(yè)的戰(zhàn)略制定。而大數(shù)據(jù)應(yīng)用成熟之后，很多業(yè)務(wù)部門的人自己也可以用一些通用的工具來處理很多很容易就拿到的數(shù)據(jù)，進(jìn)行自己的業(yè)務(wù)決策。這種快速、低門檻的環(huán)境，將推動大量細(xì)分市場的發(fā)展。

而另一方面，對于任何數(shù)據(jù)分析而言，都存在一個最初的問題：我們要收集哪些數(shù)據(jù)？要以怎樣的頻率收集這些數(shù)據(jù)？我們又要保留哪些數(shù)據(jù)？需要保留多長的時間？很多時候，并不是數(shù)據(jù)越多越好。甚至對錯誤的數(shù)據(jù)進(jìn)行分析，還會引導(dǎo)出錯誤的商業(yè)決策。Scott認(rèn)為，目前我們還缺乏一個很好的框架來解決這些問題。不過，Scott建議大家可以從兩個方面來考慮：“第一個方面，你要了解，保留這些數(shù)據(jù)能帶來什么樣的商業(yè)價值？第二個方面，可以看看相關(guān)的IT治理政策條例是怎樣制定的。”

對于大數(shù)據(jù)方面，您有什么想法？歡迎留言討論！