IDC預(yù)測，中國未來幾年，會有越來越多的企業(yè)級用戶試水大數(shù)據(jù)平臺和應(yīng)用，而Hadoop被看成大數(shù)據(jù)分析的“神器”，將成為最耀眼的“明星”。Hadoop相關(guān)的數(shù)據(jù)應(yīng)用遍地開花,在各行各業(yè)做得風(fēng)生水起。僅以互聯(lián)網(wǎng)為例，目前京東、淘寶、騰訊、百度、Amazon、一淘、人人、優(yōu)酷、搜狐、搜狗、暴風(fēng)影音、Ebay、樂視、PPTV、小米等IT企業(yè)都親自操刀,利用Hadoop 大干一場。 正所謂時勢造英雄，大數(shù)據(jù)時代是一個英雄輩出的時代，十名Committer齊聚京城，屆時Hadoop行業(yè)英雄譜將唱響2013 Hadoop中國技術(shù)峰會的現(xiàn)場。我們?yōu)榇蠹冶狭宋鍌€頗具代表的Hadoop行業(yè)案例，為您分享2013 Hadoop中國技術(shù)峰會的精彩內(nèi)容。大會官網(wǎng)：http://www.chinahadoop.com/

 

Hortonworks 再續(xù)前緣: Hadoop 2.0 強(qiáng)勢來襲

 

俗話說得好，“聰明絕頂！”2013 Hadoop中國技術(shù)峰會特邀的這位光頭老外就是大名鼎鼎的Hortonworks公司的亞太技術(shù)總監(jiān)Jeff Markham。大數(shù)據(jù)分析服務(wù)公司Hortonworks乃名門雅虎之后，它與雅虎聯(lián)手貢獻(xiàn)了Hadoop主干項目80%以上的源碼。此外，Hortonworks公司還被認(rèn)為是 Hadoop 2.0、Apache Hadoop Yarn的主要貢獻(xiàn)者。

 

 

在本次2013 Hadoop中國技術(shù)峰會中，Jeff演講的重要主題之一是Hadoop2——Yarn。談到Y(jié)ARN的誕生，Jeff表示，舊版MapReduce的JobTracker/TaskTracker機(jī)制需要通過大規(guī)模的調(diào)整來修復(fù)它在可擴(kuò)展性、內(nèi)存消耗、線程模型、可靠性和性能方面的缺陷。Hortonworks在著手構(gòu)建Hadoop2.0時，希望從根本上重新設(shè)計Hadoop的架構(gòu)，從而達(dá)到可以在Hadoop上運行多個應(yīng)用程序并處理相關(guān)數(shù)據(jù)集的目的。這樣一來，多種類型的應(yīng)用程序都可以高效、可控地運行在同一個集群上。這是以Hadoop 2.0為基礎(chǔ)的Apache YARN之所以能夠誕生的真正原因。

 

京東在電商行業(yè)的淘金利器 ：利用Hadoop在大數(shù)據(jù)領(lǐng)域大展拳腳

 

也許Jeff錯過了中國網(wǎng)購的“龍卷風(fēng)”，相信他還來不及體驗中國的雙十一有多么地瘋狂。不過沒關(guān)系，如果您有機(jī)會參加2013 Hadoop中國技術(shù)峰會，不妨?xí)駮耠p十一那些可圈可點的網(wǎng)購吸金數(shù)字，160萬個文胸高過3個珠穆朗瑪峰，9小時銷售的紙尿褲可以吸干6個西湖。相信精明的他會利用這個機(jī)會找京東的人推銷一下YARN。

 

 

互聯(lián)網(wǎng)行業(yè)，誰掌握了用戶數(shù)據(jù)，誰就有資本賺錢。以低價、正品行貨而躋身電商巨頭行業(yè)的電商京東吸引了大批的粉絲，十年來積累了上億個寶貴價值的用戶數(shù)據(jù)。傳統(tǒng)公司如銀行、保險機(jī)構(gòu)、電信企業(yè)等，它們的數(shù)據(jù)大多都是結(jié)構(gòu)化的；而互聯(lián)網(wǎng)公司像百度、騰訊等企業(yè)的數(shù)據(jù)，多來源于網(wǎng)絡(luò)評論、用戶日志等，這些數(shù)據(jù)是非結(jié)構(gòu)化或半結(jié)構(gòu)化的。京東之類的電商企業(yè)的數(shù)據(jù)處于二者之間：從用戶下單到倉儲分揀，再到配送，整個交易鏈條上的數(shù)據(jù)是結(jié)構(gòu)化的；而用戶的網(wǎng)站瀏覽行為、購買評價等各種數(shù)據(jù)是非結(jié)構(gòu)化的。京東需要做的是將結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)巧妙的融合起來，從而實現(xiàn)客戶洞察、用戶定位、風(fēng)險評估等一系列與大數(shù)據(jù)有關(guān)的分析和決策行為。

 

在電商淘金熱潮中，大數(shù)據(jù)已經(jīng)成為了京東所向披靡的競爭利器。如何利用大數(shù)據(jù)來挖掘這十年積累的數(shù)據(jù)，為企業(yè)提供決策支持，支持京東更好更大的發(fā)展，是擺在京東Hadoop團(tuán)隊面前的核心難題。為此，2013 Hadoop中國技術(shù)峰會同時邀請了3位資深京東Hadoop技術(shù)專家，從各個維度深入剖析京東的大數(shù)據(jù)Hadoop應(yīng)用，包括營銷體系、廣告推放、倉儲調(diào)撥、銷售預(yù)測，物流配送等。舉個例子，用戶沒有來的時候有貨，這并不表明用戶來的時候一定會有貨。京東需要對用戶訪問量和商品數(shù)據(jù)進(jìn)行分析，整合出一個較為準(zhǔn)確的現(xiàn)貨率，實時提供給采購部門備貨，從而優(yōu)化用戶體驗。

 

如何在合適的時間向目標(biāo)客戶推送正確的內(nèi)容？幾乎所有的電商企業(yè)都會基于用戶的購買行為做精準(zhǔn)營銷。京東也不例外，每天都會產(chǎn)生幾億的PV，但其先進(jìn)的Hadoop的數(shù)據(jù)分析手段蓋過了簡單的E-mail與短信勢頭。京東依靠大數(shù)據(jù)對用戶建模，進(jìn)行正確的畫像分析、定位模型。簡單來講，京東利用Hadoop對對用戶海量評論和搜索日志的分析和挖掘，包括性別、年齡、是否有房有車等多個維度，制定大數(shù)據(jù)分析模型，從而判斷用戶是購買沖動型還是目標(biāo)明確性，理解用戶的購買意圖，然后根據(jù)不同用戶屬性推薦不同的商品，從而提升用戶體驗，給用戶帶來了更多的價值。

 

小米進(jìn)軍云服務(wù)行業(yè)：大力發(fā)展HBase技術(shù)

 

如果說58是個神奇的網(wǎng)站，那么小米就是一個神奇的公司。對比一下，歷經(jīng)百年的老牌諾基亞加上全部專利的總資產(chǎn)才72億，而成立不久的小米估值造就超過了100億美元。 談起小米，它的饑餓營銷法在中國市場可謂如火如荼，就連蘋果的黃牛都開始囤積小米了。相比于小米手機(jī)，小米大數(shù)據(jù)顯得并不張揚，但這絲毫不影響它在大數(shù)據(jù)領(lǐng)域的實力。這不，HBase的總牽頭人Michael Stack就專程來看看這個神奇的公司。要知道，小米云服務(wù)的大部分結(jié)構(gòu)性數(shù)據(jù)都是采用HBase的延伸技術(shù)存儲，小米提交了65項HBase的補(bǔ)丁，其中37項已經(jīng)被并入HBase主代碼樹。而作為小米大數(shù)據(jù)團(tuán)隊而言，當(dāng)然也不會錯過中國最有價值的Hadoop技術(shù)盛宴——2013 Hadoop中國技術(shù)峰會這個平臺，來為大家現(xiàn)場分享小米云服務(wù)是如何運用HBase相關(guān)技術(shù)的。

大數(shù)據(jù)在視頻中的數(shù)字游戲：優(yōu)酷土豆利用Hadoop挖掘數(shù)據(jù)中的價值

 

視頻似乎是看不完的，看完一個視頻，會有一個又一個的相關(guān)的視頻推薦，視頻行業(yè)儼然成為了大數(shù)據(jù)時代的先鋒。優(yōu)酷土豆作為一家耳熟能詳?shù)拇笮鸵曨l網(wǎng)站，擁有海量的視頻文件。有這樣一種技術(shù)，亞馬遜和谷歌都在用，亞馬遜會告訴你“買了A商品的顧客也同時購買了B商品”，Youtube上，一個視頻播放結(jié)束，馬上就會出現(xiàn)相關(guān)推薦視頻。同樣，優(yōu)酷也就靠著這種基于Hadoop的“協(xié)同過濾推薦”的技術(shù)給用戶推薦他們喜歡看的視頻。

 

正所謂燕雀安知鴻鵠之志哉？當(dāng)然，優(yōu)酷土豆并不滿足于把數(shù)據(jù)的挖掘分析只用在簡單的推薦視頻上，優(yōu)酷土豆希望能夠在行業(yè)內(nèi)樹立一個標(biāo)桿，作為它的拳頭性平臺化戰(zhàn)略產(chǎn)品“中國網(wǎng)絡(luò)視頻指數(shù)”更是成為了大數(shù)據(jù)時代的弄潮兒。

 

優(yōu)酷土豆擁有海量的數(shù)據(jù)，僅運營數(shù)據(jù)，目前每天收集到的網(wǎng)站各類訪問日志總量已經(jīng)達(dá)到TB級，經(jīng)分析及壓縮處理后留存下來的歷史運營數(shù)據(jù)已達(dá)數(shù)百TB，很快將飆升到 PB級，5年后數(shù)據(jù)量將會突破幾十PB級。如何更好地處理和分析這些海量數(shù)據(jù)？如何在海量數(shù)據(jù)中掘金?這將成為優(yōu)酷土豆值得花力氣研究的事情。

 

在本屆2013 Hadoop中國技術(shù)峰會中，來自優(yōu)酷土豆的Hadoop技術(shù)專家將現(xiàn)場剖析Hadoop在廣告、網(wǎng)站、無線、搜索等方面的應(yīng)用。在優(yōu)酷土豆平臺上，每當(dāng)用戶點擊播放視頻時，優(yōu)酷土豆都會對頁面瀏覽、評論收藏、視頻播放以及播放時的各種操作進(jìn)行了記錄。這些數(shù)據(jù)經(jīng)處理后的分析結(jié)果會反饋給不同相關(guān)業(yè)務(wù)模塊用作參考，來自產(chǎn)品、內(nèi)容運營、用戶的個性化推薦及廣告投放等業(yè)務(wù)部門都會受益匪淺。

 

內(nèi)容方面，優(yōu)酷土豆通過對用戶網(wǎng)絡(luò)情況進(jìn)行數(shù)據(jù)統(tǒng)計：比如每次播放是否發(fā)生了緩沖，平均下載速度是多少等，憑借對這些數(shù)據(jù)進(jìn)行實時的統(tǒng)計和計算，獲取每個地區(qū)每個運營商下用戶的加載表現(xiàn)，以此來決定CDN節(jié)點的分布和分配策略，為不同地區(qū)、不同運營商的用戶提供清晰流暢的視頻服務(wù)。

 

在推薦方面，優(yōu)酷土豆通過對大量視頻播放行為的分析，歸納不同時長、不同類型、不同內(nèi)容的視頻之間的相互關(guān)聯(lián)，挖掘不同人群用戶的同質(zhì)化觀看習(xí)慣，對每次用戶的觀看進(jìn)行有針對性的后續(xù)推薦，并借助后續(xù)數(shù)據(jù)的分析，迭代地改善現(xiàn)有服務(wù)，為用戶提供量身定制的推送服務(wù)。

 

 

VMWare 領(lǐng)跑虛擬化行業(yè)：Hadoop的大數(shù)據(jù)擴(kuò)展技術(shù)更勝一籌

 

作為虛擬化技術(shù)的旗幟，VMware始終領(lǐng)跑虛擬化與云計算的發(fā)展。不過，VMWare的雄心遠(yuǎn)不止如此。VMWare開始發(fā)力Hadoop虛擬化相關(guān)技術(shù)。近日，VMware宣布推出了VMware vSphere Big Data Extensions(大數(shù)據(jù)擴(kuò)展)，這將允許該公司廣受歡迎的基礎(chǔ)設(shè)施管理軟件來控制企業(yè)客戶建立的Hadoop集群。這樣一來，成千上萬的VMware企業(yè)客戶將能夠使用他們已經(jīng)熟悉的軟件來控制Hadoop部署。

 

為此，2013 Hadoop中國技術(shù)峰會組委會特意邀請了兩位VMWare重量級技術(shù)專家，為您庖丁解牛,講解VMware的大數(shù)據(jù)方案。 

 

創(chuàng)投資金給了誰？誰能獲得自己的一桶金？

 

2013上半年IDG、紅杉們的錢都給了誰？大數(shù)據(jù)成為了投資最熱關(guān)鍵詞，互聯(lián)網(wǎng)以信息為本，在大數(shù)據(jù)領(lǐng)域，做數(shù)據(jù)分析、挖掘等相關(guān)技術(shù)備受青睞。值得一提的是，2013 Hadoop中國技術(shù)峰會特別增設(shè)了一個大數(shù)據(jù)創(chuàng)業(yè)與投資的主題論壇，新浪微博基金、美國光速創(chuàng)業(yè)投資、IDG資本投資顧問(北京)有限公司、中通銀泰、星環(huán)信息(上海)有限公司、Xadoop、天云大數(shù)據(jù)、云創(chuàng)存儲等單位將共同分享大數(shù)據(jù)領(lǐng)域的創(chuàng)業(yè)和投資方面的故事，希望能同時幫助到創(chuàng)業(yè)者和投資者。現(xiàn)在團(tuán)隊購票還有優(yōu)惠，欲想了解詳細(xì)議程，請訪問www.chinahadoop.com /hadoop.it168.com。今年銷售一如既往的火爆，若不想等門票售罄，請及早預(yù)定。