Facebook談大數(shù)據(jù):光有Hadoop還不夠
Facebook分析主管Ken Rudin表示,Hadoop編程框架可能是“大數(shù)據(jù)”運動的代名詞,但對于公司從大規(guī)模存儲的非結(jié)構(gòu)化信息中得到商業(yè)洞見的需求,Hadoop不是唯一的工具。
“有很多普遍的大數(shù)據(jù)信念需要被質(zhì)疑,”Rudin說,“問題是,Hadoop是一種技術(shù),但大數(shù)據(jù)不是關(guān)于技術(shù)的,大數(shù)據(jù)是關(guān)于業(yè)務需求的。”
“實際上,大數(shù)據(jù)應該包括Hadoop和關(guān)系型數(shù)據(jù)庫和任何其他適合手頭任務的技術(shù)。”他補充說。
Facebook的商業(yè)模式依賴于對其超過10億社交媒體用戶的用戶資料和活動數(shù)據(jù)的處理,以提供有針對性的廣告。但是,“對于我們的所要做的,Hadoop并不總是***的工具。”Rudin說。
例如,在Hadoop中對一個數(shù)據(jù)集做廣泛的探索性分析是有意義的,但關(guān)系型存儲對于進行運營分析的發(fā)現(xiàn)更好。
Rudin表示,Hadoop對于在一個數(shù)據(jù)集中尋找***水平的細節(jié)也不有好處,但關(guān)系型數(shù)據(jù)庫對于存儲轉(zhuǎn)化和匯總的數(shù)據(jù)更有意義。
“結(jié)論是,為你的任何需求使用正確的技術(shù)。”他說。
Rudin還有另外一個假設(shè),即分析大數(shù)據(jù)的單純行為提供有價值的見解。“問題是為無人問津的問題想出更加輝煌的答案,”他說,“要弄清楚什么是正確的問題仍然是一門藝術(shù)。”
Facebook一直專注于聘用合適的員工來運行其分析業(yè)務,不僅要擁有統(tǒng)計博士學位,還要精通業(yè)務。
“當你面試的時候,不要只關(guān)注‘我們怎么計算這個指標’”Rudin說,而是要給他們一個商業(yè)案例研究,并問他們哪些是最重要的指標。
企業(yè)還應該嘗試培養(yǎng)“人人分析,”Rudin表示。
Facebook運行一個內(nèi)部“數(shù)據(jù)營(data camp)”,一個兩星期教導員工分析的計劃。Rudin說,產(chǎn)品經(jīng)理,設(shè)計師,工程師,甚至財務部門工作人員都出席。“人人參與其中的意義,你給大家一個數(shù)據(jù)的共同語言,他們可以用來討論問題和難題。”他說。
Facebook還動搖了統(tǒng)計人員和業(yè)務團隊的組織。如果統(tǒng)計人員保持獨立,他們往往“坐在那里等待來自業(yè)務領(lǐng)域的請求并回應他們”,而不是主動的。但是,如果統(tǒng)計人員被放置到業(yè)務單位,“你會發(fā)現(xiàn)多個團體試圖冗余地解決問題。”他說。
Facebook已經(jīng)采用“嵌入式”的模式,把分析師放在業(yè)務團隊,但他們向更高級別的分析師報告,這有助于避免重復勞動。















 
 
 

 
 
 
 