大數(shù)據(jù)技術(shù)如何才能發(fā)揮最佳狀態(tài)
譯文過(guò)去的經(jīng)驗(yàn)表明，充分發(fā)揮規(guī)?；瘍?yōu)勢(shì)能夠切實(shí)提升分析機(jī)制所帶來(lái)的實(shí)踐價(jià)值。不過(guò)如果把大數(shù)據(jù)看作一柄榔頭，可并不是所有問(wèn)題都屬于等待敲下的釘子。
很多人都誤以為在大數(shù)據(jù)解決方案中，處理對(duì)象的規(guī)?？偸窃酱笤胶谩Ｊ聦?shí)上，人們往往會(huì)從不同的立場(chǎng)出發(fā)，對(duì)“越大越好”這一命題給出自己的答案，而我匯總出了幾下幾種典型情況：
深信不疑: 這是一種根深蒂固的觀念，有些人認(rèn)為無(wú)論實(shí)際情況如何，更龐大的規(guī)模、更迅捷的速度以及/或者更多樣的數(shù)據(jù)類(lèi)型總是能夠帶來(lái)更具實(shí)踐價(jià)值的分析結(jié)論，而這也正是他們眼中大數(shù)據(jù)分析的核心價(jià)值所在。如果在實(shí)際操作中找到理想的結(jié)論，那么根據(jù)他們的思維方式，這僅僅是由于具體處理者不夠努力、不夠聰明或者沒(méi)有使用正確的工具及方法。
盲目迷信: 這種觀點(diǎn)認(rèn)為，大數(shù)據(jù)的絕對(duì)規(guī)模本身就是其價(jià)值的切實(shí)體現(xiàn)，而這與我們是否能夠從中獲取到實(shí)際結(jié)論并無(wú)關(guān)系。根據(jù)這種思維方式，如果我們以大數(shù)據(jù)所支持的特定企業(yè)應(yīng)用程序?yàn)槌霭l(fā)點(diǎn)對(duì)大數(shù)據(jù)功能進(jìn)行評(píng)估，那么完全不需要像當(dāng)下分析領(lǐng)域這樣迫切需要數(shù)據(jù)科學(xué)家的幫助、而能夠任意將數(shù)據(jù)保存在數(shù)據(jù)湖當(dāng)中以支持未來(lái)的探索活動(dòng)。
視為負(fù)擔(dān): 這種觀點(diǎn)認(rèn)為，數(shù)據(jù)的龐大規(guī)模并不是帶來(lái)正面或者負(fù)面結(jié)果的必要條件。不過(guò)有一項(xiàng)事實(shí)明確而不容否認(rèn)，即現(xiàn)有數(shù)據(jù)庫(kù)在存儲(chǔ)與處理能力方面的匱乏根本無(wú)力負(fù)擔(dān)大數(shù)據(jù)的高強(qiáng)度負(fù)載，因此需要新的平臺(tái)加以支撐（例如Hadoop）。如果我們不能將發(fā)展腳步與數(shù)據(jù)的迅猛增長(zhǎng)保持一致，那么這種觀點(diǎn)認(rèn)為企業(yè)的當(dāng)務(wù)之急是將核心業(yè)務(wù)轉(zhuǎn)移到新型數(shù)據(jù)庫(kù)當(dāng)中。
絕佳機(jī)遇: 就我個(gè)人而言，這才是看待大數(shù)據(jù)的正確方式。其核心實(shí)質(zhì)在于隨著數(shù)據(jù)規(guī)模的不斷擴(kuò)大、數(shù)據(jù)流速度的不斷提升以及數(shù)據(jù)來(lái)源與格式的持續(xù)增長(zhǎng)，我們需要以更加快捷而有效的方式所數(shù)據(jù)中提取出前所未有的分析結(jié)論。這種觀點(diǎn)不會(huì)迷信或者過(guò)度依賴(lài)大數(shù)據(jù)，因?yàn)槲覀兂姓J(rèn)某些結(jié)論完全可以通過(guò)小規(guī)模數(shù)據(jù)分析方式得出。同時(shí)，這種觀點(diǎn)也不會(huì)將數(shù)據(jù)規(guī)模視為一種負(fù)擔(dān)，而單純只是需要通過(guò)新型數(shù)據(jù)庫(kù)平臺(tái)、工具以及實(shí)踐方案解決的另一項(xiàng)技術(shù)挑戰(zhàn)。
去年，我曾在一篇博文中談到大數(shù)據(jù)中的核心用例，主要探討角度是從“絕佳機(jī)遇”層面出發(fā)。而去年年底，我通過(guò)親身觀察發(fā)現(xiàn)大數(shù)據(jù)的核心“業(yè)務(wù)”價(jià)值主要受到增量化內(nèi)容在提供增量化背景信息方面的影響。如果大家希望通過(guò)數(shù)據(jù)分析來(lái)了解事物的全貌以及蘊(yùn)藏在其背后的深層含義，那么背景信息總是越多越好。同理，如果大家希望將與當(dāng)前問(wèn)題相關(guān)的所有變量、關(guān)系以及模式進(jìn)行全面考量的話(huà)，內(nèi)容也總是越多越好。總體而言：更多背景信息加上更多相關(guān)內(nèi)容通常意味著更大的數(shù)據(jù)規(guī)模。
大數(shù)據(jù)的價(jià)值還更多地體現(xiàn)在其糾正錯(cuò)誤的能力，這種價(jià)值在小規(guī)模數(shù)據(jù)當(dāng)中往往很難體現(xiàn)。在博文中，我曾援引某位第三方數(shù)據(jù)科學(xué)家的觀察結(jié)果，發(fā)現(xiàn)培訓(xùn)信息集合當(dāng)中包含的數(shù)量量越小、幾類(lèi)常見(jiàn)風(fēng)險(xiǎn)狀況的發(fā)生可能性就越高。首先，小規(guī)模數(shù)據(jù)往往會(huì)令我們忽視某些至關(guān)重要的預(yù)測(cè)性變量。大家也有可能對(duì)某些切實(shí)具備代表性的樣本信息產(chǎn)生誤解。除此之外，大家往往能夠在具備更為復(fù)雜并能切實(shí)體現(xiàn)底層工作關(guān)系的數(shù)據(jù)集的前提下，保證自身將某些虛假的相關(guān)性聯(lián)系排除出去。
規(guī)?；拿篮?/strong>
相信每個(gè)人都已經(jīng)意識(shí)到，某些數(shù)據(jù)類(lèi)型及特定用例在規(guī)模化條件下能夠比其它資源帶來(lái)更出色的分析結(jié)論推動(dòng)作用。
在這方面，我最近發(fā)現(xiàn)了一篇非常出色的評(píng)述文章，其中對(duì)一種特殊類(lèi)型的數(shù)據(jù)——也就是低密度細(xì)化行為數(shù)據(jù)——進(jìn)行了深入闡釋?zhuān)赋銎淠軌蛟谝?guī)?；瘲l件下顯著提高預(yù)測(cè)性分析的準(zhǔn)確率。該文作者Junqué de Fortuny、Martens以及Provost指出，“此類(lèi)數(shù)據(jù)集的關(guān)鍵特性在于其低密度：對(duì)于任何給定實(shí)例，絕大多數(shù)特征對(duì)于實(shí)際價(jià)值的貢獻(xiàn)為零、或者說(shuō)‘沒(méi)有意義’。”
其中最值得注意的（作者們也引用了大量研究資料來(lái)支持他們的討論）是，此類(lèi)數(shù)據(jù)已經(jīng)成為不少關(guān)注于客戶(hù)分析任務(wù)的大數(shù)據(jù)應(yīng)用程序的核心所在。社交媒體行為數(shù)據(jù)完全滿(mǎn)足以上描述，而Web瀏覽行為數(shù)據(jù)、移動(dòng)行為數(shù)據(jù)、廣告響應(yīng)行為數(shù)據(jù)以及自然語(yǔ)言行為數(shù)據(jù)等等也全部與之相符。
“事實(shí)上，”三位作者指出，“對(duì)于大多數(shù)常見(jiàn)的預(yù)測(cè)分析型業(yè)務(wù)應(yīng)用程序來(lái)說(shuō)，例如針對(duì)銀行及電信、信用評(píng)分以及資源消耗管理等任務(wù)的應(yīng)用，此類(lèi)數(shù)據(jù)已經(jīng)被普遍作為預(yù)測(cè)性分析的關(guān)鍵性素材……其特性往往體現(xiàn)在人口、地理位置以及個(gè)人心理傾向方面，并且包括對(duì)特定行為的統(tǒng)計(jì)匯總——例如企業(yè)此前進(jìn)行過(guò)的采購(gòu)行為。”
在談到規(guī)模較大的行為數(shù)據(jù)集往往比小規(guī)模數(shù)據(jù)集更具分析價(jià)值的核心原因時(shí)，三位作者指出：“少數(shù)特定的已知行為往往無(wú)法在沒(méi)有龐大數(shù)據(jù)量作為依托的前提下被準(zhǔn)確觀察得出。”這是因?yàn)樵谛⌒蛿?shù)據(jù)集當(dāng)中，除非其表現(xiàn)超出預(yù)先設(shè)定的具體范圍，否則個(gè)人行為是不會(huì)被記錄下來(lái)的。但當(dāng)我們把目光投向所有相關(guān)人員整體，很有可能會(huì)觀察到那些僅僅出現(xiàn)過(guò)數(shù)次甚至一次、但卻指向特定利基層面的特殊行為類(lèi)型。在小規(guī)模數(shù)據(jù)集當(dāng)中，由于對(duì)象數(shù)量與行為特征相對(duì)有限，我們很可能會(huì)忽略掉上述更為豐富的細(xì)節(jié)信息。
行為數(shù)據(jù)集的來(lái)源越豐富、預(yù)測(cè)模型就越能獲得理想的施展空間，從而為未來(lái)可能出現(xiàn)的更為廣泛的潛在場(chǎng)景提供更具參考價(jià)值的預(yù)測(cè)結(jié)論。因此，規(guī)模越大通常意味著分析效果越好。
有時(shí)候越大意味著越難理解
盡管如此，三位作者也注意到在某些情況下、上述結(jié)論可能并不成立，而這一切都要?dú)w結(jié)于特定行為特征的預(yù)測(cè)價(jià)值層面?；旧?，權(quán)衡機(jī)制充當(dāng)著行為預(yù)測(cè)模型的基礎(chǔ)。
每一種被納入到預(yù)測(cè)模型內(nèi)的新型增量化行為特征都應(yīng)當(dāng)具備與分析目標(biāo)的高度相關(guān)性，只有這樣才能提高分析收益并保證預(yù)測(cè)模型有能力克服更顯著的內(nèi)容差異化狀況——也就是過(guò)度擬合與錯(cuò)誤預(yù)測(cè)——但這往往需要有規(guī)模更大的功能集作為依托。正如幾位作者指出：“如果不能對(duì)模型進(jìn)行平衡與改進(jìn)（假定已經(jīng)選定了正確的數(shù)據(jù)子集），與核心主旨無(wú)關(guān)的大量信息只會(huì)增加出現(xiàn)偏差與過(guò)度擬合狀況的機(jī)率。”
很明顯，當(dāng)不利于得出預(yù)測(cè)性結(jié)論時(shí)，數(shù)據(jù)規(guī)模并非越大越好。相信沒(méi)人愿意在大數(shù)據(jù)分析過(guò)程中受到其臃腫規(guī)模的嚴(yán)重拖累。在這種情況下，我們的數(shù)據(jù)科學(xué)家則需要開(kāi)動(dòng)腦筋，想辦法將導(dǎo)入模型的數(shù)據(jù)規(guī)模盡量縮小、從而使其最大程度與當(dāng)前分析任務(wù)的特性相匹配。
原文鏈接：http://www.infoworld.com/d/big-data/when-big-data-truly-better-249737
