大數(shù)據(jù)咨詢公司NewVantage Partners在近期公布的報(bào)告中指出，尤其是金融服務(wù)公司這類大型公司正在快速采用大數(shù)據(jù)，并且這一速度比預(yù)期的要快。這些公司是如何利用大數(shù)據(jù)做出更明智的業(yè)務(wù)決策的呢?事實(shí)證明，與技術(shù)解決方案一樣，要想通過(guò)大數(shù)據(jù)獲得成功也需要技巧。

NewVantage Partners在去年夏季與來(lái)自50多家大型公司的高管(主要是***數(shù)據(jù)官、***信息官、***技術(shù)官、***分析官、***信息架構(gòu)師)、業(yè)務(wù)主管和高級(jí)程序員進(jìn)行了研討。在這些大型公司中，多數(shù)公司的員工數(shù)量都超過(guò)了30000人。在NewVantage Partners公司的調(diào)查中，有一半的受訪者為來(lái)自金融服務(wù)公司的高管，另外一半的受訪者為來(lái)自保險(xiǎn)、政府機(jī)構(gòu)以及其他行業(yè)的公司高管。

NewVantage Partners 創(chuàng)始人兼管理合伙人Paul Barth 稱：“大多數(shù)公司每年在技術(shù)上的花費(fèi)為10億美元。他們通常都不會(huì)快速做出響應(yīng)，但是一旦開始響應(yīng)，他們將會(huì)為這些創(chuàng)新投入更多的財(cái)力和物力。”

利用大數(shù)據(jù)做出更明智的決策

這些大型公司看到了大數(shù)據(jù)的價(jià)值并開始將他們的資源投向大數(shù)據(jù)。Barth稱，85%的受訪者表示他們正在進(jìn)行大數(shù)據(jù)創(chuàng)新。

他稱：“75%的受訪者每年在大數(shù)據(jù)上的投入超過(guò)了100萬(wàn)美元。25%的受訪者每年在大數(shù)據(jù)上的投入超過(guò)了1000萬(wàn)美元。他們恪守將這一技術(shù)應(yīng)用到一個(gè)項(xiàng)目或一系列項(xiàng)目的承諾。因?yàn)樗麄兎浅Ｇ宄绻麤]有大數(shù)據(jù)，他們手中的項(xiàng)目將無(wú)法進(jìn)行下去。”

大數(shù)據(jù)的真正價(jià)值在于提升了響應(yīng)速度

受訪者給出了許多他們投資大數(shù)據(jù)的原因，如降低風(fēng)險(xiǎn)、打造高質(zhì)量產(chǎn)品和服務(wù)等。不過(guò)，排在首位的兩個(gè)主要原因是：根據(jù)實(shí)際情況更快的做出決策和提升客戶體驗(yàn)。當(dāng)然，這也是他們投資傳統(tǒng)商業(yè)智能分析的首要原因。Barth稱，在進(jìn)行深入調(diào)查時(shí)，NewVantage發(fā)現(xiàn)這些公司投資大數(shù)據(jù)的深層原因是希望提升決策或響應(yīng)速度。

Barth 稱：“如果你的響應(yīng)速度在一個(gè)案例中是30分鐘，在另一個(gè)案例中是30秒，那么這實(shí)際上將會(huì)改變你的業(yè)務(wù)流程。它們將讓你成為一名效率極高的業(yè)務(wù)分析師。”

他表示，有了大數(shù)據(jù)技術(shù)，公司在幾秒中內(nèi)就能夠回應(yīng)遇到的問題，而不是花上幾天甚至幾個(gè)月的時(shí)間。反過(guò)來(lái)，這種提升能夠讓公司回應(yīng)那些難以進(jìn)行分析、開發(fā)測(cè)試和流程學(xué)習(xí)但又要快速適應(yīng)市場(chǎng)、讓復(fù)雜的工作流實(shí)現(xiàn)自動(dòng)化的問題。

不過(guò)，要想充分利用響應(yīng)時(shí)間縮短所帶來(lái)的優(yōu)勢(shì)還需要一個(gè)嚴(yán)謹(jǐn)?shù)牧鞒?。大?shù)據(jù)與傳統(tǒng)分析解決方案之間的關(guān)系應(yīng)當(dāng)定義清楚和從屬關(guān)系明確，因?yàn)樗鼈兪侵朴喠鞒痰幕A(chǔ)。

大數(shù)據(jù)、分析法與組織調(diào)整

報(bào)告指出“傳統(tǒng)分析法與大數(shù)據(jù)之間的區(qū)別，以及它們?cè)谄髽I(yè)內(nèi)部分別承擔(dān)的組織責(zé)任在以前就已經(jīng)展開了多次討論。不過(guò)，調(diào)查顯示傳統(tǒng)分析法與大數(shù)據(jù)正變得越來(lái)越錯(cuò)綜復(fù)雜。它們必須要協(xié)同工作才能發(fā)揮大數(shù)據(jù)的預(yù)期效果。未來(lái)，在IT部門和業(yè)務(wù)部門之間打破組織界限進(jìn)行更為緊密的整合將成為公司制訂成功的大數(shù)據(jù)策略的關(guān)鍵一步。”

報(bào)告稱“數(shù)據(jù)管理和分析通常由公司中不同的部門負(fù)責(zé)。”“IT部門通?？刂浦鴶?shù)據(jù)，而分析則由公司中一個(gè)特殊的團(tuán)隊(duì)或部門負(fù)責(zé)。這完全違背了大數(shù)據(jù)的原則。調(diào)查顯示，這些公司已經(jīng)認(rèn)識(shí)到進(jìn)行緊密整合的必要性。65%的受訪者認(rèn)為，大數(shù)據(jù)是數(shù)據(jù)管理的主要部分。68%的受訪者表示，大數(shù)據(jù)是高級(jí)分析工具的一部分。”

NewVantage總結(jié)認(rèn)為，打破IT與業(yè)務(wù)部門之間的界限，將傳統(tǒng)分析法與大數(shù)據(jù)進(jìn)行整合是一次重大飛越，而這一飛越正是實(shí)現(xiàn)以大數(shù)據(jù)促進(jìn)業(yè)務(wù)發(fā)展這一機(jī)構(gòu)創(chuàng)新的一個(gè)早期關(guān)鍵性舉措。

報(bào)告稱“將實(shí)時(shí)完整的分析功能整合到業(yè)務(wù)和運(yùn)營(yíng)部門中能夠讓公司對(duì)關(guān)鍵的業(yè)務(wù)問題和挑戰(zhàn)做出快速響應(yīng)，從而為公司建立起競(jìng)爭(zhēng)優(yōu)勢(shì)，幫助公司提升業(yè)績(jī)。”

Barth 稱：“根據(jù)數(shù)據(jù)和數(shù)據(jù)質(zhì)量，我們將它們分為金銀銅三個(gè)不同的等級(jí)。存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)為金質(zhì)數(shù)據(jù)。當(dāng)你查詢這些金質(zhì)數(shù)據(jù)時(shí)，你知道這些數(shù)據(jù)已經(jīng)被處理完畢。但是如果獲取的數(shù)據(jù)為原始形式，并且在一周或一個(gè)月內(nèi)才能夠提供給我時(shí)，情況會(huì)是怎么樣，如果你將所有的數(shù)據(jù)都放在一個(gè)地方，并且基本上沒有對(duì)它們進(jìn)行梳理，情況又會(huì)怎么樣?在進(jìn)行充分提煉之前這些數(shù)據(jù)非常有用。”

與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)不同，大數(shù)據(jù)平臺(tái)允許分析師有選擇性地組織、清理和整合數(shù)據(jù)，忽視那些目前不是分析重點(diǎn)的記錄和字段。這樣可以擺脫數(shù)據(jù)倉(cāng)庫(kù)，避免將大量的精力放在了數(shù)據(jù)工程上。NewVantage指出，通過(guò)推遲整個(gè)數(shù)據(jù)工程，大數(shù)據(jù)平臺(tái)在面向發(fā)現(xiàn)的分析過(guò)程中提升了響應(yīng)速度，同時(shí)無(wú)需對(duì)那些無(wú)法提供價(jià)值的數(shù)據(jù)進(jìn)行工程分析。

Barth稱，這大數(shù)據(jù)平臺(tái)變成了一個(gè)，而且是非常重要的一個(gè)數(shù)據(jù)生態(tài)圈。雖然這個(gè)生態(tài)圈是建立在已知的東西上面，但是這個(gè)生態(tài)圈的設(shè)計(jì)目的是不斷從客戶、市場(chǎng)、產(chǎn)品和風(fēng)險(xiǎn)中尋找新的洞察力。換句話說(shuō)，就是通過(guò)“已經(jīng)的”、健康的持續(xù)改良模式中尋找“新”的東西。#p# 

創(chuàng)建一個(gè)大數(shù)據(jù)生態(tài)圈

我們可以這樣理解：無(wú)論是來(lái)自大數(shù)據(jù)還是傳統(tǒng)分析法，重要的是提供了一個(gè)有價(jià)值的答案。Barth稱，答案的價(jià)值在于其準(zhǔn)確性和速度。要想迅速獲得準(zhǔn)確的答案，重要的是問對(duì)問題。

Barth 稱：“大數(shù)據(jù)的技巧是與發(fā)現(xiàn)和原因結(jié)合起來(lái)。當(dāng)你正在探尋你完全不知道的東西時(shí)，分析中的一個(gè)階段是探索與發(fā)現(xiàn)。在這當(dāng)中你能夠進(jìn)行一些假設(shè)，然后建模與開發(fā)應(yīng)用。在我看來(lái)，在理解了基礎(chǔ)的分析法和問題的相關(guān)性后，傳統(tǒng)的商業(yè)智能實(shí)際上能夠繼續(xù)派上用場(chǎng)。在你處于還不理解它們的階段，即發(fā)現(xiàn)階段中，大數(shù)據(jù)非常有用。”

NewVantage指出在回答復(fù)雜的商業(yè)問題時(shí)存在七個(gè)步驟：

搞清楚問題和所需答案的類型;創(chuàng)建商業(yè)案例

確定所需數(shù)據(jù)和分析方法

數(shù)據(jù)來(lái)源

梳理、標(biāo)準(zhǔn)化與整合數(shù)據(jù)

分析數(shù)據(jù)

驗(yàn)證結(jié)果

呈現(xiàn)或運(yùn)用答案;評(píng)估結(jié)果

NewVantage稱，公司通常將80%以上的精力花在了第三步和第四步上。但是大數(shù)據(jù)解決方案提供了完成這些步驟的新方法。

首先，由于大數(shù)據(jù)平臺(tái)成本相對(duì)較低且容量大，公司能夠加載來(lái)自源系統(tǒng)的所有數(shù)據(jù)，而不是針對(duì)手邊的問題有選擇地選取特定數(shù)據(jù)。

NewVantage 稱：“盡管這看起來(lái)非常浪費(fèi)時(shí)間，但是這消除了兩個(gè)重要的延遲：為選取所需數(shù)據(jù)編寫程序，在出現(xiàn)新的問題以及需要新數(shù)據(jù)時(shí)多次往返于源系統(tǒng)。創(chuàng)建傳統(tǒng)的數(shù)據(jù)集市和數(shù)據(jù)倉(cāng)庫(kù)異常復(fù)雜且成本高昂。開源解決方案的廣闊性加上靈活可擴(kuò)展的網(wǎng)格系統(tǒng)共同創(chuàng)建了一個(gè)環(huán)境。這個(gè)環(huán)境不僅能夠促進(jìn)降低成本，同時(shí)也為大幅降低查詢次數(shù)提供了可能性。”

例如，一家大型金融服務(wù)公司希望通過(guò)多種渠道對(duì)客戶進(jìn)行分析以搞清楚促進(jìn)銷售的要素和導(dǎo)致消耗的原因。為了實(shí)現(xiàn)這一目標(biāo)，公司需要綜合六個(gè)月的階段性數(shù)據(jù)和其它渠道的數(shù)據(jù)。公司首先會(huì)嘗試通過(guò)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)提取數(shù)萬(wàn)行的SQL代碼。不過(guò)，公司很快就發(fā)現(xiàn)到他們只能訪問六天的數(shù)據(jù)，而不是六個(gè)月的數(shù)據(jù)。在意識(shí)到這一努力需要花費(fèi)數(shù)周時(shí)間后，公司會(huì)放棄這一嘗試。

“在大數(shù)據(jù)環(huán)境中，他們用不了100行代碼就可以編寫和運(yùn)行相關(guān)程序。在處理數(shù)百太的階段數(shù)據(jù)時(shí)，運(yùn)行時(shí)間不會(huì)超過(guò)24小時(shí)。他們只是想知道他們的客戶在他們自己的渠道中正在做什么。這實(shí)際上為他們的銀行運(yùn)行方式添加了可視性。”

但是關(guān)鍵是后繼步驟。一旦你明白你所看到的東西，你就能夠開發(fā)出一個(gè)可以解釋它們的模型以及找出評(píng)估執(zhí)行力的指標(biāo)。這時(shí)就需要傳統(tǒng)的商業(yè)智能了。

NewVantage 稱：“‘新的’和‘已知的’這兩個(gè)概念并非是相互孤立的。它們是一個(gè)相互聯(lián)系相互促進(jìn)的共生系統(tǒng)。‘新’分析需要快速訪問所有能夠展示當(dāng)前業(yè)務(wù)實(shí)情的‘已知’數(shù)據(jù)。同時(shí)還必須要有一個(gè)能夠以新洞察力、數(shù)據(jù)和模型推動(dòng)‘已知’東西繼續(xù)發(fā)展的嚴(yán)謹(jǐn)方法。如果沒有這種聯(lián)系，那么系統(tǒng)將變得雜亂或零散。”

此外，該公司還指出“Hadoop、Cloudera、數(shù)據(jù)庫(kù)工具、加速器以及自覺和遺傳算法等新興技術(shù)和方法能夠大幅提升響應(yīng)速度。”