[[333058]]

什么是大數(shù)據(jù)

大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專(zhuān)業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。

隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)(Big data)也吸引了越來(lái)越多的關(guān)注。分析師團(tuán)隊(duì)認(rèn)為，大數(shù)據(jù)(Big data)通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)過(guò)多時(shí)間和金錢(qián)。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。

大數(shù)據(jù)的意義

現(xiàn)在的社會(huì)是一個(gè)高速發(fā)展的社會(huì)，科技發(fā)達(dá)，信息流通，人們之間的交流越來(lái)越密切，生活也越來(lái)越方便，大數(shù)據(jù)就是這個(gè)高科技時(shí)代的產(chǎn)物。

阿里巴巴創(chuàng)辦人馬云來(lái)臺(tái)演講中就提到，未來(lái)的時(shí)代將不是IT時(shí)代，而是DT的時(shí)代，DT就是Data Technology數(shù)據(jù)科技，顯示大數(shù)據(jù)對(duì)于阿里巴巴集團(tuán)來(lái)說(shuō)舉足輕重。

有人把數(shù)據(jù)比喻為蘊(yùn)藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無(wú)煙煤、肥煤、貧煤等分類(lèi)，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類(lèi)似，大數(shù)據(jù)并不在“大”，而在于“有用”。價(jià)值含量、挖掘成本比數(shù)量更為重要。對(duì)于很多行業(yè)而言，如何利用這些大規(guī)模數(shù)據(jù)是贏得競(jìng)爭(zhēng)的關(guān)鍵。

大數(shù)據(jù)的價(jià)值體現(xiàn)在以下幾個(gè)方面：

• 對(duì)大量消費(fèi)者提供產(chǎn)品或服務(wù)的企業(yè)可以利用大數(shù)據(jù)進(jìn)行精準(zhǔn)營(yíng)銷(xiāo)
•  做小而美模式的中小微企業(yè)可以利用大數(shù)據(jù)做服務(wù)轉(zhuǎn)型
• 面臨互聯(lián)網(wǎng)壓力之下必須轉(zhuǎn)型的傳統(tǒng)企業(yè)需要與時(shí)俱進(jìn)充分利用大數(shù)據(jù)的價(jià)值

大數(shù)據(jù)就業(yè)方向

大數(shù)據(jù)主要有三個(gè)就業(yè)方向，大數(shù)據(jù)系統(tǒng)研發(fā)類(lèi)人才、大數(shù)據(jù)應(yīng)用開(kāi)發(fā)類(lèi)人才和大數(shù)據(jù)分析類(lèi)人才。

在此三大方向中，各自的基礎(chǔ)崗位一般為大數(shù)據(jù)系統(tǒng)研發(fā)工程師、大數(shù)據(jù)應(yīng)用開(kāi)發(fā)工程師和數(shù)據(jù)分析師。又可分為以下十大職位：

一、ETL研發(fā)

ETL研發(fā)，主要負(fù)責(zé)將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。

二、Hadoop開(kāi)發(fā)

Hadoop的核心是HDFS和MapReduce.HDFS提供了海量數(shù)據(jù)的存儲(chǔ)，MapReduce提供了對(duì)數(shù)據(jù)的計(jì)算。隨著數(shù)據(jù)集規(guī)模不斷增大，而傳統(tǒng)BI的數(shù)據(jù)處理成本過(guò)高，企業(yè)對(duì)Hadoop及相關(guān)的廉價(jià)數(shù)據(jù)處理技術(shù)如Hive、HBase、MapReduce、Pig等的需求將持續(xù)增長(zhǎng)。

三、可視化(前端展現(xiàn))工具開(kāi)發(fā)

可視化開(kāi)發(fā)就是在可視開(kāi)發(fā)工具提供的圖形用戶(hù)界面上，通過(guò)操作界面元素，由可視開(kāi)發(fā)工具自動(dòng)生成應(yīng)用軟件。還可輕松跨越多個(gè)資源和層次連接您的所有數(shù) 據(jù)，經(jīng)過(guò)時(shí)間考驗(yàn)，完全可擴(kuò)展的，功能豐富全面的可視化組件庫(kù)為開(kāi)發(fā)人員提供了功能完整并且簡(jiǎn)單易用的組件集合，以用來(lái)構(gòu)建極其豐富的用戶(hù)界面。

四、信息架構(gòu)開(kāi)發(fā)

大數(shù)據(jù)重新激發(fā)了主數(shù)據(jù)管理的熱潮。充分開(kāi)發(fā)利用企業(yè)數(shù)據(jù)并支持決策需要非常專(zhuān)業(yè)的技能。信息架構(gòu)師必須了解如何定義和存檔關(guān)鍵元素，確保以最有效的方式進(jìn)行數(shù)據(jù)管理和利用。信息架構(gòu)師的關(guān)鍵技能包括主數(shù)據(jù)管理、業(yè)務(wù)知識(shí)和數(shù)據(jù)建模等。

五、數(shù)據(jù)倉(cāng)庫(kù)研究

數(shù)據(jù)倉(cāng)庫(kù)的專(zhuān)家熟悉Teradata、Neteeza和Exadata等公司的大數(shù)據(jù)一體機(jī)。能夠在這些一體機(jī)上完成數(shù)據(jù)集成、管理和性能優(yōu)化等工作。

六、OLAP開(kāi)發(fā)

OLAP在線聯(lián)機(jī)分析開(kāi)發(fā)者，負(fù)責(zé)將數(shù)據(jù)從關(guān)系型或非關(guān)系型數(shù)據(jù)源中抽取出來(lái)建立模型，然后創(chuàng)建數(shù)據(jù)訪問(wèn)的用戶(hù)界面，提供高性能的預(yù)定義查詢(xún)功能。

七、數(shù)據(jù)科學(xué)研究

數(shù)據(jù)科學(xué)家是分析師、藝術(shù)家的合體，需要具備多種交叉科學(xué)和商業(yè)技能。

八、數(shù)據(jù)預(yù)測(cè)(數(shù)據(jù)挖掘)分析

營(yíng)銷(xiāo)部門(mén)經(jīng)常使用預(yù)測(cè)分析預(yù)測(cè)用戶(hù)行為或鎖定目標(biāo)用戶(hù)。預(yù)測(cè)分析開(kāi)發(fā)者有些場(chǎng)景看上有有些類(lèi)似數(shù)據(jù)科學(xué)家，即在企業(yè)歷史數(shù)據(jù)的基礎(chǔ)上通過(guò)假設(shè)來(lái)測(cè)試閾值并預(yù)測(cè)未來(lái)的表現(xiàn)。

九、企業(yè)數(shù)據(jù)管理

企業(yè)要提高數(shù)據(jù)質(zhì)量必須考慮進(jìn)行數(shù)據(jù)管理，并需要為此設(shè)立數(shù)據(jù)管家職位，這一職位的人員需要能夠利用各種技術(shù)工具匯集企業(yè)周?chē)拇罅繑?shù)據(jù)，并將數(shù)據(jù)清洗 和規(guī)范化，將數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)中，成為一個(gè)可用的版本。然后，通過(guò)報(bào)表和分析技術(shù)，數(shù)據(jù)被切片、切塊，并交付給成千上萬(wàn)的人。擔(dān)當(dāng)數(shù)據(jù)管家的人，需要保證 市場(chǎng)數(shù)據(jù)的完整性，準(zhǔn)確性，唯一性，真實(shí)性和不冗余。

十、數(shù)據(jù)安全研究

數(shù)據(jù)安全這一職位，主要負(fù)責(zé)企業(yè)內(nèi)部大型服務(wù)器、存儲(chǔ)、數(shù)據(jù)安全管理工作，并對(duì)網(wǎng)絡(luò)、信息安全項(xiàng)目進(jìn)行規(guī)劃、設(shè)計(jì)和實(shí)施。數(shù)據(jù)安全研究員還需要具有較強(qiáng)的管理經(jīng)驗(yàn)，具備運(yùn)維管理方面的知識(shí)和能力，對(duì)企業(yè)傳統(tǒng)業(yè)務(wù)有較深刻的理解，才能確保企業(yè)數(shù)據(jù)安全做到一絲不漏。

大數(shù)據(jù)人才發(fā)展前景

1. 人才缺口

全球最頂尖管理咨詢(xún)公司麥肯錫(McKinsey)出具的一份詳細(xì)分析報(bào)告顯示，大數(shù)據(jù)或者數(shù)據(jù)工作者的崗位需求將激增，其中大數(shù)據(jù)科學(xué)家的缺口在14萬(wàn)到19萬(wàn)之間，對(duì)于懂得如何利用大數(shù)據(jù)做決策的分析師和經(jīng)理的崗位缺口則將達(dá)到150萬(wàn)!

2. 就業(yè)薪水

根據(jù)調(diào)查，目前北京地區(qū)大數(shù)據(jù)人才的平均工資為13680，月薪在15K以上的占41.4%。月薪6k-10k的占52.1%。