云計算技術就是一個容器，大數據正是存放在這個容器中的水，大數據是要依靠云計算技術來進行存儲和計算的。

[[171488]]

1、云計算與大數據是什么關系?

云計算的關鍵詞在于“整合”，無論你是通過現在已經很成熟的傳統(tǒng)的虛擬機切分型技術，還是通過google后來所使用的海量節(jié)點聚合型技術，他都是通過將海量的服務器資源通過網絡進行整合，調度分配給用戶，從而解決用戶因為存儲計算資源不足所帶來的問題。

大數據正是因為數據的爆發(fā)式增長帶來的一個新的課題內容，如何存儲如今互聯網時代所產生的海量數據，如何有效的利用分析這些數據等等。

他倆之間的關系你可以這樣來理解，云計算技術就是一個容器，大數據正是存放在這個容器中的水，大數據是要依靠云計算技術來進行存儲和計算的。

兩者關系：

首先，云計算是提取大數據的前提。

信息社會，數據量在不斷增長，技術在不斷進步，大部分企業(yè)都能通過大數據獲得額外利益。在海量數據的前提下，如果提取、處理和利用數據的成本超過了數據價值本身，那么有價值相當于沒價值。來自公有云、私有云以及混合云之上的強大的云計算能力，對于降低數據提取過程中的成本不可或缺。

其次，云計算是過濾無用信息的“神器”.

首次收集的數據中，一般而言，90%屬于無用數據，因此需要過濾出能為企業(yè)提供經濟利益的可用數據。在大量無用數據中，重點需過濾出兩大類，一是大量存儲著的臨時信息，幾乎不存在投入必要;二是從公司防火墻外部接入到內部的網絡數據，價值極低。云計算可以提供按需擴展的計算和存儲資源，可用來過濾掉無用數據，其中公有云是處理防火墻外部網絡數據的最佳選擇。

再次，云計算可高效分析數據。

數據分析階段，可引入公有云和混合云技術，此外，類似Hadoop的分布式處理軟件平臺可用于數據集中處理階段。當完成數據分析后，提供分析的原始數據不需要一直保留，可以使用私有云把分析處理結果，即可用信息導入公司內部。

最后，云計算助力企業(yè)管理虛擬化。

可用信息最終用來指導決策，通過將軟件即服務應用于云平臺中，可將可用信息轉化到企業(yè)現有系統(tǒng)中，幫助企業(yè)強化管理模式。

上升到我國互聯網整體發(fā)展層面，雖然我國在互聯網服務方面具有領先的優(yōu)勢，然而，越來越多的企業(yè)認識到，與云計算的結合將使大數據分析變得更簡單，未來幾年，如能在大數據與云計算結合領域進行深入探索，將使我們在全球市場更具競爭力，這是非常關鍵的問題。

2、大數據需要什么人才?

大數據需要以下六類人才：

(1)大數據系統(tǒng)研發(fā)工程師

這一專業(yè)人才負責大數據系統(tǒng)研發(fā)，包括大規(guī)模非結構化數據業(yè)務模型構建、大數據存儲、數據庫構設、優(yōu)化數據庫構架、解決數據庫中心設計等，同時，還要負責數據集群的日常運作和系統(tǒng)的監(jiān)測等，這一類人才是任何構設大數據系統(tǒng)的機構都必須的。

(2)大數據應用開發(fā)工程師

此類人才負責搭建大數據應用平臺以及開發(fā)分析應用程序，他們必須熟悉工具或算法、編程、優(yōu)化以及部署不同的MapReduce，他們研發(fā)各種基于大數據技術的應用程序及行業(yè)解決方案。其中，ETL開發(fā)者是很搶手的人才，他們所做的是從不同的源頭抽取數據，轉換并導入數據倉庫以滿足企業(yè)的需要，將分散的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數據倉庫，成為聯機分析處理、數據挖掘的基礎，為提取各類型的需要數據創(chuàng)造條件。

(3)大數據分析師

此類人才主要從事數據挖掘工作，運用算法來解決和分析問題，讓數據顯露出真相，同時，他們還推動數據解決方案的不斷更新。隨著數據集規(guī)模不斷增大，企業(yè)對Hadoop及相關的廉價數據處理技術如Hive、HBase、MapReduce、Pig等的需求將持續(xù)增長，具備Hadoop框架經驗的技術人員是最搶手的大數據人才，他們所從事的是熱門的分析師工作。

(4)數據可視化工程師

此類人才負責在收集到的高質量數據中，利用圖形化的工具及手段的應用，清楚地揭示數據中的復雜信息，幫助用戶更好地進行大數據應用開發(fā)，如果能使用新型數據可視化工具如Spotifre，Qlikview和Tableau，那么，就成為很受歡迎的人才。

(5)數據安全研發(fā)人才

此類人才主要負責企業(yè)內部大型服務器、存儲、數據安全管理工作，并對網絡、信息安全項目進行規(guī)劃、設計和實施，而對于數據安全方面的具體技術的人才就更需要了，如果數據安全技術，同時又具有較強的管理經驗，能有效地保證大數據構設和應用單位的數據安全，那就是搶手的人才

(6)數據科學研究人才

數據科學研究是一個全新的工作，夠將單位、企業(yè)的數據和技術轉化為有用的商業(yè)價值，隨著大數據時代的到來，越來越多的工作、事務直接涉及或針對數據，這就需要有數據科學方面的研究專家來進行研究，通過研究，他們能將數據分析結果解釋給IT部門和業(yè)務部門管理者聽，數據科學專家是聯通海量數據和管理者之間的橋梁，需要有數據專業(yè)、分析師能力和管理者的知識，這也是搶手的人才。

3、大數據行業(yè)的從業(yè)者是從哪獲得數據的?

大數據行業(yè)的從業(yè)者有多種途徑獲得數據，也就是我們常說的數據源，具體有一下幾種：

(1)數據(政府部門或企業(yè)直接提供的數據或數據接口);

(2)半數據：如各類行業(yè)協(xié)會，俱樂部;

(3)各個平臺的數據：如淘寶網、京東、唯品會，有些會免費開發(fā)數據，還有一部分是付費的數據軟件;

(4)再然后就是從業(yè)者自己收集的數據，一般都是用一些數據采集工具或軟件，工具如：爬蟲軟件，百度蜘蛛等;

(5)最后就是購買的數據，一般有一些專門數據采集的機構，像像艾瑞、浪潮，以及傳統(tǒng)的調研企業(yè)。

數據的獲取方式有很多種，同樣，數據的使用方式也有很多種，比如說行業(yè)銷售趨勢，有人用銷售額數據，有人用銷量數據。數據就像一個任人打扮的姑娘，使用的人會選取自己想要的數據來展示，所以考量數據的真實性，一個是數據來源，還有就是數據的選擇是否合理。

4、大數據分析的常用方法有哪些?

(1)AnalyticVisualizations(可視化分析)

不管是對數據分析專家還是普通用戶，數據可視化是數據分析工具最基本的要求?？梢暬梢灾庇^的展示數據，讓數據自己說話，讓觀眾聽到結果。

(2)DataMiningAlgorithms(數據挖掘算法)

可視化是給人看的，數據挖掘就是給機器看的。集群、分割、孤立點分析還有其他的算法讓我們深入數據內部，挖掘價值。這些算法不僅要處理大數據的量，也要處理大數據的速度。

(3)PredictiveAnalyticCapabilities(預測性分析能力)

數據挖掘可以讓分析員更好的理解數據，而預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷。

(4)SemanticEngines(語義引擎)

由于非結構化數據的多樣性帶來了數據分析的新的挑戰(zhàn)，需要一系列的工具去解析，提取，分析數據。語義引擎需要被設計成能夠從“文檔”中智能提取信息。

(5)DataQualityandMasterDataManagement(數據質量和數據管理)

數據質量和數據管理是一些管理方面的最佳實踐。通過標準化的流程和工具對數據進行處理可以保證一個預先定義好的高質量的分析結果。