最近看到亞馬遜***次單獨公布AWS財報，一年營收57億美元，市場份額占比***?；旌显剖袌?，2014年，IBM以綜合的IT能力，收入70億奪魁。云計算喊了這么多年，不知不覺已經(jīng)變成了幾十億美元的大生意。云計算時代真的來了!

今天不是來說AWS的，說說大數(shù)據(jù)怎么上云的一些思考：

1、首先說說，大數(shù)據(jù)和云的關(guān)系，云是一種網(wǎng)絡(luò)形態(tài)的概念，是繼1980年代大型計算機到客戶端-服務(wù)器的大轉(zhuǎn)變之后的又一種巨變。云計算(Cloud Computing)是分布式計算(Distributed Computing)、并行計算(Parallel Computing)、效用計算(Utility Computing)、網(wǎng)絡(luò)存儲(Network Storage Technologies)、虛擬化(Virtualization)、負載均衡(Load Balance)、熱備份冗余(High Available)等傳統(tǒng)計算機和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。除了技術(shù)上的融合形態(tài)，更重要的體現(xiàn)了一種服務(wù)模式的一種融合和改變，對于云來說，大數(shù)據(jù)只是上面的一種服務(wù)，和其他的web服務(wù)，數(shù)據(jù)庫服務(wù)沒有區(qū)別。

2、I層(云的基礎(chǔ)設(shè)施)現(xiàn)在業(yè)界最火的方案是OpenStack，OpenStack是一個由NASA(美國國家航空航天局)和Rackspace合作研發(fā)并發(fā)起的，以Apache許可證授權(quán)的自由軟件和開放源代碼項目。

OpenStack是一個開源的云計算管理平臺項目，由幾個主要的組件組合起來完成具體工作。OpenStack支持幾乎所有類型的云環(huán)境，項目目標是提供實施簡單、可大規(guī)模擴展、豐富、標準統(tǒng)一的云計算管理平臺。OpenStack通過各種互補的服務(wù)提供了基礎(chǔ)設(shè)施即服務(wù)(IaaS)的解決方案，每個服務(wù)提供API以進行集成。

OpenStack云計算平臺，幫助服務(wù)商和企業(yè)內(nèi)部實現(xiàn)類似于 Amazon EC2 和 S3 的云基礎(chǔ)架構(gòu)服務(wù)(Infrastructure as a Service, IaaS)。OpenStack 包含兩個主要模塊：Nova 和 Swift，前者是 NASA 開發(fā)的虛擬服務(wù)器部署和業(yè)務(wù)計算模塊;后者是 Rackspace開發(fā)的分布式云存儲模塊，兩者可以一起用，也可以分開單獨用。OpenStack除了有 Rackspace 和 NASA 的大力支持外，還有包括 Dell、Citrix、 Cisco、 Canonical等重量級公司的貢獻和支持，發(fā)展速度非?？?。

在云環(huán)境中，Openstack解決了I層的問題，所有物理資源的管理和分配由I層來負責。

3、正是因為I層將資源和存儲進行了虛擬化然后對上提供，大數(shù)據(jù)上云***的兩個問題是資源管理和數(shù)據(jù)存儲。同時大數(shù)據(jù)又是重載的業(yè)務(wù)，對資源的需求非常高，因此需要大數(shù)據(jù)和openstack充分配合，大數(shù)據(jù)上云才能運行的好。

4、傳統(tǒng)數(shù)據(jù)中心，大數(shù)據(jù)集群的資源管理和分配目前主要的方案是mesos/YARN.

從上圖大家可以看出，Mesos/YARN來對物理資源直接進行管理，然后分配給上層的組件使用。 資源隔離方面，docker方案發(fā)展很快，所以又有YARN和kubernets結(jié)合的方案。PaaS作為一個服務(wù)直接架在YARN上。在沒有直接I層能力的情況下，應(yīng)該是非常合適的一種的過渡方案，但是如果YARN管理的不是直接的物理資源，而是I層虛擬出來的VM/docker之類，mesos/YARN和I層的能力就出現(xiàn)了一定的重合和沖突，這個時候mesos/YARN應(yīng)該把VM/Docker級資源管理和分配的能力釋放給I層，聚焦于job級資源的分配和調(diào)度。此時PaaS在架構(gòu)在YARN/MESOS上就非常多余。

5、對于存儲存在同樣的問題，HDFS是對物理硬盤的直接抽象成對象存儲，并提供3份冗余來保障數(shù)據(jù)的可靠性。云上的I層對存儲通常也會抽象，并且進行一定的冗余，來動態(tài)分配給上層應(yīng)用。HDFS直接架在I層上，就存在反復冗余的問題。同時大數(shù)據(jù)的核心是對數(shù)據(jù)的處理，數(shù)據(jù)存儲的位置對性能起到非常關(guān)鍵的作用，多層反復虛擬化之后，數(shù)據(jù)存儲的不確定性，性能損耗非常大。因此I層***將物理硬盤直接提供出來給大數(shù)據(jù)服務(wù)可見，讓用數(shù)據(jù)的人直接管理數(shù)據(jù)效率***。