最近看到亞馬遜***次單獨(dú)公布AWS財(cái)報(bào)，一年?duì)I收57億美元，市場份額占比***。混合云市場，2014年，IBM以綜合的IT能力，收入70億奪魁。云計(jì)算喊了這么多年，不知不覺已經(jīng)變成了幾十億美元的大生意。云計(jì)算時(shí)代真的來了!

今天不是來說AWS的，說說大數(shù)據(jù)怎么上云的一些思考：

1、首先說說，大數(shù)據(jù)和云的關(guān)系，云是一種網(wǎng)絡(luò)形態(tài)的概念，是繼1980年代大型計(jì)算機(jī)到客戶端-服務(wù)器的大轉(zhuǎn)變之后的又一種巨變。云計(jì)算(Cloud Computing)是分布式計(jì)算(Distributed Computing)、并行計(jì)算(Parallel Computing)、效用計(jì)算(Utility Computing)、網(wǎng)絡(luò)存儲(Network Storage Technologies)、虛擬化(Virtualization)、負(fù)載均衡(Load Balance)、熱備份冗余(High Available)等傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。除了技術(shù)上的融合形態(tài)，更重要的體現(xiàn)了一種服務(wù)模式的一種融合和改變，對于云來說，大數(shù)據(jù)只是上面的一種服務(wù)，和其他的web服務(wù)，數(shù)據(jù)庫服務(wù)沒有區(qū)別。

2、I層(云的基礎(chǔ)設(shè)施)現(xiàn)在業(yè)界最火的方案是OpenStack，OpenStack是一個(gè)由NASA(美國國家航空航天局)和Rackspace合作研發(fā)并發(fā)起的，以Apache許可證授權(quán)的自由軟件和開放源代碼項(xiàng)目。

OpenStack是一個(gè)開源的云計(jì)算管理平臺項(xiàng)目，由幾個(gè)主要的組件組合起來完成具體工作。OpenStack支持幾乎所有類型的云環(huán)境，項(xiàng)目目標(biāo)是提供實(shí)施簡單、可大規(guī)模擴(kuò)展、豐富、標(biāo)準(zhǔn)統(tǒng)一的云計(jì)算管理平臺。OpenStack通過各種互補(bǔ)的服務(wù)提供了基礎(chǔ)設(shè)施即服務(wù)(IaaS)的解決方案，每個(gè)服務(wù)提供API以進(jìn)行集成。

OpenStack云計(jì)算平臺，幫助服務(wù)商和企業(yè)內(nèi)部實(shí)現(xiàn)類似于 Amazon EC2 和 S3 的云基礎(chǔ)架構(gòu)服務(wù)(Infrastructure as a Service, IaaS)。OpenStack 包含兩個(gè)主要模塊：Nova 和 Swift，前者是 NASA 開發(fā)的虛擬服務(wù)器部署和業(yè)務(wù)計(jì)算模塊;后者是 Rackspace開發(fā)的分布式云存儲模塊，兩者可以一起用，也可以分開單獨(dú)用。OpenStack除了有 Rackspace 和 NASA 的大力支持外，還有包括 Dell、Citrix、 Cisco、 Canonical等重量級公司的貢獻(xiàn)和支持，發(fā)展速度非常快。

在云環(huán)境中，Openstack解決了I層的問題，所有物理資源的管理和分配由I層來負(fù)責(zé)。

3、正是因?yàn)镮層將資源和存儲進(jìn)行了虛擬化然后對上提供，大數(shù)據(jù)上云***的兩個(gè)問題是資源管理和數(shù)據(jù)存儲。同時(shí)大數(shù)據(jù)又是重載的業(yè)務(wù)，對資源的需求非常高，因此需要大數(shù)據(jù)和openstack充分配合，大數(shù)據(jù)上云才能運(yùn)行的好。

4、傳統(tǒng)數(shù)據(jù)中心，大數(shù)據(jù)集群的資源管理和分配目前主要的方案是mesos/YARN.

從上圖大家可以看出，Mesos/YARN來對物理資源直接進(jìn)行管理，然后分配給上層的組件使用。 資源隔離方面，docker方案發(fā)展很快，所以又有YARN和kubernets結(jié)合的方案。PaaS作為一個(gè)服務(wù)直接架在YARN上。在沒有直接I層能力的情況下，應(yīng)該是非常合適的一種的過渡方案，但是如果YARN管理的不是直接的物理資源，而是I層虛擬出來的VM/docker之類，mesos/YARN和I層的能力就出現(xiàn)了一定的重合和沖突，這個(gè)時(shí)候mesos/YARN應(yīng)該把VM/Docker級資源管理和分配的能力釋放給I層，聚焦于job級資源的分配和調(diào)度。此時(shí)PaaS在架構(gòu)在YARN/MESOS上就非常多余。

5、對于存儲存在同樣的問題，HDFS是對物理硬盤的直接抽象成對象存儲，并提供3份冗余來保障數(shù)據(jù)的可靠性。云上的I層對存儲通常也會抽象，并且進(jìn)行一定的冗余，來動態(tài)分配給上層應(yīng)用。HDFS直接架在I層上，就存在反復(fù)冗余的問題。同時(shí)大數(shù)據(jù)的核心是對數(shù)據(jù)的處理，數(shù)據(jù)存儲的位置對性能起到非常關(guān)鍵的作用，多層反復(fù)虛擬化之后，數(shù)據(jù)存儲的不確定性，性能損耗非常大。因此I層***將物理硬盤直接提供出來給大數(shù)據(jù)服務(wù)可見，讓用數(shù)據(jù)的人直接管理數(shù)據(jù)效率***。