【51CTO.com原創(chuàng)稿件】目前，OpenStack 私有云應用在經(jīng)過了長時間的技術(shù)累積和市場培養(yǎng)之后，產(chǎn)品的成熟度和客戶的認可度都已邁入成熟。雖然基于OpenStack的云環(huán)境部署量越來越多，但是很多OpenStack云環(huán)境并不提供大數(shù)據(jù)服務，比如類似AWS的Elastic MapReduce，再比如面向大數(shù)據(jù)的SQL，支持OLAP等等。與此同時，隨著用戶業(yè)務逐步實現(xiàn)了云遷移，在云上部署大數(shù)據(jù)系統(tǒng)的需求已經(jīng)日益常見和迫切。

2018年5月18-19日，由51CTO主辦的全球軟件與運維技術(shù)峰會在北京召開。在第二日上午舉行的“OpenStack創(chuàng)新實戰(zhàn)”分論壇中，OStorage (奧思數(shù)據(jù))創(chuàng)始人兼CTO李明宇為大家?guī)眍}為《在OpenStack云上運行大數(shù)據(jù)系統(tǒng)：問題、方法與實踐》的精彩演講，針對如何在OpenStack云環(huán)境上運行大數(shù)據(jù)系統(tǒng)，在實際運行過程中常見的問題，以及如何利用對象存儲解決這些問題展開了闡述。會后，51CTO記者根據(jù)李明宇在WOT2018全球軟件與運維技術(shù)峰會的演講內(nèi)容進行了整理。

在OpenStack環(huán)境上運行大數(shù)據(jù)系統(tǒng)的兩種方法

李明宇之前在中科院軟件所工作，除了科學研究外，他著重解決實際工程問題，帶領團隊承擔分布式和云計算系統(tǒng)的相關(guān)研發(fā)工作。離開中科院后，李明宇一直致力于OpenStack等云計算和大數(shù)據(jù)相關(guān)開源技術(shù)的研究和傳播，為企業(yè)提供咨詢、評測等技術(shù)服務。

他演講中談到，OpenStack是一個大體系里包含很多的小的開源項目，其中有六個核心項目人們最為熟知：管理虛機的Nova、管理網(wǎng)絡的Neutron、云硬盤的Cinder、認證的Keystone以及鏡像和模板管理的Glance、Swift對象存儲。

李明宇表示，在OpenStack環(huán)境上運行大數(shù)據(jù)系統(tǒng)有兩種方法：***種方法是基于OpenStack服務組件Sahara實現(xiàn)。他通過現(xiàn)場演示DEMO的方式，讓大家看到如何使用Sahara。Sahara實際上就是OpenStack專門為運行Hadoop來打造的一個項目。如果用戶使用的OpenStack云環(huán)境沒有部署Sahara怎么辦?這時可以采用第二種方法，第二種是通過Heat和Hadoop社區(qū)的部署工具實現(xiàn)，用戶直接管理Hadoop/大數(shù)據(jù)系統(tǒng)節(jié)點。OpenStack云平臺上的除了依賴OpenStack Sahara外，還可以在裸機上安裝Hadoop。

那么，這兩種方法孰優(yōu)孰劣呢?李明宇分析道，Sahara是云計算廠商視角，使用Sahara的好處在于服務商基于此提供大數(shù)據(jù)服務，用戶使用更方便，總體來說還算穩(wěn)定。但Sahara其實并不是那么***，服務種類受限，靈活性不高。而不使用Sahara直接管理的好處在于從用戶視角出發(fā)，靈活性好，用戶可控，但是劣勢在于需要由用戶管理大數(shù)據(jù)集群，并且難以感知云基礎設施底層特性。“用戶可以根據(jù)自己的需求，選擇最適合自己的方法。”

四大存儲問題

目前，OpenStack已被很多單位使用，在使用的過程中也會提出很多問題。而在OpenStack云上運行大數(shù)據(jù)系統(tǒng)最容易遇到的問題就是存儲的問題。

李明宇表示，在存儲方面***個面臨的問題，就是塊存儲的冗余問題，虛機塊存儲/Volume底層冗余與HDFS本身的冗余。如果虛擬底層是采用Ceph支持虛機塊存儲，實際上虛機的塊設備/Volume在Ceph上有三個副本，HDFS上又有三個副本，從而造成塊存儲的過度冗余。

第二個問題是數(shù)據(jù)移動開銷比計算任務的移動開銷大。Hadoop集群并不是時刻都承載相同的負載壓力，我們希望在虛擬化環(huán)境中，Hadoop集群能夠具有彈性。從5個節(jié)點擴展到10個節(jié)點，再擴展到50個節(jié)點，再縮到5個節(jié)點，如果數(shù)據(jù)存儲在這些節(jié)點的HDFS中，那么這時需要重新平衡數(shù)據(jù)，數(shù)據(jù)移動開銷較大，需要時間、耗費網(wǎng)絡和I/O資源。

第三個問題，很多數(shù)據(jù)處理/分析任務是臨時性的。為了實現(xiàn)在使用Hadoop集群或者利用大數(shù)據(jù)處理集群時，創(chuàng)建一個集群運行數(shù)據(jù)分析或者數(shù)據(jù)倉庫，完成作業(yè)之后這個集群就可以銷毀。但是使用HDFS，是無法銷毀存有數(shù)據(jù)的虛機的，并且還會帶來額外開銷。相比這些開銷，網(wǎng)絡的開銷在降低，整體網(wǎng)絡成本在降低。針對上面這些問題，如果不再使用HDFS，可以用對象存儲替換。也就是在云環(huán)境里運行大數(shù)據(jù)系統(tǒng)時，虛機只是進行計算，而數(shù)據(jù)放到對象存儲。

第四個問題是跨多個地域的系統(tǒng)構(gòu)建存儲集群。這個問題可以通過OpenStack Swift對象存儲來解決，OpenStack Swift可支持跨多個數(shù)據(jù)中心、多個地域構(gòu)建存儲集群，這就給用戶構(gòu)建跨數(shù)據(jù)中心的大數(shù)據(jù)系統(tǒng)帶來了便利，用戶在提交數(shù)據(jù)處理作業(yè)時，不用關(guān)心數(shù)據(jù)到底是存放在哪個數(shù)據(jù)中心，而且可以一批任務處理多個數(shù)據(jù)中心的數(shù)據(jù)，甚至多個地域的數(shù)據(jù)。

以上內(nèi)容是51CTO記者根據(jù)OStorage (奧思數(shù)據(jù))創(chuàng)始人兼CTO李明宇在WOT2018全球軟件與運維技術(shù)峰會的采訪內(nèi)容整理，更多關(guān)于WOT的內(nèi)容請關(guān)注51cto.com。

【51CTO原創(chuàng)稿件，合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】