偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

不開(kāi)玩笑,Hadoop集群容量還可以這樣擴(kuò)展

企業(yè)動(dòng)態(tài) Hadoop
由戴爾科技集團(tuán)中國(guó)研究院及VMware創(chuàng)新網(wǎng)絡(luò)主辦的《前沿“機(jī)器學(xué)習(xí)加速”網(wǎng)絡(luò)研討會(huì)》第四期來(lái)啦。

了解更多數(shù)字化轉(zhuǎn)型方案查看此鏈接:

https://www.dellemc-solution.com/home/index.html

說(shuō)起Hadoop

它的大名在IT圈已是

無(wú)人不知,無(wú)人不曉

Hadoop的出現(xiàn)

讓用戶可以在不了解

分布式底層細(xì)節(jié)的情況下

開(kāi)發(fā)分布式程序

同時(shí)還能充分利用集群的威力

進(jìn)行高速運(yùn)算和存儲(chǔ)

就好比螞蟻賽大象

廉價(jià)的機(jī)器群也可以匹敵高性能計(jì)算機(jī)

1.JPG

但另一方面

越來(lái)越多客戶

不斷縮短Hadoop節(jié)點(diǎn)的購(gòu)買周期

原因就是存儲(chǔ)空間不足!

而如果按容量需求購(gòu)買大量服務(wù)器

則會(huì)有大量計(jì)算資源被浪費(fèi)

因此,面對(duì)突如其來(lái)的海量數(shù)據(jù),我們是沿用原有的橫向擴(kuò)展node方式還是縱向擴(kuò)展存儲(chǔ)呢?如果采用存儲(chǔ)縱向擴(kuò)展方式,那該如何連接?用什么存儲(chǔ)?是否會(huì)帶來(lái)管理復(fù)雜度?是否會(huì)影響性能?架構(gòu)如何搭建?

 

Hadoop分布式架構(gòu)+存儲(chǔ)

不是開(kāi)玩笑!

 

聽(tīng)到Hadoop分布式架構(gòu)+存儲(chǔ)這一概念,相信會(huì)有很多人質(zhì)疑這種架構(gòu),也會(huì)有人認(rèn)為小編不懂Hadoop,沒(méi)有互聯(lián)網(wǎng)基因。哈哈,不管了,提起Hadoop橫向擴(kuò)展的全分布式架構(gòu),幾乎90%以上的用戶應(yīng)該都是橫向?qū)Φ鹊臄U(kuò)展node(即服務(wù)器),很少有人會(huì)在Hadoop架構(gòu)下聯(lián)想存儲(chǔ)的使用方法。

其實(shí)小編最初也是一樣的想法,Hadoop用什么存儲(chǔ)?用什么存儲(chǔ)看起來(lái)都不完美,原諒我對(duì)機(jī)房的布局有強(qiáng)迫癥,不喜歡那種不對(duì)稱的布局。但隨著Hadoop客戶的不斷壯大,他們面臨的現(xiàn)實(shí)需求卻在不斷地敲打著我。

[[328741]]

雖然很多客戶對(duì)Hadoop架構(gòu)下使用存儲(chǔ)抱有抵觸的思想,但也有不少客戶在嘗試,逐步認(rèn)識(shí)到Hadoop架構(gòu)下使用一些特定存儲(chǔ)并沒(méi)有破壞Hadoop的全分布式結(jié)構(gòu),也沒(méi)有改變Hadoop對(duì)磁盤的管理。只是我們?cè)诓粩鄼M向擴(kuò)展節(jié)點(diǎn)的同時(shí),適時(shí)的也可以關(guān)注一下存儲(chǔ)磁盤的縱向擴(kuò)展。

看到這里,你還懷疑小編是來(lái)說(shuō)大話的嗎?哈哈,我們繼續(xù)下去,先簡(jiǎn)單介紹一下Hadoop。

Hadoop是一個(gè)由Apache基金會(huì)所開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)(Hadoop Distributed File System),簡(jiǎn)稱HDFS。HDFS有高容錯(cuò)性特點(diǎn),并且設(shè)計(jì)用來(lái)部署在低廉的硬件上,它還提供高吞吐量來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù),適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。

Hadoop的出現(xiàn),也讓軟件定義存儲(chǔ)的使用達(dá)到了一個(gè)前所未有的高度,在一些互聯(lián)網(wǎng)類的企業(yè)里,少則十幾個(gè)節(jié)點(diǎn),多則幾千個(gè)節(jié)點(diǎn)的Hadoop集群拔地而起,應(yīng)用場(chǎng)景越來(lái)越豐富,數(shù)據(jù)量也帶來(lái)了幾何倍數(shù)的增長(zhǎng)。

3.JPG

從開(kāi)頭的話題我們知道,面對(duì)海量數(shù)據(jù),如果繼續(xù)沿用橫向擴(kuò)展node方式擴(kuò)展,必然會(huì)造成浪費(fèi),因此本文就來(lái)分享一些客戶在Hadoop環(huán)境下使用JBOD存儲(chǔ),從而減低整體成本的使用方法。

關(guān)于JBOD

JBOD(Justa bunch of disk)俗稱硬盤擴(kuò)展柜。也就是說(shuō),這套存儲(chǔ)并沒(méi)有控制器單元,也沒(méi)有配置CPU/內(nèi)存等部件,也沒(méi)有對(duì)磁盤的RAID管理,它非常簡(jiǎn)單,也非常經(jīng)典。正因?yàn)镴BOD本身不配置任何邏輯管理,將全部磁盤管理都交由Hadoop,所以JBOD能和Hadoop完美融合。

下面,我們就來(lái)介紹JBOD是如何讓Hadoop集群變得更經(jīng)濟(jì)、更環(huán)保。

[[328742]]

 

一波三折的擴(kuò)展磁盤方式

 

首先,Hadoop中除了應(yīng)用的組件之外,主要有兩種node是我們經(jīng)常關(guān)注的,一個(gè)是Master node,一個(gè)是Data node,如下圖所示,客戶的Master node繼續(xù)沿用R640/R630的1U服務(wù)器節(jié)點(diǎn),Data node沿用戴爾易安信R740/R730服務(wù)器。通過(guò)Edge node與Client端(Hadoop Component Client)進(jìn)行通訊。

5.JPG

隨著業(yè)務(wù)不斷的發(fā)展,Hadoop集群也需要不斷的擴(kuò)展,此時(shí)細(xì)心的客戶運(yùn)維人員發(fā)現(xiàn),最近幾次的節(jié)點(diǎn)擴(kuò)展都是因?yàn)榇疟P容量不夠造成的,其實(shí)節(jié)點(diǎn)內(nèi)的CPU/內(nèi)存占用率并不高。所以能否有一種只擴(kuò)展磁盤的簡(jiǎn)單方式呢?

▐ 開(kāi)始總會(huì)走一些彎路。我們推薦了帶有控制器的智能存儲(chǔ)設(shè)備,想用智能存儲(chǔ)的功能替代Hadoop的管理,結(jié)果使用效果不好。

Hadoop想全控磁盤,而智能存儲(chǔ)對(duì)磁盤又有自己的理解,所以造成兩種結(jié)果,要么是將一部分業(yè)務(wù)分拆出來(lái),單獨(dú)用存儲(chǔ)提供數(shù)據(jù)服務(wù);要么是將智能存儲(chǔ)放在Hadoop架構(gòu)使用,很多高級(jí)功能又不能發(fā)揮作用。

▐ 于是我們換第二種方案,用低端的帶有控制器的存儲(chǔ)設(shè)備,通過(guò)FC/iSCSI方式將磁盤映射給Data node使用。

結(jié)果在測(cè)試過(guò)程中,發(fā)現(xiàn)條帶化后的磁盤,在Hadoop架構(gòu)下,反而降低了性能,同時(shí)HDFS(Hadoop的文件系統(tǒng))所提供的節(jié)點(diǎn)間數(shù)據(jù)復(fù)制技術(shù)已滿足數(shù)據(jù)備份需求,無(wú)需使用RAID的冗余機(jī)制。因此這種方案也被否定。

這樣看來(lái),只有最簡(jiǎn)單的JBOD可以再次嘗試一下,這是一個(gè)不帶任何邏輯管理的磁盤組,他沒(méi)有帶控制器存儲(chǔ)的RAID條帶技術(shù)。盡管RAID條帶化技術(shù)(RAID 0)被廣泛用戶提升性能,但是其速度仍然比用在HDFS里的JBOD配置慢。

JBOD在所有磁盤之間循環(huán)調(diào)度HDFS塊。RAID 0的讀寫(xiě)操作受限于磁盤陣列中最慢盤片的速度,而JBOD的磁盤操作均獨(dú)立,因而平均讀寫(xiě)速度高于最慢盤片的讀寫(xiě)速度。需要強(qiáng)調(diào)的是,各個(gè)磁盤的性能在實(shí)際使用中總存在相當(dāng)大的差異,即使對(duì)于相同型號(hào)的磁盤。在一個(gè)測(cè)試(Gridmix)中,JBOD比RAID 0 快10%;在另一測(cè)試(HDFS寫(xiě)吞吐量)中,JBOD比RAID 0 快30%。

[[328743]]

好了,既然JBOD本身性能不差,那么接口會(huì)不會(huì)慢呢?

接口當(dāng)然是4通道的12Gb SAS,轉(zhuǎn)換一下單位,每個(gè)接口可以達(dá)到6GB/s左右的速率,要知道每一塊7200轉(zhuǎn)的機(jī)械磁盤實(shí)際讀寫(xiě)速率基本上在100MB/s左右。而一個(gè)84盤位的JBOD可以提供6個(gè)12Gb SAS接口,理論上可以同時(shí)連接6個(gè)Data node進(jìn)行數(shù)據(jù)訪問(wèn),并發(fā)帶寬理論上可以達(dá)到36GB/s的接口速率。(實(shí)際不可能用到這么大帶寬,畢竟后端的磁盤數(shù)量是有限的,所以瓶頸不在接口)。

性能看來(lái)不是問(wèn)題,那么Data node上要做什么改變呢?

是否需要很復(fù)雜的驅(qū)動(dòng)程序?是否會(huì)影響Data node上的組件運(yùn)行?答案其實(shí)很簡(jiǎn)單,只需要在Data node上安裝最常用的12Gb SAS卡即可,Linux操作系統(tǒng)下,其驅(qū)動(dòng)也是極其輕量的安裝程序,并不會(huì)對(duì)上層的組件有任何影響。

7.JPG

于是,就有了上圖。在一個(gè)10PB+的Hadoop集群中,已然發(fā)現(xiàn)了JBOD的身影,通過(guò)JBOD的引入,極大降低了Data node的擴(kuò)展,從而讓機(jī)柜空間降低了65%,功耗降低了37%,總體成本降低了35%!對(duì)客戶來(lái)說(shuō),這可都是真金白銀的成本節(jié)省啊。

最后,來(lái)介紹一下戴爾易安信的JBOD家族吧

目前,戴爾易安信PowerVault存儲(chǔ)系列有MD1400、MD1420和ME484三款JBOD擴(kuò)展機(jī)柜選項(xiàng),可與第13代和第14代PowerEdge服務(wù)器配合使用,借助豐富的盤柜選項(xiàng)、硬盤類型和操作系統(tǒng)選項(xiàng)幫助用戶實(shí)現(xiàn)輕松擴(kuò)展,并以靈活的設(shè)計(jì)方案滿足用戶的特定需求。同時(shí)節(jié)省在空間、電力和冷卻方面的支出。

擴(kuò)展Hadoop集群容量,這里還有經(jīng)濟(jì)又實(shí)用的方式!

9.png

尊敬的讀者

戴爾科技集團(tuán)中國(guó)研究院

VMware創(chuàng)新網(wǎng)絡(luò)主辦的

《前沿“機(jī)器學(xué)習(xí)加速”網(wǎng)絡(luò)研討會(huì)》

第四期來(lái)啦

本期內(nèi)容,我們將聚焦

《基于可編程交換機(jī)的網(wǎng)絡(luò)計(jì)算加速機(jī)器學(xué)習(xí)》

戴爾科技集團(tuán)中國(guó)研究院

首席工程師 胡晨曦

為您帶來(lái)講解

6月5日(周五)

下午14:00-15:00

我們不見(jiàn)不散

掃描下方二維碼或

點(diǎn)擊文末“閱讀原文”即可報(bào)名參加

10.jpg

相關(guān)內(nèi)容推薦:入門級(jí)存儲(chǔ),能和它“打”的一個(gè)都沒(méi)有

相關(guān)產(chǎn)品:Dell EMC PowerStore X 系列存儲(chǔ)

 

責(zé)任編輯:張燕妮 來(lái)源: 戴爾科技集團(tuán)
相關(guān)推薦

2017-12-27 13:56:16

JavaSCript語(yǔ)言開(kāi)發(fā)

2018-07-23 12:20:52

編程語(yǔ)言Python入門

2021-03-03 08:05:53

C++項(xiàng)目函數(shù)

2013-11-27 10:16:50

2022-07-30 23:45:09

內(nèi)存泄漏檢測(cè)工具工具

2011-08-03 09:00:54

JavaJava 7

2021-02-01 13:35:28

微信Python技巧

2022-05-17 07:26:33

動(dòng)畫(huà)CSS前端

2023-07-03 16:49:47

5G

2011-12-31 09:11:08

OracleAMD

2017-10-26 11:18:13

SSD機(jī)械硬盤固態(tài)硬盤

2011-12-11 19:14:32

Siri

2014-08-18 10:46:10

IE瀏覽器

2025-04-07 08:45:00

C 語(yǔ)言數(shù)組

2013-09-18 10:44:01

搜狗輸入法詞語(yǔ)

2013-04-03 13:52:42

Windows Blu

2020-04-03 12:08:24

美股時(shí)間GMT

2017-07-17 16:13:28

戴爾數(shù)字化轉(zhuǎn)型

2017-07-21 16:34:58

戴爾數(shù)字化轉(zhuǎn)型

2012-10-12 10:13:26

eclips代碼編寫(xiě)Editplus
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)