偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

技術(shù)小白:Hadoop 到底是啥?

系統(tǒng) Hadoop
大數(shù)據(jù)是個(gè)鋪天蓋地的詞,而談?wù)摯髷?shù)據(jù)又不可避免地要提到Hadoop,遺憾的是今天大多數(shù)大數(shù)據(jù)鼓吹者,甚至專業(yè)人士其實(shí)并不能說清楚Hadoop到底是什么玩意,以及有何功用,而他們的管理層小白聽眾更是一頭霧水。

文章的標(biāo)題看上去很幼齒很科普,但實(shí)際上那些天天觀賞大數(shù)據(jù)演講的管理層技術(shù)小白來說,他們永遠(yuǎn)不會公開問出這個(gè)問題。

[[73804]]

大數(shù)據(jù)是個(gè)鋪天蓋地的詞,而談?wù)摯髷?shù)據(jù)又不可避免地要提到Hadoop,遺憾的是今天大多數(shù)大數(shù)據(jù)鼓吹者,甚至專業(yè)人士其實(shí)并不能說清楚Hadoop到底是什么玩意,以及有何功用,而他們的管理層小白聽眾更是一頭霧水。

眾所周知,Hadoop是Apache軟件基金會管理的開源軟件平臺,但Hadoop到底是什么呢?簡單來說,Hadoop是在分布式服務(wù)器集群上存儲海量數(shù)據(jù)并運(yùn)行分布式分析應(yīng)用的一種方法。

Hadoop被設(shè)計(jì)成一種非常“魯棒”的系統(tǒng),即使某臺服務(wù)器甚至集群宕機(jī)了,運(yùn)行其上的大數(shù)據(jù)分析應(yīng)用也不會中斷。此外Hadoop的效率也很高,因?yàn)樗⒉恍枰阍诰W(wǎng)絡(luò)間來回?fù)v騰數(shù)據(jù)。

以下是Apache的正式定義:

Apache Hadoop軟件庫是一個(gè)框架,允許在集群服務(wù)器上使用簡單的編程模型對大數(shù)據(jù)集進(jìn)行分布式處理。Hadoop被設(shè)計(jì)成能夠從單臺服務(wù)器擴(kuò)展到數(shù)以千計(jì)的服務(wù)器,每臺服務(wù)器都有本地的計(jì)算和存儲資源。Hadoop的高可用性并不依賴硬件,其代碼庫自身就能在應(yīng)用層偵測并處理硬件故障,因此能基于服務(wù)器集群提供高可用性的服務(wù)。

如果更深入地分析,我們發(fā)現(xiàn)Hadoop還有更加精彩的特性。首先,Hadoop幾乎完全是模塊化的,這意味著你們能用其他軟件工具抽換掉Hadoop的模塊。這使得Hadoop的架構(gòu)異常靈活,同時(shí)又不犧牲其可靠性和高效率。

Hadoop分布式文件系統(tǒng)(HDFS)

如果提起Hadoop你的大腦一片空白,那么請牢記住這一點(diǎn):Hadoop有兩個(gè)主要部分:一個(gè)數(shù)據(jù)處理框架和一個(gè)分布式數(shù)據(jù)存儲文件系統(tǒng)(HDFS)。

HDFS就像Hadoop系統(tǒng)的籃子,你把數(shù)據(jù)整整齊齊碼放在里面等待數(shù)據(jù)分析大廚出手變成性感的大餐端到CEO的桌面上。當(dāng)然,你可以在Hadoop進(jìn)行數(shù)據(jù)分析,也可以見gHadoop中的數(shù)據(jù)“抽取轉(zhuǎn)換加載”到其他的工具中進(jìn)行分析。

數(shù)據(jù)處理框架和MapReduce

顧名思義,數(shù)據(jù)處理框架是處理數(shù)據(jù)的工具。具體來說Hadoop的數(shù)據(jù)處理框架是基于Jave的系統(tǒng)——MapReduce,你聽到MapReduce的次數(shù)會比HDFS還要多,這是因?yàn)椋?/p>

1.MapReduce是真正完成數(shù)據(jù)處理任務(wù)的工具

2.MapReduce往往會把它的用戶逼瘋

在常規(guī)意義上的關(guān)系型數(shù)據(jù)庫中,數(shù)據(jù)通過SQL(結(jié)構(gòu)化查詢語言)被找到并分析,非關(guān)系型數(shù)據(jù)庫也使用查詢語句,只是不局限于SQL而已,于是有了一個(gè)新名詞NoSQL。

有一點(diǎn)容易搞混的是,Hadoop并不是一個(gè)真正意義上的數(shù)據(jù)庫:它能存儲和抽取數(shù)據(jù),但并沒有查詢語言介入。Hadoop更多是一個(gè)數(shù)據(jù)倉庫系統(tǒng),所以需要MapReduce這樣的系統(tǒng)來進(jìn)行真正的數(shù)據(jù)處理。

MapRduce運(yùn)行一系列任務(wù),其中每項(xiàng)任務(wù)都是單獨(dú)的Java應(yīng)用,能夠訪問數(shù)據(jù)并抽取有用信息。使用MapReduce而不是查詢語言讓Hadoop數(shù)據(jù)分析的功能更加強(qiáng)大和靈活,但同時(shí)也導(dǎo)致技術(shù)復(fù)雜性大幅增加。

目前有很多工具能夠讓Hadoop更容易使用,例如Hive,可以將查詢語句轉(zhuǎn)換成MapReduce任務(wù)。但是MapReduce的復(fù)雜性和局限性(單任務(wù)批處理)使得Hadoop在更多情況下都被作為數(shù)據(jù)倉庫使用而非數(shù)據(jù)分析工具。

Hadoop的另外一個(gè)獨(dú)特之處是:所有的功能都是分布式的,而不是傳統(tǒng)數(shù)據(jù)庫的集中式系統(tǒng)。

責(zé)任編輯:黃丹 來源: IT經(jīng)理網(wǎng)
相關(guān)推薦

2025-05-22 09:15:09

2024-02-07 12:35:00

React并發(fā)模式concurrent

2021-05-11 07:30:58

JNIJavaAPI

2021-01-28 17:41:32

Github網(wǎng)站Pull Reques

2022-05-04 08:38:32

Netty網(wǎng)絡(luò)框架

2022-04-10 19:26:07

TypeScript類型語法

2024-07-12 15:08:23

Python@wraps函數(shù)

2021-12-26 00:01:51

Log4Shell漏洞服務(wù)器

2024-08-26 14:23:56

2021-12-16 15:11:59

Facebook天秤幣加密貨幣

2024-08-01 17:34:56

Promiseaxios請求

2022-09-06 21:38:45

數(shù)字人數(shù)字孿生

2016-03-03 17:42:10

DockerDCOS

2021-02-01 06:41:47

流水線計(jì)算機(jī)隊(duì)列

2012-07-25 09:09:46

GNOME OS桌面

2024-06-17 00:00:02

前端技術(shù)JavaScript

2024-02-26 00:00:00

人工智能序列數(shù)據(jù)機(jī)器人

2020-03-07 09:47:48

AVL樹算法場景

2020-10-29 07:03:56

Docker容器存儲

2021-08-10 10:08:52

NAS網(wǎng)絡(luò)附加存儲存儲
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號