Hadoop在我們大數(shù)據(jù)培訓(xùn)課程中占據(jù)著舉足輕重的地位，被公認為是一套行業(yè)大數(shù)據(jù)標(biāo)準(zhǔn)開源軟件，在分布式環(huán)境下提供了海量數(shù)據(jù)的處理能力。在所有的大數(shù)據(jù)培訓(xùn)機構(gòu)都把它作為必備課，它不僅是在大數(shù)據(jù)培訓(xùn)行業(yè)而且?guī)缀跛兄髁鲝S商都圍繞Hadoop開發(fā)工具、開源軟件、商業(yè)化工具和技術(shù)服務(wù)。

Hadoop組成（面試重點）

圖2-21 Hadoop1.x與Hadoop2.x的區(qū)別

1 HDFS架構(gòu)概述

HDFS（Hadoop Distributed File System）的架構(gòu)概述，如圖2-23所示。

圖2-23 HDFS架構(gòu)概述

2 YARN架構(gòu)概述

YARN架構(gòu)概述，如圖2-24所示。

3 MapReduce架構(gòu)概述

MapReduce將計算過程分為兩個階段：Map和Reduce，如圖2-25所示

1）Map階段并行處理輸入數(shù)據(jù)

2）Reduce階段對Map結(jié)果進行匯總