【hadoop】Hadoop编程实例之MapReduce

前言  

首先让我们来重温一下 hadoop 的四大组件：

HDFS：分布式存储系统

MapReduce：分布式计算系统

YARN： hadoop 的资源调度系统

Common： 以上三大组件的底层支撑组件，主要提供基础工具包和 RPC 框架等

MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型，MapReduce的计算过程被封装的很好，我们只用使用Map和Reduce函数，所以对其整体的计算过程不是太清楚，同时MapReduce1.0和MapReduce2.0在网上有很多人混淆。

MapReduce1.0运行模型

input ->splitting->Mapping->Shuffing->Reducing->final result

第1步input

第2步splitting

第3步Mappin

第4步Shuffing

第5步Reducing