Hadoop1.x MapReduce 程序执行的详细过程

         1.Job类初始化JobClient实例，JobClient中生成JobTracker的RPC实例，这样可以保持与JobTracker的通讯，JobTracker的地址和端口等都是外部配置的，通过Configuration对象读取并且传入。

        2.JobClient提交作业。

        3.JobClient生成作业目录。

        4.从本地拷贝 MapReduce 的作业jar文件

        5.如果DistributedCache中有需要的数据，从DistributedCache中拷贝这部分数据。

        6.根据InputFormat实例，实现输入数据的split，在作业目录上生成job.split和job.splitmetainfo文件。

        7.将配置文件写入到作业目录的job.xml文件中。

        8.JobClient和JobTracker通讯，提交作业。

        9.JobTracker将job加入到job队列中。

        10.JobTracker的TaskScheduler（任务调度器）对job队列进行调度。

        11.TaskTracker通过心跳和JobTracker保持联系，JobTracker收到后根据心跳带来的数据，判断是否可以分配给TaskTracker Task，TaskScheduler会对Task进行分配。

        12.TaskTracker启动TaskRunner实例，在TaskRunner中启动单独的JVM进行Mapper运行。

        13.Map端会从HDFS中读取输入数据，执行之后Map输出数据先是在内存当中，当达到阀值后，split到硬盘上面，在此过程中如果有combiner的话要进行combiner，当然sort是肯定要进行的。

        14.Map结束了，Reduce开始运行，从Map端拷贝数据，称为shuffle阶段，之后执行reduce输出结果数据。

        15.当jobtracker收到作业最后一个任务完成通知后，便把作业的状态设置为“完成”。

        16.在jobclient查询状态时，便知道任务已经完成，于是从runjob（）方法返回。