hadoop之 reduce个数控制

1、参数变更

1.x 参数名                                                         2.x 参数名 

mapred.tasktracker.reduce.tasks.maximum     mapreduce.tasktracker.reduce.tasks.maximum

mapred.reduce.tasks                                       mapreduce.job.reduces

2、参数设置

2.1、mapred.tasktracker.reduce.tasks.maximum设置为逻辑CPU个数

<property> 

<name>mapred.tasktracker.reduce.tasks.maximum</name> 

<value>8</value> 

<final>true</final> 

</property>

2.2.1、 hadoop 服务器端参数设定

mapred.reduce.tasks <= mapred.tasktracker.reduce.tasks.maximum <= 单台 datanode 逻辑cpu个数

2.2.2、应用端调用 job. setNumReduceTasks（int n） 方法指定

文章可以转载，必须以链接形式标明出处。

本文转自 张冲andy 博客园博客，如需转载请自行联系 原作者原文链接：http://www.cnblogs.com/andy6/p/8410590.html