hadoop2.7.2 HA搭建

<a href="http://s4.51cto.com/wyfs02/M00/7C/EB/wKiom1bb_8ixv4tzAABF1jn3bcU061.png" target="_blank"></a>

配置文件

1.core配置：

[qujian@master hadoop]$ vim core-site.xml

&lt;property&gt;

  &lt;name&gt;fs.defaultFS&lt;/name&gt;

  &lt;value&gt;hdfs://mycluster&lt;/value&gt;

&lt;/property&gt;

  &lt;name&gt;io.file.buffer.size&lt;/name&gt;

  &lt;value&gt;4096&lt;/value&gt;

  &lt;name&gt;hadoop.tmp.dir&lt;/name&gt;

  &lt;value&gt;file:/home/qujian/hadoop-2.7.2/tmp&lt;/value&gt;

  &lt;name&gt;ha.zookeeper.quorum&lt;/name&gt;

  &lt;value&gt;master.hadoop.cn:2181,second1.hadoop.cn:2181,second2.hadoop.cn:2181&lt;/value&gt;

  &lt;name&gt;ha.zookeeper.session-timeout.ms&lt;/name&gt;

  &lt;value&gt;1000&lt;/value&gt;

修改mapred-site.xml

  &lt;name&gt;mapreduce.framework.name&lt;/name&gt;

  &lt;value&gt;yarn&lt;/value&gt;

修改yarn-site.xml

  &lt;name&gt;yarn.nodemanager.aux-services&lt;/name&gt;

  &lt;value&gt;mapreduce_shuffle&lt;/value&gt;

  &lt;name&gt;yarn.nodemanager.aux-services.mapreduce_shuffle.class&lt;/name&gt;

  &lt;value&gt;org.apache.hadoop.mapred.ShuffleHandler&lt;/value&gt;

  &lt;name&gt;yarn.resourcemanager.address&lt;/name&gt;

  &lt;value&gt;master.hadoop.cn:8032&lt;/value&gt;

  &lt;name&gt;yarn.resourcemanager.scheduler.address&lt;/name&gt;

  &lt;value&gt;master.hadoop.cn:8030&lt;/value&gt;

  &lt;name&gt;yarn.resourcemanager.resource-tracker.address&lt;/name&gt;

  &lt;value&gt;master.hadoop.cn:8031&lt;/value&gt;

  &lt;name&gt;yarn.resourcemanager.admin.address&lt;/name&gt;

  &lt;value&gt;master.hadoop.cn:8033&lt;/value&gt;

  &lt;name&gt;yarn.resourcemanager.webapp.address&lt;/name&gt;

  &lt;value&gt;master.hadoop.cn:8088&lt;/value&gt;

修改hdfs-site.xml

  &lt;name&gt;dfs.namenode.name.dir&lt;/name&gt;

  &lt;value&gt;file:/home/qujian/hadoop-2.7.2/name&lt;/value&gt;

  &lt;name&gt;dfs.datanode.data.dir&lt;/name&gt;

  &lt;value&gt;file:/home/qujian/hadoop-2.7.2/data&lt;/value&gt;

  &lt;name&gt;dfs.replication&lt;/name&gt;

  &lt;value&gt;3&lt;/value&gt;

  &lt;name&gt;dfs.webhdfs.enabled&lt;/name&gt;

  &lt;value&gt;true&lt;/value&gt;

  &lt;name&gt;dfs.permissions.enabled&lt;/name&gt;

  &lt;value&gt;false&lt;/value&gt;

  &lt;name&gt;dfs.nameservices&lt;/name&gt;

  &lt;value&gt;mycluster&lt;/value&gt;

  &lt;name&gt;dfs.ha.namenodes.mycluster&lt;/name&gt;

  &lt;value&gt;nn1,nn2&lt;/value&gt;

  &lt;name&gt;dfs.namenode.rpc-address.mycluster.nn1&lt;/name&gt;

  &lt;value&gt;master.hadoop.cn:9000&lt;/value&gt;

  &lt;name&gt;dfs.namenode.rpc-address.mycluster.nn2&lt;/name&gt;

  &lt;value&gt;second1.hadoop.cn:9000&lt;/value&gt;

  &lt;name&gt;dfs.namenode.servicerpc-address.mycluster.nn1&lt;/name&gt;

  &lt;value&gt;master.hadoop.cn:53310&lt;/value&gt;

  &lt;name&gt;dfs.namenode.servicerpc-address.mycluster.nn2&lt;/name&gt;

  &lt;value&gt;second1.hadoop.cn:53310&lt;/value&gt;

  &lt;name&gt;dfs.namenode.http-address.mycluster.nn1&lt;/name&gt;

  &lt;value&gt;master.hadoop.cn:50070&lt;/value&gt;

  &lt;name&gt;dfs.namenode.http-address.mycluster.nn2&lt;/name&gt;

  &lt;value&gt;second1.hadoop.cn:50070&lt;/value&gt;

  &lt;name&gt;dfs.namenode.shared.edits.dir&lt;/name&gt;

  &lt;value&gt;qjournal://second2.hadoop.cn:8485;data1.hadoop.cn:8485;data2.hadoop.cn:8485/mycluster&lt;/value&gt;

  &lt;name&gt;dfs.client.failover.proxy.provider.mycluster&lt;/name&gt;

  &lt;value&gt;org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider&lt;/value&gt;

  &lt;name&gt;dfs.ha.fencing.methods&lt;/name&gt;

  &lt;value&gt;sshfence&lt;/value&gt;

  &lt;name&gt;dfs.ha.fencing.ssh.private-key-files&lt;/name&gt;

  &lt;value&gt;/home/qujian/.ssh/id_rsa&lt;/value&gt;

  &lt;name&gt;dfs.ha.fencing.ssh.connect-timeout&lt;/name&gt;

  &lt;value&gt;30000&lt;/value&gt;

  &lt;name&gt;dfs.journalnode.edits.dir&lt;/name&gt;

  &lt;value&gt;/home/qujian/hadoop-2.7.2/journal&lt;/value&gt;

  &lt;name&gt;dfs.ha.automatic-failover.enabled&lt;/name&gt;

  &lt;name&gt;ha.failover-controller.cli-check.rpc-timeout.ms&lt;/name&gt;

  &lt;value&gt;60000&lt;/value&gt;

  &lt;name&gt;ipc.client.connect-timeout&lt;/name&gt;

  &lt;name&gt;dfs.image.transfer.bandwidthPerSec&lt;/name&gt;

  &lt;value&gt;4194304&lt;/value&gt;

配置data服务器：

[qujian@master hadoop]$ cat slaves 

second2.hadoop.cn

data1.hadoop.cn

data2.hadoop.cn

for n in second1.hadoop.cn second2.hadoop.cn data1.hadoop.cn data2.hadoop.cn

do

scp -rp /home/qujian/hadoop-2.7.2 $n:~/

wait

done

本文转自 zhuxtqw 51CTO博客，原文链接：http://blog.51cto.com/1054054/1748114，如需转载请自行联系原作者