随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。因此,本篇博客小菌为大家带来的是HDFS新增节点与删除节点的内容。
准备新节点
1:复制一台新的虚拟机出来
2:修改mac地址以及IP地址
3:关闭防火墙，关闭selinux
4:更改主机名
5:四台机器更改主机名与IP地址映射
6:node04服务器关机重启并生成公钥与私钥
7:node04安装jdk
8:解压Hadoop安装包
9:将node01关于Hadoop的配置文件全部拷贝到node04
服役新节点具体步骤
1.创建dfs.hosts文件
2.node01编辑hdfs-site.xml添加以下配置
3.刷新namenode
4.更新resourceManager节点
5.namenode的slaves文件增加新服务节点主机名称
6.单独启动新增节点
7.浏览器查看
8.使用负载均衡命令，让数据均匀负载所有机器
退役旧数据节点
1.创建dfs.hosts.exclude配置文件
2.编辑namenode所在机器的hdfs-site.xml
3.刷新namenode，刷新resourceManager
4.查看web浏览界面
5.节点退役完成，停止该节点进程
6.从include文件中删除退役节点
7.从namenode的slave文件中删除退役节点
8.如果数据负载不均衡，执行以下命令进行均衡负载
9.再次检查浏览器
将我们纯净的虚拟机(裸机)复制一台出来，作为我们新的节点。
修改mac地址命令
<code>vim /etc/udev/rules.d/70-persistent-net.rules</code>
修改ip地址命令
<code>vim /etc/sysconfig/network-scripts/ifcfg-eth0</code>
关闭防火墙
<code>service iptables stop</code>
关闭selinux
<code>vim /etc/selinux/config</code>
更改主机名为node04
<code>vim /etc/sysconfig/network</code>
四台机器都要添加hosts文件
<code>vim /etc/hosts</code>
node04服务器因为改过主机名,因此需要先重启使之生效
<code>reboot</code>
node04执行以下命令生成公钥与私钥
<code>ssh-keygen</code>
node04执行以下命令将node04的私钥拷贝到node01服务器
<code>ssh-copy-id node01</code>
node01执行以下命令，将authorized_keys拷贝给node04
<code>cd /root/.ssh/</code>
<code>scp authorized_keys node04:$PWD</code>
为了方便管理,node04需要统一两个路径
<code>mkdir -p /export/softwares/</code>
<code>mkdir -p /export/servers/</code>
然后解压jdk安装包，配置环境变量,或将集群中的java安装目录拷贝一份，并配置环境变量。
在node04服务器上面解压Hadoop安装包到/export/servers
node01执行以下命令将Hadoop安装包拷贝到node04服务器
<code>cd /export/softwares/</code>
<code>scp hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz node04:$PWD</code>
node01执行以下命令，将Hadoop的配置文件全部拷贝到node04服务器上面
<code>cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/scp ./* node04:$PWD</code>
在node01也就是namenode所在的机器的/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts文件
添加如下主机名称（包含新服役的节点）
在namenode的hdfs-site.xml配置文件中增加dfs.hosts属性
node01执行以下命令刷新namenode
node01执行以下命令刷新resourceManager
node01编辑slaves文件，并添加新增节点的主机，更改完后，slaves文件不需要分发到其他机器上面去
node01执行以下命令编辑slaves文件,slave 文件中记录的节点在集群启动时会进行启动。
在node04服务器执行以下命令，启动datanode和nodemanager
重启集群后,打开浏览器通过url查看
<code>http://xxxx:50070/dfshealth.html#tab-overview</code>
或
<code>http://xxxx:8088/cluster</code> 【xxxx为namenode节点的ip】
效果如下,发现集群中多了一个节点说明新增成功!
在node01上执行以下命令:
在namenod的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts.exclude文件，并添加需要退役的主机名称
node01执行以下命令
编辑namenode所在的机器的hdfs-site.xml配置文件，添加以下配置
在namenode所在的机器执行以下命令，刷新namenode，刷新resourceManager
浏览器访问
<code>http://xxxx:50070/dfshealth.html#tab-datanode</code>【xxxx为namenode所在节点的ip】
等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役。
node01执行以下命令，停止该节点进程
namenode所在节点也就是node01执行以下命令删除退役节点
namenode所在节点也就是node01执行以下命令刷新namenode和resourceManager
namenode所在机器也就是node01执行以下命令从slaves文件中删除退役节点
&nbspnode01执行以下命令进行均衡负载
我们再次打开浏览器查看Hadoop的节点情况,发现node04节点已经成功被删除!
本次的分享就到这里了,小伙伴们有什么疑惑或好的建议可以积极在评论区留言，小菌后续还会推出HDFS系列的其他内容，希望大家持续关注小菌ヾ(๑╹◡╹)ﾉ"！
HDFS系列精彩内容回顾:
《HDFS文件系统介绍(1)》
《HDFS文件读写流程(2)》
《HDFS特性及缺点分析(3)》
《HDFS的高级命令使用——文件限额配置(4)》
《HDFS的安全模式与文件权限检验(5)》
《HDFS中Fsimage，Edits详解(6)》
《HDFS中SecondaryNamenode工作原理(7)》
《HDFS中namenode故障恢复(8)》
《HDFS的shell常用命令大全》