大数据成长之路-- hadoop集群的部署(3)HDFS新增节点

文章目录

• 6、HDFS新增节点
• • 服役新数据节点
  • 服役新节点具体步骤

大数据成长之路-- hadoop集群的部署(3)

6、HDFS新增节点

服役新数据节点

目标：掌握HDFS新添加节点到集群的步骤
           

需求基础：

随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。
准备新节点
           

第一步：复制一台新的虚拟机出来

将我们纯净的虚拟机复制一台出来，作为我们新的节点		
           

第二步：修改mac地址以及IP地址

修改mac地址命令

vim /etc/udev/rules.d/70-persistent-net.rules
           

修改ip地址命令

vim /etc/sysconfig/network-scripts/ifcfg-eth0
           

第三步：关闭防火墙，关闭selinux

关闭防火墙

service iptables stop
           

关闭selinux

vim /etc/selinux/config
           

第四步：更改主机名

更改主机名命令

vim /etc/sysconfig/network
           

第五步：四台机器更改主机名与IP地址映射

四台机器都要添加hosts文件

vim /etc/hosts

192.168.52.100 node01.hadoop.com  node01
192.168.52.110 node02.hadoop.com  node02
192.168.52.120 node03.hadoop.com  node03
192.168.52.130 node04.hadoop.com  node04
           

第六步：node04服务器关机重启并生成公钥与私钥

node04执行以下命令关机重启

reboot 
           

node04执行以下命令生成公钥与私钥

ssh-keygen
           

node04执行以下命令将node04的私钥拷贝到node01服务器

ssh-copy-id  node04
ssh-copy-id  node03
ssh-copy-id  node02
ssh-copy-id  node01


scp authorized_keys  node04:$PWD
           

第七步：node04安装jdk

node04统一两个路径

mkdir -p /export/softwares/
mkdir -p /export/servers/
           

然后解压jdk安装包，配置环境变量,或将集群中的java安装目录拷贝一份，并配置环境变量。

第八步：解压hadoop安装包

在node04服务器上面解压hadoop安装包到/export/servers

node01执行以下命令将hadoop安装包拷贝到node04服务器

cd /export/softwares/
scp hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz node04:$PWD
           

第九步：将node01关于hadoop的配置文件全部拷贝到node04

node01执行以下命令，将hadoop的配置文件全部拷贝到node04服务器上面

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/
scp ./* node04:$PWD
           

服役新节点具体步骤

第一步：创建dfs.hosts文件

在node01也就是namenode所在的机器的/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts文件

[root@node01 hadoop]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
[root@node01 hadoop]# touch dfs.hosts
[root@node01 hadoop]# vim dfs.hosts
           

添加如下主机名称（包含新服役的节点）

node01
node02
node03
node04
           

第二步：node01编辑hdfs-site.xml添加以下配置

在namenode的hdfs-site.xml配置文件中增加dfs.hosts属性

node01执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml


<property>
                <name>dfs.hosts</name>
                <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts</value>
        </property>
           

第三步：刷新namenode

node01执行以下命令刷新namenode

[root@node01 hadoop]# hdfs dfsadmin -refreshNodes
Refresh nodes successful
           

第四步：更新resourceManager节点

node01执行以下命令刷新resourceManager

[root@node01 hadoop]# yarn rmadmin -refreshNodes
19/03/16 11:19:47 INFO client.RMProxy: Connecting to ResourceManager at node01/192.168.52.100:8033
           

第五步：namenode的slaves文件增加新服务节点主机名称

node01编辑slaves文件，并添加新增节点的主机，更改完后，slaves文件不需要分发到其他机器上面去

node01执行以下命令编辑slaves文件

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves

node01
node02
node03
node04
           

第六步：单独启动新增节点

node04服务器执行以下命令，启动datanode和nodemanager

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager
           

http://node01:50070/dfshealth.html#tab-overview

http://node01:8088/cluster
           

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh