三台阿里云服务器搭建完全分布式Hadoop集群

1.集群规划

角色分配：

2.准备环境

阿里云环境：CentOS Hadoop-3.2.2 jdk1.8

Xshell Xftp

打开Xshell

ssh 477.xx.xx           

（公网ip）

输入用户名root和密码

点击Xshell上方小图标

双击返回上一级

进入usr

将下载好的hadoop和jdk拖拽过来

等待传输完成

3.开始搭建

1.SSH无秘钥访问

连接至master

ssh 477.xx.xx,xxx           

（外网ip）

修改主机名：

vim /etc/hostsname
           

将默认值删掉改为自己角色主机名

关闭防火墙：

systemctl stop firewalld.service           

//关闭防火墙

systemctl firewalld.service           

//关闭防火墙开机自启动

配置主机映射：

vim /etc/hosts
           

477.xx.xx.xxx slave1 （外网ip）

477.xx.xx.xxx slave2 （外网ip）

172.xxx.xx.xx master （内网ip）

生成秘钥：

ssh-keygen           

//根据提示连敲三下回车

发送秘钥：

ssh-copy-id master
           

ssh-copy-id slave1
           

ssh-copy-id slave2
           

重启：

reboot           

连接至slave1

ssh 477.xx.xx,xxx           

vim /etc/hostsname           

systemctl stop firewalld.service           

systemctl firewalld.service           

vim /etc/hosts           

477.xx.xx.xxx master（外网ip）

172.xxx.xx.xx slave1（内网ip）

ssh-keygen           

ssh-copy-id master
ssh-copy-id slave1
 ssh-copy-id slave2           

reboot           

连接至slave2

ssh 477.xx.xx,xxx           

vim /etc/hostsname
           

systemctl stop firewalld.service           

systemctl firewalld.service           

vim /etc/hosts           

172.xxx.xx.xx slave2（内网ip）

ssh-keygen           

ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2           

reboot           

检验：登录三台服务器互相用ssh访问查看是否需要密码

2.配置jdk

ssh 477.xx.xx,xxx           

(外网ip）

解压jdk和hadoop：

cd /usr           

tar -zxvf 文件名           

更改文件名

mv 旧文件名 新文件名
           

配置java环境变量

vim /etc/profile           

export JAVA_HOME=/usr/jdk

export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile           

//使文件生效

java -version           

//查看版本

登录slave1

ssh slave1           

cd /usr           

tar -zxvf 文件名           

mv 旧文件名 新文件名

vim /etc/profile           

source /etc/profile           

java -version           

退出slave1

exit
           

登录slave2

ssh slave2           

cd /usr           

tar -zxvf 文件名           

mv 旧文件名 新文件名           

vim /etc/profile           

source /etc/profile           

java -version           

退出slave2

exit           

3.配置hadoop

登录master

ssh 477.xx.xx.xxx           

cd /usr/hadoop/etc/hadoop           

vim hadoop-env.sh           

vim mapred-env.sh           

vim yarn-env.sh           

vim core-site.xml           

vim hdfs-site.xml           

vim mapred-site.xml           

vim yarn-site.xml           

vim workers           

cd /usr/hadoop/sbin           

vim start-dfs.sh
           

vim stop-dfs.sh           

vim start-yarn.sh           

vim stop-yarn.sh           

将修改的配置同步到slave1和slave2

scp -r /usr/hadoop/etc/hadoop root@slave1:/usr/hadoop/etc/
 scp -r /usr/hadoop/etc/hadoop root@slave2:/usr/hadoop/etc/
 scp -r /usr/hadoop/sbin root@slave1:/usr/hadoop/
 scp -r /usr/hadoop/sbin root@slave1:/usr/hadoop/           

master开放端口9000和50070

格式化Namenode

/usr/hadoop/bin/hdfs namenode -format           

启动进程

/usr/hadoop/sbin/start-dfs.sh           

ssh root@slave2 /usr/hadoop/sbin/start-yarn.sh           

前往master的公网ip加端口号50070查看

477.xx.xx.xxx:50070