天天看点

搭建hadoop集群前期准备一、搭建六台虚拟机二、配置网络三、配置ssh互信四、关闭防火墙五、关闭selinux六、修改主机名七、安装jdk八、重启机器

六台虚拟机一台作为主节点,4台作为从节点,一台作为客户机

1. 打开VMware菜单栏的编辑选项卡,打开虚拟网络编辑器

搭建hadoop集群前期准备一、搭建六台虚拟机二、配置网络三、配置ssh互信四、关闭防火墙五、关闭selinux六、修改主机名七、安装jdk八、重启机器

2.查看VMnet8的信息,网络类型选择NET模式,查看子网IP(测试机):192.168.120.

DHCP选择框全部选中

搭建hadoop集群前期准备一、搭建六台虚拟机二、配置网络三、配置ssh互信四、关闭防火墙五、关闭selinux六、修改主机名七、安装jdk八、重启机器

3.配置/etc/sysconfig/network-scripts/ifcfg-ens33

配置文件编写如下(以master节点为例):

搭建hadoop集群前期准备一、搭建六台虚拟机二、配置网络三、配置ssh互信四、关闭防火墙五、关闭selinux六、修改主机名七、安装jdk八、重启机器

4.保存文件,重启网卡,systemctl resatrt network.service。尝试ping通集群和外网。

搭建hadoop集群前期准备一、搭建六台虚拟机二、配置网络三、配置ssh互信四、关闭防火墙五、关闭selinux六、修改主机名七、安装jdk八、重启机器

5.其他节点同理

1.设置用户文件,打开/etc/hosts。加入集群的ip地址和主机名(起的名字,和hostname不一定一样)

搭建hadoop集群前期准备一、搭建六台虚拟机二、配置网络三、配置ssh互信四、关闭防火墙五、关闭selinux六、修改主机名七、安装jdk八、重启机器

保存退出

2.建立循环变量a.txt,用for循环讲hosts文件拷贝到集群其他机器上。

<b>for x in `cat ~/a.txt`; do echo $x;scp /etc/hosts $x:/etc/hosts;done;</b>

注:普及一下scp命令。例如:scp -r /root/tools/hadoop-2.7.4.tar.gz root@slave2:/root/tools/。-r 表示递归调用,拷贝目录以及子目录。后面接上需要拷贝的目录。在后面是传出机器的用户名。@主机名。传出目录。

3.获取master的密钥 <b>ssh-keygen</b>

设置免密登陆,即密码为空,直接回车即可。

4.将master获取的公钥传给从节点 <b>ssh-copy-id slave1</b>(设备名)

5.用<b>ssh 设备名</b> 检测是否可以ssh远程登陆

1、关闭防火墙(重启后恢复):<b>systemctl stop firewalld.service</b>

2、禁止防火墙开机启动:<b>systemctl disable firewalld.service</b>

1、临时关闭(不用重启):<b>setenforce 0</b>

2、永久关闭(需要重启生效):编辑/etc/selinux/config文件

将SELINUX=enforcing改为SELINUX=disabled

搭建hadoop集群前期准备一、搭建六台虚拟机二、配置网络三、配置ssh互信四、关闭防火墙五、关闭selinux六、修改主机名七、安装jdk八、重启机器

3、查看selinux状态:

[root@master ~]# getenforce

Permissive

4、修改所有节点的selinux

1、查看主机名:<b>hostname</b>

2、更改主机名:<b>hostnamectl set-hostname 主机名</b>

1、查看当前的openjdk信息:<b>rpm -qa|grep openjdk</b>

2、删除所有openjdk:<b>rpm -e --nodeps XXX</b>

3、下载rpm包(也可用for循环统一拷贝)

4、安装jdk:<b>rpm -ivh jdk-8u101-linux-x64.rpm </b>

5、查看jdk路径(默认路径在/usr/java中):<b>find / -name java*</b>

6、配置环境变量(按照自己的jdk版本配置):vim /etc/profile

<b>JAVA_HOME=/usr/java/jdk1.8.0_101/</b>

export JRE_HOME=/usr/java/jdk1.8.0_101//jre

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

7、查看jdk是否安装成功,版本一致则安装成功:java -version

8、从节点同理配置

ps:第一次写博客,有点小激动,如有错误,还请多多指正QAQ