天天看點

hadoop 單機/僞分布式/叢集、分布式/Ha高可用搭建環境配置

1、完成目标:

一.node1 hadoop使用者可以ssh免密登陸node2、node3、node4、node5 

二.node2 hadoop使用者可以ssh免密登陸node1、node3、node4、node5  

三.機器情況

主機 系統 IP 作用
node1 centos7 192.168.31.136 NameNode1
node2 centos7 192.168.31.137 NameNode2
node3 centos7 192.168.31.138 DataNode2
node4 centos7 192.168.31.139 DataNode2
node5 centos7 192.168.31.140 DataNode3

2、 詳細配置可參照部落格: 安裝VMware及建立虛拟機和 VMware中安裝centons7

3、詳細配置可參照筆者部落格: 網絡設定(靜态IP)

 一、檢視本機網卡名字指令

 ll /etc/sysconfig/network-scripts/ | grep ifcfg-en

二、修改網卡配置指令

vi /etc/sysconfig/network-scripts/ifcfg-eth0 修改指令 注:eth0是自己的網卡名字

進入後按i輸入,編輯完後按esc,然後wq,回車即可。

三、檢視網卡配置指令

cat /etc/sysconfig/network-scripts/ifcfg-eth0 檢視指令

修改前:

hadoop 單機/僞分布式/叢集、分布式/Ha高可用搭建環境配置

修改後:

hadoop 單機/僞分布式/叢集、分布式/Ha高可用搭建環境配置

檢視修改的内容:

hadoop 單機/僞分布式/叢集、分布式/Ha高可用搭建環境配置

三、重新開機網絡

systemctl restart network

四、ping剛剛修改的IP

ping 192.168.31.136

hadoop 單機/僞分布式/叢集、分布式/Ha高可用搭建環境配置

4、ip和主機名映射配置

 一、修改主機名指令

 vi /etc/hostname

 進入按i輸入後按esc然後:wq 即可

hadoop 單機/僞分布式/叢集、分布式/Ha高可用搭建環境配置

修改主機名後ping主機名

 二、修改主機和ip映射配置指令

  vi /etc/hosts

hadoop 單機/僞分布式/叢集、分布式/Ha高可用搭建環境配置

5、建立hadoop使用者 

建立使用者

 useradd -m hadoop -G root -s /bin/bash

 -m 建立主體目錄

 -G 追加到一個組中

 -s 便是登陸後使用的shell

設定密碼指令

 passwd hadoop 

hadoop 單機/僞分布式/叢集、分布式/Ha高可用搭建環境配置
hadoop 單機/僞分布式/叢集、分布式/Ha高可用搭建環境配置

6、配置ssh免密登陸

 此處我們用node1的hadoop使用者免密登陸到node2到hadoop使用者并拷貝檔案

 一、在node1、node2、node3、node4、node5中使用hadoop使用者執行此指令

 ssh localhost

 二、依次執行如下指令

  ssh-keygen -t rsa

  cat id_rsa.pub >> authorized_keys

  chmod 600 authorized_keys

三、配置免密登陸

 scp authorized_keys [email protected]:~/.ssh/

hadoop 單機/僞分布式/叢集、分布式/Ha高可用搭建環境配置
hadoop 單機/僞分布式/叢集、分布式/Ha高可用搭建環境配置
hadoop 單機/僞分布式/叢集、分布式/Ha高可用搭建環境配置

 未設定ssh免密登陸前後

hadoop 單機/僞分布式/叢集、分布式/Ha高可用搭建環境配置

7、詳細配置可參照筆者部落格:JDK安裝及環境變量配置

8、詳細配置可參照筆者部落格:apache版本hadoop安裝配置

繼續閱讀