centos 6.6 hadoop 2.7.1 完全分布式安裝部署

1.安裝前，準備三台CENTOS 6.6系統的主機或虛機,并且關閉防火牆及selinux.

2.按如下表格配置IP位址，修改hosts檔案及本機名

192.168.199.21 hadoop21  Master

102.168.199.22 hadoop22  Slave1

192.168.199.23 hadoop23  Slave2

同理修改Slave1，Slave2的IP位址，hosts檔案及本機名。

3.安裝ORACLE JDK

先解除安裝本機openJDK,使用rpm -qa|grep java檢視，然後用rpm -e 解除安裝

從oracle網站找到最新JDK,我這選擇了JDK8

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下載下傳好以後解壓，并移至/usr/java,如果沒有可以mkdir 建立。

tar -xzvf jdk-8u51-linux-x64.gz

mv jdk1.8.0_51 /usr/java

 vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_51

export CLASSPATH=.:$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

4.在各節點分别建立Hadoop運作帳号grid,并設定密碼

5.配置SSH免密碼登陸。

在各節點分别以grid使用者名生成兩個密鑰檔案，一個是私鑰id_rsa,另一個是公鑰id_rsa.pub

ssh-keygen -t rsa -f ~/.ssh/id_rsa

然後在hadoop21上

cp /home/grid/.ssh/id_rsa.pub /home/grid/.ssh/authorized_keys

scp hadoop22:/home/grid/.ssh/id_rsa.pub pubkeys22

scp hadoop23:/home/grid/.ssh/id_rsa.pub pubkeys23

cat pubkeys22 >>  /home/grid/.ssh/authorized_keys

cat pubkeys23 >>  /home/grid/.ssh/authorized_keys

rm pubkeys22

rm pubkeys23

最後分發authorized_keys 到各節點

scp /home/grid/.ssh/authorized_keys hadoop22:/home/grid/.ssh

scp /home/grid/.ssh/authorized_keys hadoop23:/home/grid/.ssh

6.在Master機下載下傳并解壓Hadoop2.7.1（使用grid使用者名)

找到最近的hadoop鏡像，使用wget下載下傳2.7.1

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

解壓hadoop-2.7.1.tar.gz

tar -xzvf hadoop-2.7.1.tar.gz

cd hadoop-2.7.1

建立tmp,dfs,dfs/data,dfs/name

7.修改配置檔案

<a href="http://photo.blog.sina.com.cn/showpic.html#blogid=821d83720102vkx5&amp;url=http://album.sina.com.cn/pic/002nJwOegy6UlVcFqYVc1" target="_blank"></a>

修改hadoop-env.sh

8. 分發至各Salve節點

scp -r /home/grid/hadoop-2.7.1 hadoop22:/home/grid

scp -r /home/grid/hadoop-2.7.1 hadoop23:/home/grid

9.Master機格式化namenode

cd /home/grid/hadoop-2.7.1

./bin/hdfs namenode -format

10.啟動Hadoop

11.驗證是否成功

Master機應該啟動NameNode,SecondaryNameNode,ResourceManager

Slave機應該啟動DataNode,NodeManager

     本文轉自yzy121403725 51CTO部落格，原文連結：http://blog.51cto.com/lookingdream/1835082，如需轉載請自行聯系原作者