昨天晚上吃的東西不怎麼衛生今天肚子很難受，還好放清明了，今天剛剛從醫院回來，玩一個hadoop的分布式搭建再休息休息
廢話不多說
1、網絡配置好，關閉iptables防火牆，關閉selinux
2、jdk1.7.0_67
hadoop-2.6.5.tar.gz
上傳這兩個包
3、安裝jdk
rpm -ivh jdk-7u80-linux-x64.rpm
4、編輯vi /etc/profile
添加兩行記錄：
export JAVA_HOME=/usr/java/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
執行 . /etc/profile讓配置生效
5、解壓hadoop-2.6.5.tar.gz到/opt目錄
tar -zxf hadoop-2.6.5.tar.gz -C /opt
6、向/etc/profile添加兩行
export HADOOP_PREFIX=/opt/hadoop-2.6.5
export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
執行. /etc/profile讓配置生效
7、配置免秘鑰登入
為什麼要免密鑰的登入？？？
因為hadoop它本身要通過腳本通過ssh的方式在遠端伺服器啟動程序，如果不配置免密鑰，每次都要輸入密碼，很麻煩
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub > ~/.ssh/authorized_keys
8、修改/opt/hadoop-2.6.5/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_67
9、修改/opt/hadoop-2.6.5/etc/hadoop/slaves
node1
設定datanode程序所在的主機
10、配置/opt/hadoop-2.6.5/etc/hadoop/core-site.xml
如下圖
<!--
namenode和其他元件的通信使用hdfs協定
node1表示namenode在node1主機上
9000 namenode的服務通過端口9000釋出
namenode程序在node1主機上
-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
<!--
1、指定namenode在哪個目錄存儲中繼資料持久化檔案資訊
2、指定datanode在哪個目錄存儲block資料檔案
3、指定secondarynamenode在哪個目錄存儲fsimage和edits log資訊
實際上在該目錄下分了三個目錄存儲上面說的三個元件的資料
-->
<property>
<name>hadoop.tmp.dir</name>
<value>/var/huawei/hadoop/pseudo</value>
</property>
11、配置/opt/hadoop-2.6.5/etc/hadoop/hdfs-site.xml
如下圖
<!-- 指定block預設的副本數 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 指定secondarynamenode的http服務的位址
實際上也就指定了secondarynamenode程序所在的主機
-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node1:50090</value>
</property>
12、格式化HDFS
hdfs namenode -foramt
13、啟動HDFS
start-dfs.sh
在windows通路namenode節點資訊的位址
http://node1:50070
14、上傳檔案
hdfs dfs -D dfs.replication=1 -D dfs.blocksize=1048576 -put /
15、停止hdfs
stop-dfs.sh
頭還挺疼的，今天先在一台node上搭建一個僞hadoop，多台node其實也差不多，有不會的朋友，改天我再寫下多台node如何搭建hadoop