Hadoop手把手逐級搭建(3) Hadoop高可用(HA)

1.1 進入$HADOOP_HOME/etc/目錄

1.2 備份hadoop完全分布式配置,命名為hadoop-full，供以後使用

1.3 檢視$HADOOP_HOME/etc/目錄，備份成功

2.1 在hadoop2上生成密匙

2.2 在hadoop2上配置對自身免密

2.3 在hadoop2上檢視authorized_keys密匙

2.4 在hadoop2上将公匙拷貝給hadoop1

2.5 在hadoop2上測試ssh到hadoop1是否成功免密

3.1 進入/opt/test/目錄

3.2 通過xftp将zookeeper-3.4.6.tar.gz上傳到hadoop2的/opt/test/目錄

3.3 解壓縮檔案

3.4 為hadoop2,hadoop3,hadoop4設定zookeeper環境變量

3.5 編輯zoo.cfg檔案

3.6 設定zookeeper節點對應的ID

3.7 将zookeeper-3.4.6目錄分發到其他節點上

3.8 驗證zookeeper是否安裝成功

3.9 使用zookeeper用戶端

4.1 進入$HADOOP_HOME/etc/hadoop目錄

4.2 修改hdfs-site.xml檔案

4.3 修改core-site.xml檔案，将原有配置替換如下

4.4 将修改後的hdfs-site.xml和core-site.xml分發到其他節點

5.1 啟動zookeeper

5.2 啟動journalnode

5.3 在hadoop1上格式化namenode

5.4 在hadoop1上啟動namenode

5.5 在hadoop2，即另一台namenode上同步hadoop1的CID等資訊

5.6 在hadoop1上啟動其他服務

5.7 在hadoop1上格式化zookeeper

5.8 在hadoop2,hadoop3,hadoop4上使用zkCli.sh檢視格式化結果

6.1 啟動zookeeper

6.2 啟動hdfs叢集

6.3 啟動yarn

7.1 從hadoop1進入$HADOOP_HOME/share/hadoop/mapreduce/目錄

7.2上傳test.txt檔案到根目錄

7.3 運作wordcount測試程式，輸出到/output

7.4 檢視mapreduce運作結果