天天看點

一臉懵逼學習Hadoop-HA機制(以及HA機制的配置檔案,測試)

1:能否讓兩個NameNode都正常影響用戶端請求?

  應該讓兩個NameNode節點在某個時間隻能有一個節點正常影響用戶端請求,相應請求的必須為Active狀态的那一台。

2:standBy狀态的節點必須能夠快速無縫的切換為active狀态:

  意味着兩個NameNode必須時刻保持中繼資料的一緻;

3:HA機制,中繼資料共享存儲,資料同步的問題:

  分布式應用:管理edits(同步資料)

  qjoural:依賴zookeeper實作

4:如何避免狀态切換時候發生brain split現象:

    fencing:一是ssh發送kill指令,二是執行自定義shell腳本

5:hadoop分布式叢集HA模式部署,三台機器跑叢集:

  第一台機器:Zookeeper1 NameNode1 zkfc1 journalnode1

  第二台機器:Zookeeper2 NameNode2 zkfc2 journalnode2

  第三台機器:Zookeeper3 journalnode3 dataNode1

6:hadoop分布式叢集HA模式部署,七台機器跑叢集:

  第一台機器:namenode zkfc

  第二台機器:namenode zkfc

  第三台機器:resourcemanager

  第四台機器:resourcemanager

  第五台機器:zookeeper journalnode dataNode nodemanager

  第六台機器:zookeeper journalnode dataNode nodemanager

  第七台機器:zookeeper journalnode dataNode nodemanager