CDH中配置HDFS HA、Hbase HA

最近又安裝 hadoop 叢集， 故嘗試了一下配置 HDFS 的 HA，這裡使用的是 QJM 的 HA 方案。

關于 hadoop 叢集的安裝部署過程你可以參考 使用yum安裝CDH Hadoop叢集 或者 手動安裝 hadoop 叢集的過程。

叢集規劃

我一共安裝了三個節點的叢集，對于 HA 方案來說，三個節點準備安裝如下服務：

• cdh1：hadoop-hdfs-namenode(primary) 、hadoop-hdfs-journalnode、hadoop-hdfs-zkfc
• cdh2：hadoop-hdfs-namenode(standby)、hadoop-hdfs-journalnode、hadoop-hdfs-zkfc
• cdh3: hadoop-hdfs-journalnode

根據上面規劃，在對應節點上安裝相應的服務。

安裝步驟

停掉叢集

​$ sh /opt/cmd.sh ' for x in `ls /etc/init.d/|grep impala` ; do service $x stop ; done'
$ sh /opt/cmd.sh ' for x in `ls /etc/init.d/|grep hive` ; do service $x stop ; done'
$ sh /opt/cmd.sh ' for x in `ls /etc/init.d/|grep hbase` ; do service $x stop ; done'
$ sh /opt/cmd.sh ' for x in `ls /etc/init.d/|grep hadoop` ; do service $x stop ; done'
           

修改配置檔案

修改/etc/hadoop/conf/core-site.xml，做如下修改：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster:8020</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
    </property>
</configuration>
           

修改/etc/hadoop/conf/hdfs-site.xml，删掉一些原來的 namenode 配置，增加如下：

<!--  hadoop  HA -->
<property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
</property>
<property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>cdh1:8020</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>cdh2:8020</value>
</property>
<property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>cdh1:50070</value>
</property>
<property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>cdh2:50070</value>
</property>
<property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://cdh1:8485;cdh2,cdh3:8485/mycluster</value>
</property>
<property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/data/dfs/jn</value>
</property>
<property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence(hdfs)</value>
</property>
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/var/lib/hadoop-hdfs/.ssh/id_rsa</value>
</property>
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>
           

同步配置檔案

$ sh /opt/syn.sh /etc/hadoop/conf /etc/hadoop/
           

在journalnode的三個節點上建立目錄：

$ ssh cdh1 'mkdir -p /data/dfs/nn /data/dfs/jn ; chown -R hdfs:hdfs /data/dfs'
$ ssh cdh2 'mkdir -p /data/dfs/jn ; chown -R hdfs:hdfs /data/dfs/jn'
$ ssh cdh3 'mkdir -p /data/dfs/jn ; chown -R hdfs:hdfs /data/dfs/jn'
           

配置無密碼登陸

在兩個NN上配置hdfs使用者間無密碼登陸：

對于 cdh1：

$ passwd hdfs
$ su - hdfs
$ ssh-keygen
$ ssh-copy-id  cdh2
           

對于 cdh2：

$ passwd hdfs
$ su - hdfs
$ ssh-keygen
$ ssh-copy-id   cdh1
           

啟動journalnode

$ ssh cdh1 'service hadoop-hdfs-journalnode start'
$ ssh cdh2 'service hadoop-hdfs-journalnode start'
$ ssh cdh3 'service hadoop-hdfs-journalnode start'
           

格式化叢集

cdh1作為Active NameNode，先格式化：

然後啟動Active NameNode：

$ service hadoop-hdfs-namenode start
           

同步 Standby NameNode

cdh2作為 Standby NameNode，在該節點運作：

$ sudo -u hdfs hadoop namenode -bootstrapStandby
           

然後，啟動 Standby NameNode：

$ service hadoop-hdfs-namenode start
           

配置自動切換

在兩個NameNode上安裝hadoop-hdfs-zkfc

$ ssh cdh1 'yum install hadoop-hdfs-zkfc;'
$ ssh cdh2 'yum install hadoop-hdfs-zkfc;'
           

在任意一個NameNode上下面指令，其會建立一個znode用于自動故障轉移。

$ hdfs zkfc -formatZK
           

然後再兩個 NameNode 節點上啟動zkfc：

$ service hadoop-hdfs-zkfc start
           

其他操作

因為執行格式化操作，故需要在 hdfs 上建立一些目錄并設定權限，請參考其他文章。

執行手動切換：

$ sudo -u hdfs hdfs haadmin -failover nn1 nn2
           

檢視某Namenode的狀态：

$ sudo -u hdfs hdfs haadmin -getServiceState nn2
$ sudo -u hdfs hdfs haadmin -getServiceState nn1
           

配置HBase HA

先停掉 hbase，然後修改/etc/hbase/conf/hbase-site.xml，做如下修改：

<!-- Configure HBase to use the HA NameNode nameservice -->
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://mycluster:8020/hbase</value>       
  </property>
           

在 zookeeper 節點上運作/usr/lib/zookeeper/bin/zkCli.sh

$ ls /hbase/splitlogs
$ rmr /hbase/splitlogs
           

最後啟動 hbase 服務。

配置 Hive HA

運作下面指令：

$ metatool -listFSRoot  
hdfs://cdh1/user/hive/warehouse  
$ metatool -updateLocation hdfs://mycluster hdfs://cdh1 -tablePropKey avro.schema.url 
-serdePropKey schema.url  
$ metatool -listFSRoot 
hdfs://cdh1/user/hive/warehouse
           

配置 Impala

不需要做什麼修改，但是一定要記住 core-site.xml 中fs.defaultFS參數值要帶上端口号。