Hadoop HA 原理概述
為什麼會有 hadoop HA 機制呢？
HA：High Available，高可用
在Hadoop 2.0之前,在HDFS 叢集中NameNode 存在單點故障 (SPOF：A Single Point of Failure)。 對于隻有一個 NameNode 的叢集，如果 NameNode 機器出現故障(比如當機或是軟體、硬體 更新)，那麼整個叢集将無法使用，直到 NameNode 重新啟動
那如何解決呢？
HDFS 的 HA 功能通過配置 Active/Standby 兩個 NameNodes 實作在叢集中對 NameNode 的 熱備來解決上述問題。如果出現故障，如機器崩潰或機器需要更新維護，這時可通過此種方 式将 NameNode 很快的切換到另外一台機器。
在一個典型的 HDFS(HA) 叢集中，使用兩台單獨的機器配置為 NameNodes 。在任何時間點， 確定 NameNodes 中隻有一個處于 Active 狀态，其他的處在 Standby 狀态。其中 ActiveNameNode 負責叢集中的所有用戶端操作，StandbyNameNode 僅僅充當備機，保證一 旦 ActiveNameNode 出現問題能夠快速切換。
為了能夠實時同步 Active 和 Standby 兩個 NameNode 的中繼資料資訊（實際上 editlog），需提 供一個共享存儲系統，可以是 NFS、QJM（Quorum Journal Manager）或者 Zookeeper，Active Namenode 将資料寫入共享存儲系統，而 Standby 監聽該系統，一旦發現有新資料寫入，則 讀取這些資料，并加載到自己記憶體中，以保證自己記憶體狀态與 Active NameNode 保持基本一 緻，如此這般，在緊急情況下 standby 便可快速切為 active namenode。為了實作快速切換， Standby 節點擷取叢集的最新檔案塊資訊也是很有必要的。為了實作這一目标，DataNode 需 要配置 NameNodes 的位置，并同時給他們發送檔案塊資訊以及心跳檢測。
回到頂部
叢集規劃
描述：hadoop HA 叢集的搭建依賴于 zookeeper，是以選取三台當做 zookeeper 叢集 ，總共準備了四台主機，分别是 hadoop1，hadoop2，hadoop3，hadoop4 其中 hadoop1 和 hadoop2 做 namenode 的主備切換，hadoop3 和 hadoop4 做 resourcemanager 的主備切換
四台機器
回到頂部
叢集伺服器準備
1、 修改主機名
2、 修改 IP 位址
3、 添加主機名和 IP 映射
4、 添加普通使用者 hadoop 使用者并配置 sudoer 權限
5、 設定系統啟動級别
6、 關閉防火牆/關閉 Selinux
7、 安裝 JDK 兩種準備方式：
1、 每個節點都單獨設定，這樣比較麻煩。線上環境可以編寫腳本實作
2、 虛拟機環境可是在做完以上 7 步之後，就進行克隆
3、 然後接着再給你的叢集配置 SSH 免密登陸和搭建時間同步服務
8、 配置 SSH 免密登入
9、 同步伺服器時間
具體操作可以參考普通分布式搭建過程http://www.cnblogs.com/qingyunzong/p/8496127.html
回到頂部
叢集安裝
1、安裝 Zookeeper 叢集
具體安裝步驟參考之前的文檔http://www.cnblogs.com/qingyunzong/p/8619184.html
2、安裝 hadoop 叢集
（1）擷取安裝包
從官網或是鏡像站下載下傳
http://hadoop.apache.org/
http://mirrors.hust.edu.cn/apache/
（2）上傳解壓縮
[[email protected] ~]$ ls
apps hadoop-2.7.5-centos-6.7.tar.gz movie2.jar users.dat zookeeper.out
data log output2 zookeeper-3.4.10.tar.gz
[[email protected] ~]$ tar -zxvf hadoop-2.7.5-centos-6.7.tar.gz -C apps/ （3）修改配置檔案
配置檔案目錄：/home/hadoop/apps/hadoop-2.7.5/etc/hadoop
修改 hadoop-env.sh檔案
[[email protected] ~]$ cd apps/hadoop-2.7.5/etc/hadoop/
[[email protected] hadoop]$ echo $JAVA_HOME
/usr/local/jdk1.8.0_73
[[email protected] hadoop]$ vi hadoop-env.sh 修改core-site.xml
[[email protected] hadoop]$ vi core-site.xml 1 <configuration>
2 <!-- 指定hdfs的nameservice為myha01 -->
3 <property>
4 <name>fs.defaultFS</name>
5 <value>hdfs://myha01/</value>
6 </property>
7
8 <!-- 指定hadoop臨時目錄 -->
9 <property>
10 <name>hadoop.tmp.dir</name>
11 <value>/home/hadoop/data/hadoopdata/</value>
12 </property>
13
14 <!-- 指定zookeeper位址 -->
15 <property>
16 <name>ha.zookeeper.quorum</name>
17 <value>hadoop1:2181,hadoop2:2181,hadoop3:2181,hadoop4:2181</value>
18 </property>
19
20 <!-- hadoop連結zookeeper的逾時時長設定 -->
21 <property>
22 <name>ha.zookeeper.session-timeout.ms</name>
23 <value>1000</value>
24 <description>ms</description>
25 </property>
26 </configuration> 修改hdfs-site.xml
[[email protected] hadoop]$ vi hdfs-site.xml 1 <configuration>
2
3 <!-- 指定副本數 -->
4 <property>
5 <name>dfs.replication</name>
6 <value>2</value>
7 </property>
8
9 <!-- 配置namenode和datanode的工作目錄-資料存儲目錄 -->
10 <property>
11 <name>dfs.namenode.name.dir</name>
12 <value>/home/hadoop/data/hadoopdata/dfs/name</value>
13 </property>
14 <property>
15 <name>dfs.datanode.data.dir</name>
16 <value>/home/hadoop/data/hadoopdata/dfs/data</value>
17 </property>
18
19 <!-- 啟用webhdfs -->
20 <property>
21 <name>dfs.webhdfs.enabled</name>
22 <value>true</value>
23 </property>
24
25 <!--指定hdfs的nameservice為myha01，需要和core-site.xml中的保持一緻
26 dfs.ha.namenodes.[nameservice id]為在nameservice中的每一個NameNode設定唯一标示符。
27 配置一個逗号分隔的NameNode ID清單。這将是被DataNode識别為所有的NameNode。
28 例如，如果使用"myha01"作為nameservice ID，并且使用"nn1"和"nn2"作為NameNodes标示符
29 -->
30 <property>
31 <name>dfs.nameservices</name>
32 <value>myha01</value>
33 </property>
34
35 <!-- myha01下面有兩個NameNode，分别是nn1，nn2 -->
36 <property>
37 <name>dfs.ha.namenodes.myha01</name>
38 <value>nn1,nn2</value>
39 </property>
40
41 <!-- nn1的RPC通信位址 -->
42 <property>
43 <name>dfs.namenode.rpc-address.myha01.nn1</name>
44 <value>hadoop1:9000</value>
45 </property>
46
47 <!-- nn1的http通信位址 -->
48 <property>
49 <name>dfs.namenode.http-address.myha01.nn1</name>
50 <value>hadoop1:50070</value>
51 </property>
52
53 <!-- nn2的RPC通信位址 -->
54 <property>
55 <name>dfs.namenode.rpc-address.myha01.nn2</name>
56 <value>hadoop2:9000</value>
57 </property>
58
59 <!-- nn2的http通信位址 -->
60 <property>
61 <name>dfs.namenode.http-address.myha01.nn2</name>
62 <value>hadoop2:50070</value>
63 </property>
64
65 <!-- 指定NameNode的edits中繼資料的共享存儲位置。也就是JournalNode清單
66 該url的配置格式：qjournal://host1:port1;host2:port2;host3:port3/journalId
67 journalId推薦使用nameservice，預設端口号是：8485 -->
68 <property>
69 <name>dfs.namenode.shared.edits.dir</name>
70 <value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/myha01</value>
71 </property>
72
73 <!-- 指定JournalNode在本地磁盤存放資料的位置 -->
74 <property>
75 <name>dfs.journalnode.edits.dir</name>
76 <value>/home/hadoop/data/journaldata</value>
77 </property>
78
79 <!-- 開啟NameNode失敗自動切換 -->
80 <property>
81 <name>dfs.ha.automatic-failover.enabled</name>
82 <value>true</value>
83 </property>
84
85 <!-- 配置失敗自動切換實作方式 -->
86 <property>
87 <name>dfs.client.failover.proxy.provider.myha01</name>
88 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
89 </property>
90
91 <!-- 配置隔離機制方法，多個機制用換行分割，即每個機制暫用一行 -->
92 <property>
93 <name>dfs.ha.fencing.methods</name>
94 <value>
95 sshfence
96 shell(/bin/true)
97 </value>
98 </property>
99
100 <!-- 使用sshfence隔離機制時需要ssh免登陸 -->
101 <property>
102 <name>dfs.ha.fencing.ssh.private-key-files</name>
103 <value>/home/hadoop/.ssh/id_rsa</value>
104 </property>
105
106 <!-- 配置sshfence隔離機制逾時時間 -->
107 <property>
108 <name>dfs.ha.fencing.ssh.connect-timeout</name>
109 <value>30000</value>
110 </property>
111
112 <property>
113 <name>ha.failover-controller.cli-check.rpc-timeout.ms</name>
114 <value>60000</value>
115 </property>
116 </configuration> 修改mapred-site.xml
[[email protected] hadoop]$ cp mapred-site.xml.template mapred-site.xml
[[email protected] hadoop]$ vi mapred-site.xml 1 <configuration>
2 <!-- 指定mr架構為yarn方式 -->
3 <property>
4 <name>mapreduce.framework.name</name>
5 <value>yarn</value>
6 </property>
7
8 <!-- 指定mapreduce jobhistory位址 -->
9 <property>
10 <name>mapreduce.jobhistory.address</name>
11 <value>hadoop1:10020</value>
12 </property>
13
14 <!-- 任務曆史伺服器的web位址 -->
15 <property>
16 <name>mapreduce.jobhistory.webapp.address</name>
17 <value>hadoop1:19888</value>
18 </property>
19 </configuration> 修改yarn-site.xml
[[email protected] hadoop]$ vi yarn-site.xml 1 <configuration>
2 <!-- 開啟RM高可用 -->
3 <property>
4 <name>yarn.resourcemanager.ha.enabled</name>
5 <value>true</value>
6 </property>
7
8 <!-- 指定RM的cluster id -->
9 <property>
10 <name>yarn.resourcemanager.cluster-id</name>
11 <value>yrc</value>
12 </property>
13
14 <!-- 指定RM的名字 -->
15 <property>
16 <name>yarn.resourcemanager.ha.rm-ids</name>
17 <value>rm1,rm2</value>
18 </property>
19
20 <!-- 分别指定RM的位址 -->
21 <property>
22 <name>yarn.resourcemanager.hostname.rm1</name>
23 <value>hadoop3</value>
24 </property>
25
26 <property>
27 <name>yarn.resourcemanager.hostname.rm2</name>
28 <value>hadoop4</value>
29 </property>
30
31 <!-- 指定zk叢集位址 -->
32 <property>
33 <name>yarn.resourcemanager.zk-address</name>
34 <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
35 </property>
36
37 <property>
38 <name>yarn.nodemanager.aux-services</name>
39 <value>mapreduce_shuffle</value>
40 </property>
41
42 <property>
43 <name>yarn.log-aggregation-enable</name>
44 <value>true</value>
45 </property>
46
47 <property>
48 <name>yarn.log-aggregation.retain-seconds</name>
49 <value>86400</value>
50 </property>
51
52 <!-- 啟用自動恢複 -->
53 <property>
54 <name>yarn.resourcemanager.recovery.enabled</name>
55 <value>true</value>
56 </property>
57
58 <!-- 制定resourcemanager的狀态資訊存儲在zookeeper叢集上 -->
59 <property>
60 <name>yarn.resourcemanager.store.class</name>
61 <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
62 </property>
63 </configuration> 修改slaves
[[email protected] hadoop]$ vi slaves hadoop1
hadoop2
hadoop3
hadoop4 （4）将hadoop安裝包分發到其他叢集節點
重點強調： 每台伺服器中的hadoop安裝包的目錄必須一緻， 安裝包的配置資訊還必須保持一緻
重點強調： 每台伺服器中的hadoop安裝包的目錄必須一緻， 安裝包的配置資訊還必須保持一緻
重點強調： 每台伺服器中的hadoop安裝包的目錄必須一緻， 安裝包的配置資訊還必須保持一緻
[[email protected] apps]$ scp -r hadoop-2.7.5/ hadoop2:$PWD
[[email protected] apps]$ scp -r hadoop-2.7.5/ hadoop3:$PWD
[[email protected] apps]$ scp -r hadoop-2.7.5/ hadoop4:$PWD （5）配置Hadoop環境變量
千萬注意：
1、如果你使用root使用者進行安裝。 vi /etc/profile 即可 系統變量
2、如果你使用普通使用者進行安裝。 vi ~/.bashrc 使用者變量
本人是用的hadoop使用者安裝的
[[email protected] ~]$ vi .bashrc export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin: 使環境變量生效
[[email protected] bin]$ source ~/.bashrc （6）檢視hadoop版本
[[email protected] ~]$ hadoop version
Hadoop 2.7.5
Subversion Unknown -r Unknown
Compiled by root on 2017-12-24T05:30Z
Compiled with protoc 2.5.0
From source with checksum 9f118f95f47043332d51891e37f736e9
This command was run using /home/hadoop/apps/hadoop-2.7.5/share/hadoop/common/hadoop-common-2.7.5.jar
[[email protected] ~]$ 回到頂部
Hadoop HA叢集的初始化
重點強調：一定要按照以下步驟逐漸進行操作
重點強調：一定要按照以下步驟逐漸進行操作
重點強調：一定要按照以下步驟逐漸進行操作
1、啟動ZooKeeper
啟動4台伺服器上的zookeeper服務
hadoop1
[[email protected] conf]$ zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/hadoop/apps/zookeeper-3.4.10/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[[email protected] conf]$ jps
2674 Jps
2647 QuorumPeerMain
[[email protected] conf]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/apps/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[[email protected] conf]$ hadoop2
[[email protected] conf]$ zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/hadoop/apps/zookeeper-3.4.10/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[[email protected] conf]$ jps
2592 QuorumPeerMain
2619 Jps
[[email protected] conf]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/apps/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[[email protected] conf]$ hadoop3
[[email protected] conf]$ zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/hadoop/apps/zookeeper-3.4.10/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[[email protected] conf]$ jps
16612 QuorumPeerMain
16647 Jps
[[email protected] conf]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/apps/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[[email protected] conf]$ hadoop4
[[email protected] conf]$ zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/hadoop/apps/zookeeper-3.4.10/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[[email protected] conf]$ jps
3596 Jps
3567 QuorumPeerMain
[[email protected] conf]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/apps/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: observer
[[email protected] conf]$ 2、在你配置的各個journalnode節點啟動該程序
按照之前的規劃，我的是在hadoop1、hadoop2、hadoop3上進行啟動，啟動指令如下
hadoop1
[[email protected] conf]$ hadoop-daemon.sh start journalnode
starting journalnode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-journalnode-hadoop1.out
[[email protected] conf]$ jps
2739 JournalNode
2788 Jps
2647 QuorumPeerMain
[[email protected] conf]$ hadoop2
[[email protected] conf]$ hadoop-daemon.sh start journalnode
starting journalnode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-journalnode-hadoop2.out
[[email protected] conf]$ jps
2592 QuorumPeerMain
3049 JournalNode
3102 Jps
[[email protected] conf]$ hadoop3
[[email protected] conf]$ hadoop-daemon.sh start journalnode
starting journalnode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-journalnode-hadoop3.out
[[email protected] conf]$ jps
16612 QuorumPeerMain
16712 JournalNode
16766 Jps
[[email protected] conf]$ 3、格式化namenode
先選取一個namenode（hadoop1）節點進行格式化
[[email protected] ~]$ hadoop namenode -format View Code
4、要把在hadoop1節點上生成的中繼資料 給複制到 另一個namenode（hadoop2）節點上
[[email protected] ~]$ cd data/
[[email protected] data]$ ls
hadoopdata journaldata zkdata
[[email protected] data]$ scp -r hadoopdata/ hadoop2:$PWD
VERSION 100% 206 0.2KB/s 00:00
fsimage_0000000000000000000.md5 100% 62 0.1KB/s 00:00
fsimage_0000000000000000000 100% 323 0.3KB/s 00:00
seen_txid 100% 2 0.0KB/s 00:00
[[email protected] data]$
5、格式化zkfc
重點強調：隻能在nameonde節點進行
重點強調：隻能在nameonde節點進行
重點強調：隻能在nameonde節點進行
[[email protected] data]$ hdfs zkfc -formatZK View Code
回到頂部
啟動叢集
1、啟動HDFS
可以從啟動輸出日志裡面看到啟動了哪些程序
[[email protected] ~]$ start-dfs.sh
Starting namenodes on [hadoop1 hadoop2]
hadoop2: starting namenode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-namenode-hadoop2.out
hadoop1: starting namenode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-namenode-hadoop1.out
hadoop3: starting datanode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-datanode-hadoop3.out
hadoop4: starting datanode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-datanode-hadoop4.out
hadoop2: starting datanode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-datanode-hadoop2.out
hadoop1: starting datanode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-datanode-hadoop1.out
Starting journal nodes [hadoop1 hadoop2 hadoop3]
hadoop3: journalnode running as process 16712. Stop it first.
hadoop2: journalnode running as process 3049. Stop it first.
hadoop1: journalnode running as process 2739. Stop it first.
Starting ZK Failover Controllers on NN hosts [hadoop1 hadoop2]
hadoop2: starting zkfc, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-zkfc-hadoop2.out
hadoop1: starting zkfc, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-zkfc-hadoop1.out
[[email protected] ~]$ 檢視各節點程序是否正常
hadoop1
hadoop2
hadoop3
hadoop4
2、啟動YARN
在主備 resourcemanager 中随便選擇一台進行啟動
[[email protected] ~]$ start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /home/hadoop/apps/hadoop-2.7.5/logs/yarn-hadoop-resourcemanager-hadoop4.out
hadoop3: starting nodemanager, logging to /home/hadoop/apps/hadoop-2.7.5/logs/yarn-hadoop-nodemanager-hadoop3.out
hadoop2: starting nodemanager, logging to /home/hadoop/apps/hadoop-2.7.5/logs/yarn-hadoop-nodemanager-hadoop2.out
hadoop4: starting nodemanager, logging to /home/hadoop/apps/hadoop-2.7.5/logs/yarn-hadoop-nodemanager-hadoop4.out
hadoop1: starting nodemanager, logging to /home/hadoop/apps/hadoop-2.7.5/logs/yarn-hadoop-nodemanager-hadoop1.out
[[email protected] ~]$ 正常啟動之後，檢查各節點的程序
hadoop1
hadoop2
hadoop3
hadoop4
若備用節點的 resourcemanager 沒有啟動起來，則手動啟動起來，在hadoop3上進行手動啟動
[[email protected] ~]$ yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /home/hadoop/apps/hadoop-2.7.5/logs/yarn-hadoop-resourcemanager-hadoop3.out
[[email protected] ~]$ jps
17492 ResourceManager
16612 QuorumPeerMain
16712 JournalNode
17532 Jps
17356 NodeManager
16830 DataNode
[[email protected] ~]$ 3、啟動 mapreduce 任務曆史伺服器
[[email protected] ~]$ mr-jobhistory-daemon.sh start historyserver
starting historyserver, logging to /home/hadoop/apps/hadoop-2.7.5/logs/mapred-hadoop-historyserver-hadoop1.out
[[email protected] ~]$ jps
4016 NodeManager
2739 JournalNode
4259 Jps
3844 DFSZKFailoverController
2647 QuorumPeerMain
3546 DataNode
4221 JobHistoryServer
3407 NameNode
[[email protected] ~]$ 4、檢視各主節點的狀态
HDFS
[[email protected] ~]$ hdfs haadmin -getServiceState nn1
standby
[[email protected] ~]$ hdfs haadmin -getServiceState nn2
active
[[email protected] ~]$ YARN
[[email protected] ~]$ yarn rmadmin -getServiceState rm1
standby
[[email protected] ~]$ yarn rmadmin -getServiceState rm2
active
[[email protected] ~]$ 5、WEB界面進行檢視
HDFS
hadoop1
hadoop2
YARN
standby節點會自動跳到avtive節點
MapReduce曆史伺服器web界面
回到頂部
叢集性能測試
1、幹掉 active namenode， 看看叢集有什麼變化
目前hadoop2上的namenode節點是active狀态，幹掉他的程序看看hadoop1上的standby狀态的namenode能否自動切換成active狀态
[[email protected] ~]$ jps
4032 QuorumPeerMain
4400 DFSZKFailoverController
4546 NodeManager
4198 DataNode
4745 Jps
4122 NameNode
4298 JournalNode
[[email protected] ~]$ kill -9 4122 hadoop2
hadoop1
自動切換成功
2、在上傳檔案的時候幹掉 active namenode， 看看有什麼變化
首先将hadoop2上的namenode節點手動啟動起來
[[email protected] ~]$ hadoop-daemon.sh start namenode
starting namenode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-namenode-hadoop2.out
[[email protected] ~]$ jps
4032 QuorumPeerMain
4400 DFSZKFailoverController
4546 NodeManager
4198 DataNode
4823 NameNode
4298 JournalNode
4908 Jps
[[email protected] ~]$ 找一個比較大的檔案，進行檔案上傳操作，5秒鐘的時候幹掉active狀态的namenode，看看檔案是否能上傳成功
hadoop2進行上傳
[[email protected] ~]$ ll
總用量 194368
drwxrwxr-x 4 hadoop hadoop 4096 3月 23 19:48 apps
drwxrwxr-x 5 hadoop hadoop 4096 3月 23 20:38 data
-rw-rw-r-- 1 hadoop hadoop 199007110 3月 24 09:51 hadoop-2.7.5-centos-6.7.tar.gz
drwxrwxr-x 3 hadoop hadoop 4096 3月 21 19:47 log
-rw-rw-r-- 1 hadoop hadoop 9935 3月 24 09:48 zookeeper.out
[[email protected] ~]$ hadoop fs -put hadoop-2.7.5-centos-6.7.tar.gz /hadoop/ hadoop1準備随時幹掉namenode
[[email protected] ~]$ jps
4128 DataNode
4498 DFSZKFailoverController
3844 QuorumPeerMain
4327 JournalNode
5095 Jps
4632 NodeManager
4814 JobHistoryServer
4015 NameNode
[[email protected] ~]$ kill -9 4015 hadoop2上的資訊，在幹掉hadoop1上namenode程序的時候，hadoop2報錯
View Code
在HDFS系統或web界面檢視是否上傳成功
指令檢視
[[email protected] ~]$ hadoop fs -ls /hadoop/
Found 1 items
-rw-r--r-- 2 hadoop supergroup 199007110 2018-03-24 09:54 /hadoop/hadoop-2.7.5-centos-6.7.tar.gz
[[email protected] ~]$ web界面下載下傳
發現HDFS系統的檔案大小和我們要上傳的檔案大小一緻，均為199007110，說明在上傳過程中幹掉active狀态的namenode，我們仍可以上傳成功，HA起作用了
3、幹掉 active resourcemanager， 看看叢集有什麼變化
目前hadoop4上的resourcemanager是活動的，幹掉他的程序觀察情況
[[email protected] ~]$ jps
3248 ResourceManager
3028 QuorumPeerMain
3787 Jps
3118 DataNode
3358 NodeManager
[[email protected] ~]$ kill -9 3248 發現hadoop4的web界面打不開了
打開hadoop3上YARN的web界面檢視，發現hadoop3上的resourcemanager變為active狀态
4、在執行任務的時候幹掉 active resourcemanager，看看叢集有什麼變化
上傳一個比較大的檔案到HDFS系統上
[[email protected] output2]$ hadoop fs -mkdir -p /words/input/
[[email protected] output2]$ ll
總用量 82068
-rw-r--r--. 1 hadoop hadoop 84034300 3月 21 22:18 part-r-00000
-rw-r--r--. 1 hadoop hadoop 0 3月 21 22:18 _SUCCESS
[[email protected] output2]$ hadoop fs -put part-r-00000 /words/input/words.txt
[[email protected] output2]$ 執行wordcount進行單詞統計，在map執行過程中幹掉active狀态的resourcemanager，觀察情況變化
首先啟動hadoop4上的resourcemanager程序
[[email protected] ~]$ yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /home/hadoop/apps/hadoop-2.7.5/logs/yarn-hadoop-resourcemanager-hadoop4.out
[[email protected] ~]$ jps
3028 QuorumPeerMain
3847 ResourceManager
3884 Jps
3118 DataNode
3358 NodeManager
[[email protected] ~]$ 在hadoop1上執行單詞統計
[[email protected] ~]$ cd apps/hadoop-2.7.5/share/hadoop/mapreduce/
[[email protected] mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.7.5.jar wordcount /words/input/ /words/output/ 在hadoop3上随時準備幹掉resourcemanager程序
[[email protected] ~]$ jps
3488 JournalNode
3601 NodeManager
4378 Jps
3291 QuorumPeerMain
3389 DataNode
3757 ResourceManager
[[email protected] ~]$ kill -9 3757 在map階段進行到43%時幹掉resourcemanager程序
View Code
發現計算過程沒有任何報錯，web界面也顯示任務執行成功