1.zookeepe介紹
ZooKeeper 是一個針對大型分布式系統的可靠協調系統;它提供的功能包括:配置維護、名字服務、分布式同步、組服務等; 它的目标就是封裝好複雜易出錯的關鍵服務,将簡單易用的接口和性能高效、功能穩定的系統提供給使用者; ZooKeeper 已經成為 Hadoop 生态系統中的基礎元件。
主要版本有如下幾個:
2.zookeeper完全分布式叢集安裝與配置
1. zookeeper下載下傳
zookeeper主要有兩個版本:一個是Apache版本,一個是Cloudera版本
1)下載下傳Apache的版本的Zookeper
2)下載下傳Cloudera版本的Zookeeper
我這裡下載下傳的是Cloudera版本的zookeeper-3.4.5-cdh5.9.3.tar.gz,将下載下傳好的zookeeper上傳到bigdata-pro01.com節點的/opt/softwares目錄下。
2.zookeeper安裝
- 解壓Zookeeper
-修改配置
1)進入到配置檔案所在目錄:
cd /opt/modules/zookeeper-.-cdh5./conf
2)将模闆複制成配置檔案
3)配置zoo.cfg,修改配置項dataDir
介紹一下各個配置項的作用:
- 這個時間是作為Zookeeper伺服器之間或用戶端與伺服器之間維持心跳的時間間隔
- 配置 Zookeeper 接受用戶端初始化連接配接時最長能忍受多少個心跳時間間隔數。
- Leader 與 Follower 之間發送消息,請求和應答時間長度
- 資料目錄需要提前建立
dataDir=/opt/modules/zookeeper-3.4.5-cdh5.10.0/zkData
-
- 通路端口号
- server.每個節點服務編号=伺服器ip位址:叢集通信端口:選舉端口
server=bigdata-pro01.kfk.com::
server=bigdata-pro02.kfk.com::
server=bigdata-pro03.kfk.com::
使用vim修改配置檔案:
如圖,根據自己的主機名或者ip進行配置要配置的項主要是dataDir和server
- 分發各個節點
将配置檔案發送到其餘機器上:
cd /opt/modules
scp -r zookeeper--cdh5/ [email protected]-pro03.kfk.com:/opt/modules/
scp -r zookeeper--cdh5/ [email protected]-pro02.kfk.com:/opt/modules/
-
建立相關目錄和檔案(每台機器都要操作)
1)進入到目錄/opt/modules/zookeeper-3.4.5-cdh5.9.3/下
cd /opt/modules/zookeeper-.-cdh5./zkData
2)建立datadir配置項指定的目錄zkData
mkdir /opt/modules/zookeeper-.-cdh5./zkData
3)在zkData下建立myid檔案并根據不同節點編輯内容(此檔案用于識别主從節點,此處我們預設bigdataa-pro01為主,其餘為從)
bigdata-pro01機器中填寫:1
bigdata-pro02機器中填寫:2
bigdata-pro03機器中填寫:3
如下圖所示:
- 啟動zookeeper服務
進入到/opt/modules/zookeeper-3.4.5-cdh5.9.3下或者配置環境變量/etc/profile使指令可以在任何目錄下直接運作
1)各個節點使用如下指令啟動Zookeeper服務
2)檢視各個節點服務狀态
bin/zkServer.sh status
3)關閉各個節點服務
4)檢視Zookeeper目錄樹結構