搭建大資料運作環境之一

前言

一鍵搭建 zookeeper/hadoop/hive/hbase/sqoop/kafka/spark/kylin      

伺服器資源

本地Mac有3個虛拟機

server1  192.168.84.128
server2  192.168.84.131
server3  192.168.84.132

yum install wget
yum install unzip      

安裝docker

mkdir /opt/bigdata
cd /opt/bigdata
# 上傳docker-hadoop-test.zip
rz
unzip docker-hadoop-test.zip
cd /opt/bigdata/docker-hadoop-test

chmod 777 docker.install.sh 
chmod 777 compose.install 

bash docker.install.sh 
bash compose.install
systemctl start docker
docker -v      

安裝zk

依次在3個伺服器上做如下操作

chmod 777 zookeeper.sh
# 修改下伺服器ip
vi zookeeper/instances.yml       

./zookeeper.sh       

​

​确認是否啟動成功​

​

安裝hadoop叢集

​

​思路​

​

• 免密登陸

./hadoop/ssh下面預設有一份私鑰、公鑰
這裡建議删除預設秘鑰改為自己的私鑰  
秘鑰生成方法參考hadoop-key.sh腳本       

• 依賴資源包下載下傳

連結:https://pan.baidu.com/s/1PtdIYT2Np4MfDg4oB08urw  
密碼:iu5w      

​

​下載下傳之後根據啟動腳本修改檔案名後放入/hadoop/tar/即可​

​

• 修改叢集資訊

修改hadoop/instances.yml，配置叢集資訊，用于生成hosts檔案      

編譯鏡像并上傳阿裡鏡像庫

分别在伺服器上啟動該docker鏡像

cd /opt/bigdata/docker-hadoop-test
./hadoop.sh      

截止目前搭建好了zk叢集環境 将每一個大資料元件安裝在了一個docker中

後記

下篇文章咱再介紹下 
如何啟動每一個元件及元件之間資料如何流轉的      

源碼

https://gitee.com/pingfanrenbiji/docker-hadoop-test