前言
一键搭建 zookeeper/hadoop/hive/hbase/sqoop/kafka/spark/kylin 服务器资源
本地Mac有3个虚拟机
server1 192.168.84.128
server2 192.168.84.131
server3 192.168.84.132
yum install wget
yum install unzip 安装docker
mkdir /opt/bigdata
cd /opt/bigdata
# 上传docker-hadoop-test.zip
rz
unzip docker-hadoop-test.zip
cd /opt/bigdata/docker-hadoop-test
chmod 777 docker.install.sh
chmod 777 compose.install
bash docker.install.sh
bash compose.install
systemctl start docker
docker -v 安装zk
依次在3个服务器上做如下操作
chmod 777 zookeeper.sh
# 修改下服务器ip
vi zookeeper/instances.yml 
./zookeeper.sh
确认是否启动成功
安装hadoop集群
思路
- 免密登陆
./hadoop/ssh下面默认有一份私钥、公钥
这里建议删除默认秘钥改为自己的私钥
秘钥生成方法参考hadoop-key.sh脚本 - 依赖资源包下载
链接:https://pan.baidu.com/s/1PtdIYT2Np4MfDg4oB08urw
密码:iu5w
下载之后根据启动脚本修改文件名后放入/hadoop/tar/即可
- 修改集群信息
修改hadoop/instances.yml，配置集群信息，用于生成hosts文件 编译镜像并上传阿里镜像库
分别在服务器上启动该docker镜像
cd /opt/bigdata/docker-hadoop-test
./hadoop.sh 截止目前搭建好了zk集群环境 将每一个大数据组件安装在了一个docker中
后记
下篇文章咱再介绍下
如何启动每一个组件及组件之间数据如何流转的 源码
https://gitee.com/pingfanrenbiji/docker-hadoop-test