天天看点

Cloudera Manager安装Kafka集群

一、前提条件和环境

1、环境:CDH5.16.x|Centos7.x|scala 2.11

2、CM和CDH环境已经搭建完成。在CDH上集成Kafka,要求用CDH上的Zookeeper管理Kafka。

二、相关软件下载

cloudera官网kafka:

https://docs.cloudera.com/documentation/kafka/latest/topics/kafka_packaging.html

Cloudera Manager安装Kafka集群

简要说明:例如kafka_2.11-2.2.1-kafka-4.1.0.jar

2.11 scala 版本

2.2.1 apache kafka版本

4.1.0 cdk版本

下载下面的三个文件(Linux版本是6系列,选择el6,7系列选择el7)

Cloudera Manager安装Kafka集群

1、在/var/www/html/(http服务的默认目录)新建文件夹kafka_parcel。

mkdir kafka_parcel

2、将上面的三个文件上传到该目录下,并将KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha1重命名为KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha。

三、安装过程

1、添加Kafka服务

Cloudera Manager安装Kafka集群

2、安装Parcel

Cloudera Manager安装Kafka集群

配置:下载-》分配-》激活

Cloudera Manager安装Kafka集群
Cloudera Manager安装Kafka集群

Kafka parcel激活完成!

3、集群添加kafka服务安装:

Cloudera Manager安装Kafka集群

Missing required value: Destination Broker List

Missing required value: Source Broker List

可按如下方法配置即可:

a. 填写Source Brokers List

填写Kafka Broker所在节点构成的列表(用逗号分隔),如下(所有节点部署了Kafka Broker):

master:9092,slave1:9092,slave2:9092

b. 填写Destination Brokers List

若添加了Kafka MirrorMaker,则可填写其所在节点构成的列表;若未添加Kafka MirrorMaker,可填写任意服务器即可,如下:

master:9092,slave1:9092,slave2:9092

或:example.com:9092

完成配置后继续下一步,完成安装!

4、whitelist must be specified报错(配置了Kafka MirrorMaker角色),在配置界面搜索whitelist添加机器:

Cloudera Manager安装Kafka集群

四、测试Kafka

cd /opt/cloudera/parcels/KAFKA/bin/

./kafka-topics --create --zookeeper bigdata001:2181 --replication-factor 3 --partitions 3 --topic zyl_test

模拟生产者

./kafka-console-producer --broker-list bigdata001:9092 --topic zyl_test

模拟消费者

./kafka-console-consumer --bootstrap-server bigdata001:9092 --topic zyl_test --from-beginning