大数据环境搭建系列-kafka集群搭建

概述

记录自己搭建kafka集群，方便以后快速搭建。机器5台（cdh01~cdh05）

1、下载

版本：kafka_2.11-0.10.2.1.tgz

2、解压

tar -zxvf kafka_2.11-0.10.2.1.tgz
           

3、创建软连接或者移动位置

ln -s kafka_2.11-0.10.2.1 kafka
           

4、环境变量配置

vim ~/.bash_profile

#kafka
export KAFKA_HOME=/bigdata/kafka
export PATH=$PATH:$KAFKA_HOME/bin
           

5、环境变量生效

source ~/.bash_profile
           

6、配置文件修改

[kafka/config/server.properties]

...
//broker每台服务器kafka唯一的标识
broker.id=1          
...
listeners=PLAINTEXT://:9092
...
log.dirs=/home/bigdata/kafka/logs
...
zookeeper.connect=cdh01:2181,cdh02:2181,cdh03:2181,cdh04:2181,cdh05:2181
...
//删除主题（不用标记为已删除标记，直接删除）
delete.topic.enable=true

#启用删除策略
log.cleanup.policy=delete
#直接删除，删除后的消息不可恢复。可配置以下两个策略：
#清理超过指定时间清理： 
log.retention.hours=16
#超过指定大小后，删除旧的消息：
log.retention.bytes=1073741824
           

7、分发文件

分发文件至其他四台机器，并修改每一台的broker.id

cdh01  broker.id=1

cdh02  broker.id=2

cdh03  broker.id=3

cdh04  broker.id=4

cdh05  broker.id=5

8、启动集群

启动kafka集群前先启动zookeeper

cd /bigdata/kafka
bin/kafka-server-start.sh config/server.properties &
           

9、测试创建test主题

kafka-topics.sh --create --zookeeper cdh01:2181 --replication-factor 3 --partitions 3 --topic test

kafka-topics.sh --create --zookeeper cdh01:2181 --replication-factor 3 --partitions 3 --topic test2
           

查看主题列表

kafka-topics.sh --list --zookeeper cdh01:2181
           

启动控制台生产消息

kafka-console-producer.sh --broker-list cdh01:9092 --topic test
           

启动控制台消费消息

kafka-console-consumer.sh --zookeeper cdh03:2181 -from-beginning --topic test
           

删除主题

kafka-topics --delete --zookeeper cdh01:2181 --topic test2