Kafka之二：Kafka集群的安装
文章目录
-
- 一、Kafka集群的安装
- 二、Kafka命令行操作
Kafka之一：Kafka简述
Kafka之三：Kafka集群工作流程
Kafka之四：Kafka与Streaming集成
一、Kafka集群的安装
1.解压、删除、重命名
2.在kafka文件下建一个文件夹logs
mkdir logs
3.修改配置文件
vim server.properties
参数解读：(修改***部分)
***
#broker的全局唯一编号，不能重复
broker.id=0
#删除topic功能使能
delete.topic.enable=true
***
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
***
#kafka运行日志存放的路径
log.dirs=/home/duck/software/kafka/logs
***
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
***
#配置连接Zookeeper集群地址
zookeeper.connect=Cloud01:2181,Cloud02:2181,Cloud03:2181
***
4.同步其他机器文件
scp -r kafka [email protected]:~/software
scp -r kafka [email protected]:~/software
5.修改另外两台机器的配置文件
/config/server.properties中的broker.id=1、broker.id=2
注：broker.id不得重复
6.启动集群
启动三台装好Kafka集群的机器
bin/kafka-server-start.sh config/server.properties
7.关闭集群
bin/kafka-server-stop.sh stop
二、Kafka命令行操作
1.查看当前服务器的所有topic
bin/kafka-topics.sh --list --zookeeper Cloud01:2181
2.创建topic
bin/kafka-topics.sh --create --zookeeper Cloud01:2181 --partitions 2 --replication-factor 2 --topic first
查看一下
bin/kafka-topics.sh --list --zookeeper Cloud01:2181
3.删除topic
bin/kafka-topics.sh --zookeeper Cloud01:2181 --delete --topic first
4.发送消息
bin/kafka-console-producer.sh --broker-list Cloud01:9092 -topic first
然后输入需要发送的消息。
5.消费消息
bin/kafka-console-consumer.sh --zookeeper Cloud01:2181 --topic first
6.查看某个topic的详情
bin/kafka-topics .sh --zookeeper Cloud01:2181 --describe --topic first
--->有问题请联系QQ1436281495^_^