kafka安装_安装kafka集群

前言

本次安装的kafka的版本是1.1.0.

下载

先来说一下官网地址：

http://kafka.apache.org/
           

然后我这里给出我下载的版本地址：

https://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgz
           

安装

然后解压到安装位置：

tar -zxvf kafka_2.11-1.1.0.tgz -C /opt/bigdata

# 修改名字
mv kafka_2.11-1.1.0 kafka
           

修改配置文件

在每个服务器上面都有相同的配置，只不过broker.id和host.name不同，根据当前服务器节点来修改。

#指定broker的id，它是唯一标识，不能够重复
broker.id=0

#指定当前broker的服务地址
host.name=node1

#kafka集群数据存放的目录，如果一台服务器上面有多块硬盘，可以同时写多个地址，用逗号分割
log.dirs=/opt/bigdata/kafka/kafka-logs

#指定依赖zk的地址
zookeeper.connect=node1:2181,node2:2181,node3:2181

#指定kafka中的topic是否可以删除，默认是false，表示不可以删除，改为true，可以删除
delete.topic.enable=true
           

分发安装包到其他机器上面

scp -r kafka node2:/opt/bigdata
scp -r kafka node3:/opt/bigdata
scp /etc/profile node2:/etc
scp /etc/profile node3:/etc
           

配置kafka环境变量

export KAFKA_HOME=/opt/bigdata/kafka
export PATH=$PATH:$KAFKA_HOME/bin
           

启动

记住，需要在每个节点分别启动，但是在启动kafka集群之前还需要先启动zookeeper，因为他依赖zookeeper来注册

nohup kafka-server-start.sh /opt/bigdata/kafka/config/server.properties > /dev/null 2>&1 &
           

停止

nohup kafka-server-stop.sh > /dev/null 2>&1 &