大資料環境搭建系列-kafka叢集搭建

概述

記錄自己搭建kafka叢集，友善以後快速搭建。機器5台（cdh01~cdh05）

1、下載下傳

版本：kafka_2.11-0.10.2.1.tgz

2、解壓

tar -zxvf kafka_2.11-0.10.2.1.tgz
           

3、建立軟連接配接或者移動位置

ln -s kafka_2.11-0.10.2.1 kafka
           

4、環境變量配置

vim ~/.bash_profile

#kafka
export KAFKA_HOME=/bigdata/kafka
export PATH=$PATH:$KAFKA_HOME/bin
           

5、環境變量生效

source ~/.bash_profile
           

6、配置檔案修改

[kafka/config/server.properties]

...
//broker每台伺服器kafka唯一的辨別
broker.id=1          
...
listeners=PLAINTEXT://:9092
...
log.dirs=/home/bigdata/kafka/logs
...
zookeeper.connect=cdh01:2181,cdh02:2181,cdh03:2181,cdh04:2181,cdh05:2181
...
//删除主題（不用标記為已删除标記，直接删除）
delete.topic.enable=true

#啟用删除政策
log.cleanup.policy=delete
#直接删除，删除後的消息不可恢複。可配置以下兩個政策：
#清理超過指定時間清理： 
log.retention.hours=16
#超過指定大小後，删除舊的消息：
log.retention.bytes=1073741824
           

7、分發檔案

分發檔案至其他四台機器，并修改每一台的broker.id

cdh01  broker.id=1

cdh02  broker.id=2

cdh03  broker.id=3

cdh04  broker.id=4

cdh05  broker.id=5

8、啟動叢集

啟動kafka叢集前先啟動zookeeper

cd /bigdata/kafka
bin/kafka-server-start.sh config/server.properties &
           

9、測試建立test主題

kafka-topics.sh --create --zookeeper cdh01:2181 --replication-factor 3 --partitions 3 --topic test

kafka-topics.sh --create --zookeeper cdh01:2181 --replication-factor 3 --partitions 3 --topic test2
           

檢視主題清單

kafka-topics.sh --list --zookeeper cdh01:2181
           

啟動控制台生産消息

kafka-console-producer.sh --broker-list cdh01:9092 --topic test
           

啟動控制台消費消息

kafka-console-consumer.sh --zookeeper cdh03:2181 -from-beginning --topic test
           

删除主題

kafka-topics --delete --zookeeper cdh01:2181 --topic test2