@羲凡——隻為了更好的活着

Kafka 安裝完整版

Kafka 是做流計算的好基友。kafka的安裝都基本一個樣，如果安裝kafka是為了用spark streaming，建議安裝kafka_2.11-0.10.2.2 版本。下面在deptest4，deptest5，deptest6三台機器上配置kafka叢集，版本本文随便選擇一個版本(kafka1.1.1)。

0.預設你已經安裝了JDK和scala

1.下載下傳Kafka安裝包

下載下傳位址：http://archive.apache.org/dist/kafka/1.1.1/kafka_2.11-1.1.1.tgz

因為我用的scala2.11.12版本，是以下載下傳的是 kafka_2.11-1.1.1.tgz，要看清自己的版本哦

2.解壓并配置/etc/profile

a.解壓到目前檔案夾

tar -zxf software/kafka_2.11-1.1.1.tgz -C ./
           

b.進入 /etc/profile 目錄再最下面添加如下内容，儲存退出後 執行 source /etc/profile

#kafka
export KAFKA_HOME=/usr/local/package/kafka_2.11-1.1.1
export PATH=$PATH:$KAFKA_HOME/bin
           

3.修改配置檔案

配置檔案所在目錄 ${KAFKA_HOME}/config/server.properties

// 每台機器都不同，假如三台機器，可以分别是0,1,2
broker.id=0
// 能删除topic
delete.topic.enable=true
// socket server 監聽的端口，不同機器修改成不同的hostname或者ip
listeners=PLAINTEXT://deptest4:9092
// kafka 資料本地持久化目錄，如果多個目錄(挂載硬碟)可以用逗号分隔
log.dirs=/usr/local/package/kafka_2.11-1.1.1/kafka-logs
// zookeeper 配置
zookeeper.connect=deptest1:2181,deptest2:2181,deptest3:2181
           

4.分發檔案并啟動

a.分發

将kafka檔案全部分發到deptest5和deptest6上并修改 broker.id 和 listeners，然後在 /etc/profile 中添加 KAFKA_HOME

scp -r kafka_2.11-1.1.1/ [email protected]:/usr/local/package/
scp -r kafka_2.11-1.1.1/ [email protected]:/usr/local/package/
           

b.啟動(三台機器都啟動)

kafka-server-start.sh -daemon config/server.properties
           

用 jps 指令檢視存在名為 Kafka 的守護程序，表示你已經安裝成功了。

5.kafka測試

a.建立一個topic

kafka-topics.sh --create --zookeeper deptest1:2181,deptest2:2181,deptest3:2181 --replication-factor 3 --partitions 3 --topic aarontest
           

b.檢視topic資訊

kafka-topics.sh --topic aarontest --zookeeper deptest1:2181,deptest2:2181,deptest3:2181 --describe 
           

出現如下資訊

Topic:aarontest	PartitionCount:3	ReplicationFactor:3	Configs:
	Topic: aarontest	Partition: 0	Leader: 2	Replicas: 2,0,1	Isr: 2,0,1
	Topic: aarontest	Partition: 1	Leader: 0	Replicas: 0,1,2	Isr: 0,1,2
	Topic: aarontest	Partition: 2	Leader: 1	Replicas: 1,2,0	Isr: 1,2,0
           

c.建立一個生産者和一個消費者

kafka-console-producer.sh --topic aarontest --broker-list deptest4:9092,deptest5:9092,deptest6:9092 
           

kafka-console-consumer.sh --topic aarontest --zookeeper deptest1:2181,deptest2:2181,deptest3:2181
           

d.測試

在生産者裡随便輸入一個字元串，檢視消費者如果接收到，這表示成功了，截圖如下

恭喜您完成Kafka叢集的安裝

若對部落格中有任何問題，歡迎留言交流

恭喜您已經完成Kafka 的安裝

恭喜您已經完成Kafka 的安裝

恭喜您已經完成Kafka 的安裝

@羲凡——隻為了更好的活着