linux kafka安裝配置

簡述

Kafka 官網：http://kafka.apache.org/

Kafka下載下傳位址：http://kafka.apache.org/quickstart

Kafka 其實是一個分布式流處理平台，但是由于它擁有這樣幾個功能讓它變得獨特

1. 消息流訂閱和釋出
2. 消息流處理
3. 分布式流存儲

安裝

安裝準備

kafak 安裝前需要準備 jdk環境，zookeeper環境

安裝、配置

## 添加環境變量
vi /etc/profile
## 添加【①】
source /etc/profile

# 修改Kafka 的配置檔案 server.properties【②】
vim /usr/local/kafka_2.12-2.1.0/config/server.properties
## 前天啟動kafka
kafka-server-start.sh config/server.properties
## 背景啟動kafka
kafka-server-start.sh -daemon config/server.properties

# 檢查是否成功
jps -l
netstat -ntlp

## 建立一個topic
kafka-topics.sh --create --zookeeper 129.211.92.188:2181 --replication-factor 1 --partitions 1 --topic test
## 檢視消息主題清單
kafka-topics.sh --list --zookeeper 129.211.92.188:2181
## 檢視topic 資訊
kafka-topics.sh --zookeeper 129.211.92.188:2181 --describe --topic test
## 删除topic 
kafka-topics.sh --zookeeper 129.211.92.188:2181 --delete --topic test
## 建立生産者 （新開一個終端執行）
kafka-console-producer.sh --broker-list 129.211.92.188:9092 --topic test
## 建立消費者 （新開一個終端執行）
kafka-console-consumer.sh --bootstrap-server 129.211.92.188:9092 --topic test --from-beginning
           

【①】 /etc/profile 添加 kafka環境變量

export KAFKA_HOME=/usr/local/kafka_2.12-2.1.0
export PATH=$PATH:$KAFKA_HOME/bin
           

【②】修改Kafka 的配置檔案 server.properties

# broker 的編号，如果叢集中有多個broker,則每個broker 的編号要設定的不同
broker.id=0
# 偵聽器清單——我們将偵聽的uri及其協定的逗号分隔清單
# listeners的合法配置類型例如: PLAINTEXT://myhost:9092,TRACE://:9091 PLAINTEXT://0.0.0.0:9092, TRACE://localhost:9093
listeners=PLAINTEXT://:9092
# 存放消息的日志檔案
log.dirs=/tmp/kafka-logs/
## 外網通路的位址 171.220.211.158 為往外網ip （也可是使用外網域名）
advertised.listeners=PLAINTEST://171.220.211.158:9092
## 或者使用host  hostname為在/etc/hosts 配置171.220.211.158 hostname
advertised.listeners=PLAINTEST://hostname:9092
# kafka所需要的Zookeeper叢集位址 
# zookeeper.connect=localhost:2181/kafka
           

使用

未做ack時的消息進度 CURRENT-OFFSET 一直未0

參考

Kafka在Linux Centos7伺服器上的安裝與配置

kafka外部通路設定

Connection to node -1 (/ip:9092) could not be established. Broker may not be available 錯誤解決

Kafka的partions和replication-factor參數的了解