Kafka 搭建:
建立Zookeeper容器:
這裡我們用最簡單的方式建立一個獨立的Zookeeper節點,如果要考慮zookeeper的高可用,可以将其做成一個叢集,最好是能有多台機器。
$ docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper
預設的,容器内配置檔案在,/conf/zoo.cfg,資料和日志目錄預設在/data 和 /datalog,需要的話可以将上述目錄映射到主控端的可靠檔案目錄下。
建立kafka叢集節點:
使用docker指令可快速在同一台機器搭建多個kafka,隻需要改變brokerId和端口
- 節點1:
$ docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka
- 節點2:
$ docker run -d --name kafka1 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka
- 節點3:
$ docker run -d --name kafka2 -p 9094:9094 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9094 -t wurstmeister/kafka
這裡面主要設定了4個參數
1KAFKA_BROKER_ID=0
2
3KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181
4
5KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9092
6
7KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092
中間兩個參數的
192.168.0.102
改為
主控端器
的IP位址,如果不這麼設定,可能會導緻在别的機器上通路不到 kafka。
怎麼檢視本機的 ip:
$ ifconfig en0
![](https://img.laitimes.com/img/__Qf2AjLwojIjJCLyojI0JCLicmbw5SNxEWYlJjMjFTNhNTNmFTO0gzNyMWZycTMwEDN2EjMy8CX0JXZ252bj91Ztl2Lc52YucWbp5GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.png)
測試kafka:
- 進入kafka容器的指令行
$ docker exec -ti kafka /bin/bash
- 進入kafka所在目錄
$ cd opt/kafka_2.12-1.1.0/
建立Replication為2,Partition為2的topic:
$ bin/kafka-topics.sh --create --zookeeper 192.168.0.102:2181 --replication-factor 2 --partitions 2 --topic partopic
或者可以通過
kafka-manager
建立
檢視topic的狀态:
在kafka容器中的
opt/kafka_2.12-1.1.0/
目錄下輸入
$ bin/kafka-topics.sh --describe --zookeeper 192.168.0.102:2181 --topic partopic
顯示每個分區的Leader機器為broker0,在broker0和1上具有備份,Isr代表存活的備份機器中存活的。
當停掉kafka1後,
$ docker stop kafka1
再檢視topic狀态,輸出結果:
1Topic:partopic PartitionCount:2 ReplicationFactor:2 Configs:
2
3Topic: partopic Partition: 0 Leader: 0 Replicas: 0,1 Isr: 0
4
5Topic: partopic Partition: 1 Leader: 0 Replicas: 1,0 Isr: 0
建立Kafka管理節點:
kafka-manager
有圖形化UI,可以友善的監控叢集狀态,調整隊列配置
$ docker run -itd --restart=always --name=kafka-manager -p 9000:9000 -e ZK_HOSTS="192.168.0.102:2181" sheepkiller/kafka-manager
容器啟動以後通路主機的9000端口,0.0.0:9000
首次進入需要添加一個叢集辨別,如下圖所示
配置好以後,通過Zookeeper該管理節點可以讀取到整個Kafka叢集的資訊,并且我們可以通過JMX直接看到叢集的健康狀态
也可以看到主題的讀寫速度,偏移量等資訊,如下圖所示:
Brokers ,Partitions,Replicas 都能看到
以及 group:
參考文章:
https://blog.csdn.net/lblblblblzdx/article/details/80548157
https://blog.csdn.net/lblblblblzdx/article/details/80548294
原文連結:[mac 使用 docker搭建 kafka叢集 + Zookeeper + kafka-manager](mac 使用 docker搭建 kafka叢集 + Zookeeper + kafka-manager)
原文标題:[mac 使用 docker搭建 kafka叢集 + Zookeeper + kafka-manager]
本站使用「 署名-非商業性使用 4.0 國際 (CC BY-NC 4.0)」創作共享協定,轉載或使用請署名并注明出處。