使用過KafKa叢集的人都知道,要記住KafKa的指令對于新手确實比較難,是以一般都會尋找能在頁面操作的管理工具。
今天跟大家介紹其中一款可視化Web界面管理工具,它就是kafka-manager,不過現在更名為CMAK。
![](https://img.laitimes.com/img/__Qf2AjLwojIjJCLyojI0JCLicmbw5SM4MjNwI2MyYTZ0EmN4EWZzUDO0MWNlhzN2MmYiJGO28CX0JXZ252bj91Ztl2Lc52YucWbp5GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.png)
kafka-manager管理工具簡介
它最早由雅虎開源,功能非常齊全,展示的資料非常豐富。同時使用者能夠在界面上執行一些簡單的叢集管理操作。
不過雅虎已經将其更名為CMAK(Cluster Manager for Apache Kafka)。
CMAK支援的功能
支援的特性
- 管理多個叢集
- 輕松檢查叢集狀态(主題,消費者,偏移,代理,副本分發,分區分發)
- 運作首選副本選舉
- 使用選項生成分區配置設定以選擇要使用的代理
- 運作分區重新配置設定(基于生成的配置設定)
- 使用可選主題配置建立主題(0.8.1.1具有與0.8.2+不同的配置)
- 删除主題(僅支援0.8.2+并記住在代理配置中設定delete.topic.enable = true)
- 主題清單現在訓示标記為删除的主題(僅支援0.8.2+)
- 批量生成多個主題的分區配置設定,并可選擇要使用的代理
- 批量運作重新配置設定多個主題的分區
- 将分區添加到現有主題
- 更新現有主題的配置
- 選擇性為 broker level and topic level metrics 開放JMX polling
- 選擇性過濾掉在zookeeper中沒有ids|owners|offsets|directories的消費者
下面跟大家分享下如何部署安裝這款管理工具。
CMAK管理工具支援的範圍
- 支援 Kafka 0.8以上版本
- Java 11+
- zookeeper必須是3.5+版本。
可能有些會說要求這麼多,還涉及zookeeper版本,那麼你可以選擇Kafka-manager的舊版本,比如1.3.3.23版本。
普通使用者配置Java11環境
需要提前下載下傳Java11壓縮包,解壓到指定位置。
這裡我進行了如下配置:
$ vim ~/.bash_profile export JAVA_HOME=$HOME/3rd/jdk-11.0.4export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$JAVA_HOME/bin:$PATH
生效環境變量
$ source ~/.bash_profile
驗證是否生效,如果顯示是你部署的jdk目錄路徑,那麼就生效成功了。
$ which java~/3rd/jdk-11.0.4/bin/java
普通使用者下載下傳安裝包
官網位址:https://github.com/yahoo/CMAK
這裡以3.0.0.5版本為例,進行下載下傳。
$ wget https://github.com/yahoo/CMAK/releases/download/3.0.0.5/cmak-3.0.0.5.zip
解壓安裝包,并進入解壓後的目錄。
$ unzip cmak-3.0.0.5.zip$ cd cmak-3.0.0.5
修改配置檔案application.conf
$ vim cmak-3.0.0.5/conf/application.conf
用上面的指令編輯打開檔案,将下面的兩個配置項配置成你實際的kafka叢集對應的zookeeper位址。
kafka-manager.zkhosts="kafka-manager-zookeeper:2181"cmak.zkhosts="kafka-manager-zookeeper:2181"
啟動服務
預設使用9000端口,如果端口占用,可以通過參數指定端口。
$ bin/cmak -Dconfig.file=conf/application.conf -Dhttp.port=9001
效果圖
web首頁
1.點選上圖的“Add Cluster"進入添加叢集向導。
2.配置要管理的Kafka叢集資訊
注意:如果需要管理監控的Kafka叢集已經開啟JMX_PORT,那麼就可以勾選額外藍色的選項,否則不要勾選,按照預設的不勾選即可。
添加叢集管理
如果有報錯内容是這個:
Yikes! KeeperErrorCode = Unimplemented for /kafka-manager/mutex Try again.
那麼你需要更新zookeeper到3.5+版本。
建立叢集管理成功
3.建立成功後,你就可以看到你的Kafka資訊。
叢集資訊
具體Topic清單
結束語
通過這個管理工具,我們可以進行Topic(主題)、分區等操作,不再需要通過指令行去調用Kafka叢集擷取資訊,提高我們的效率。
補充一句:我之前一直用的是kafka-manager/archive/1.3.3.23.tar.gz的壓縮包,新版本部署後效果是一樣的。如果你所部署的kafka叢集不支援最新CMAK的要求,可以下載下傳1.3.3.23.tar.gz版本試試。
感謝大家的耐心觀看,碼字不易,希望能幫助到你。
我是testerzhang,喜歡技術知識的可以關注,謝謝。