天天看點

kafka可視化工具_一款Kafka可視化Web界面管理工具:CMAKkafka-manager管理工具簡介CMAK支援的功能CMAK管理工具支援的範圍普通使用者配置Java11環境普通使用者下載下傳安裝包修改配置檔案application.conf啟動服務效果圖結束語

使用過KafKa叢集的人都知道,要記住KafKa的指令對于新手确實比較難,是以一般都會尋找能在頁面操作的管理工具。

今天跟大家介紹其中一款可視化Web界面管理工具,它就是kafka-manager,不過現在更名為CMAK。

kafka可視化工具_一款Kafka可視化Web界面管理工具:CMAKkafka-manager管理工具簡介CMAK支援的功能CMAK管理工具支援的範圍普通使用者配置Java11環境普通使用者下載下傳安裝包修改配置檔案application.conf啟動服務效果圖結束語

kafka-manager管理工具簡介

它最早由雅虎開源,功能非常齊全,展示的資料非常豐富。同時使用者能夠在界面上執行一些簡單的叢集管理操作。

不過雅虎已經将其更名為CMAK(Cluster Manager for Apache Kafka)。

CMAK支援的功能

kafka可視化工具_一款Kafka可視化Web界面管理工具:CMAKkafka-manager管理工具簡介CMAK支援的功能CMAK管理工具支援的範圍普通使用者配置Java11環境普通使用者下載下傳安裝包修改配置檔案application.conf啟動服務效果圖結束語

支援的特性

  • 管理多個叢集
  • 輕松檢查叢集狀态(主題,消費者,偏移,代理,副本分發,分區分發)
  • 運作首選副本選舉
  • 使用選項生成分區配置設定以選擇要使用的代理
  • 運作分區重新配置設定(基于生成的配置設定)
  • 使用可選主題配置建立主題(0.8.1.1具有與0.8.2+不同的配置)
  • 删除主題(僅支援0.8.2+并記住在代理配置中設定delete.topic.enable = true)
  • 主題清單現在訓示标記為删除的主題(僅支援0.8.2+)
  • 批量生成多個主題的分區配置設定,并可選擇要使用的代理
  • 批量運作重新配置設定多個主題的分區
  • 将分區添加到現有主題
  • 更新現有主題的配置
  • 選擇性為 broker level and topic level metrics 開放JMX polling
  • 選擇性過濾掉在zookeeper中沒有ids|owners|offsets|directories的消費者

下面跟大家分享下如何部署安裝這款管理工具。

CMAK管理工具支援的範圍

  1. 支援 Kafka 0.8以上版本
  2. Java 11+
  3. zookeeper必須是3.5+版本。

可能有些會說要求這麼多,還涉及zookeeper版本,那麼你可以選擇Kafka-manager的舊版本,比如1.3.3.23版本。

普通使用者配置Java11環境

需要提前下載下傳Java11壓縮包,解壓到指定位置。

這裡我進行了如下配置:

$ vim ~/.bash_profile export JAVA_HOME=$HOME/3rd/jdk-11.0.4export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$JAVA_HOME/bin:$PATH
           

生效環境變量

$ source ~/.bash_profile
           

驗證是否生效,如果顯示是你部署的jdk目錄路徑,那麼就生效成功了。

$ which java~/3rd/jdk-11.0.4/bin/java
           

普通使用者下載下傳安裝包

官網位址:https://github.com/yahoo/CMAK

這裡以3.0.0.5版本為例,進行下載下傳。

$ wget https://github.com/yahoo/CMAK/releases/download/3.0.0.5/cmak-3.0.0.5.zip
           

解壓安裝包,并進入解壓後的目錄。

$ unzip  cmak-3.0.0.5.zip$ cd cmak-3.0.0.5
           

修改配置檔案application.conf

$ vim cmak-3.0.0.5/conf/application.conf
           

用上面的指令編輯打開檔案,将下面的兩個配置項配置成你實際的kafka叢集對應的zookeeper位址。

kafka-manager.zkhosts="kafka-manager-zookeeper:2181"cmak.zkhosts="kafka-manager-zookeeper:2181"
           

啟動服務

預設使用9000端口,如果端口占用,可以通過參數指定端口。

$ bin/cmak -Dconfig.file=conf/application.conf  -Dhttp.port=9001
           

效果圖

kafka可視化工具_一款Kafka可視化Web界面管理工具:CMAKkafka-manager管理工具簡介CMAK支援的功能CMAK管理工具支援的範圍普通使用者配置Java11環境普通使用者下載下傳安裝包修改配置檔案application.conf啟動服務效果圖結束語

web首頁

1.點選上圖的“Add Cluster"進入添加叢集向導。

2.配置要管理的Kafka叢集資訊

注意:如果需要管理監控的Kafka叢集已經開啟JMX_PORT,那麼就可以勾選額外藍色的選項,否則不要勾選,按照預設的不勾選即可。

kafka可視化工具_一款Kafka可視化Web界面管理工具:CMAKkafka-manager管理工具簡介CMAK支援的功能CMAK管理工具支援的範圍普通使用者配置Java11環境普通使用者下載下傳安裝包修改配置檔案application.conf啟動服務效果圖結束語

添加叢集管理

如果有報錯内容是這個:

Yikes! KeeperErrorCode = Unimplemented for /kafka-manager/mutex Try again.

那麼你需要更新zookeeper到3.5+版本。

kafka可視化工具_一款Kafka可視化Web界面管理工具:CMAKkafka-manager管理工具簡介CMAK支援的功能CMAK管理工具支援的範圍普通使用者配置Java11環境普通使用者下載下傳安裝包修改配置檔案application.conf啟動服務效果圖結束語

建立叢集管理成功

3.建立成功後,你就可以看到你的Kafka資訊。

kafka可視化工具_一款Kafka可視化Web界面管理工具:CMAKkafka-manager管理工具簡介CMAK支援的功能CMAK管理工具支援的範圍普通使用者配置Java11環境普通使用者下載下傳安裝包修改配置檔案application.conf啟動服務效果圖結束語

叢集資訊

kafka可視化工具_一款Kafka可視化Web界面管理工具:CMAKkafka-manager管理工具簡介CMAK支援的功能CMAK管理工具支援的範圍普通使用者配置Java11環境普通使用者下載下傳安裝包修改配置檔案application.conf啟動服務效果圖結束語

具體Topic清單

結束語

通過這個管理工具,我們可以進行Topic(主題)、分區等操作,不再需要通過指令行去調用Kafka叢集擷取資訊,提高我們的效率。

補充一句:我之前一直用的是kafka-manager/archive/1.3.3.23.tar.gz的壓縮包,新版本部署後效果是一樣的。如果你所部署的kafka叢集不支援最新CMAK的要求,可以下載下傳1.3.3.23.tar.gz版本試試。

感謝大家的耐心觀看,碼字不易,希望能幫助到你。

我是testerzhang,喜歡技術知識的可以關注,謝謝。