Kafka工具--雅虎CMAK

红太狼 2022-10-29 15:29 259阅读 0赞

原文网址：[Kafka工具--雅虎CMAK\_IT利刃出鞘的博客-CSDN博客][Kafka_--_CMAK_IT_-CSDN]

# 其他网址 #

> [kafka-manager 安装\_Do-CSDN博客][kafka-manager _Do-CSDN]  
> [Kafka集群管理工具kafka-manager的安装使用\_weixin\_42073629的博客-CSDN博客][Kafka_kafka-manager_weixin_42073629_-CSDN]
> 
> [CentOS安装KafkaManager - SegmentFault 思否][CentOS_KafkaManager - SegmentFault]

> github： [https://github.com/yahoo/CMAK][https_github.com_yahoo_CMAK]

# 简介 #

CMAK (Cluster Manager for Apache Kafka, previously known as Kafka Manager)之前的名字是：kafka manager。

*  3.0.0.2 及以后的版本需要 Java 11+，之前的版本需要Java8
 *  3.0.0.2 及命令也和之前版本不一样

# 安装 #

## 步骤 ##

**其他网址**

> [https://github.com/yahoo/CMAK/releases][https_github.com_yahoo_CMAK_releases]

**简介**

*  Kafka-manager可以自己编译或者直接用别人编译好的。
 *  3.0.0.2之后官方已经提供了编译好的版本，要求JDK 11+，配置和启动部分都有变化。
 *  自己编译很麻烦，要用sbt工具，我自己没编译成功，本文直接用别人编译好的。

**步骤**

**1.下载解压**

> **用别人编译好的**：

> [https://github.com/wolfogre/kafka-manager-docker/releases][https_github.com_wolfogre_kafka-manager-docker_releases]

**2.配置**

> 我把上边下载的2.0.0.2文件放到此路径：D:\\dev\\kafka-manager。

> conf/application.conf
> 
> 配置 zookeeper 地址：
> 
>     kafka-manager.zkhosts="127.0.0.1:2181,other.zookeeper.host.com:2181"

**3.运行**

> 先运行zookeeper，再运行kafka，再运行kafka-manager。
> 
> \-Dhttp.port：kafka-manager默认使用9000端口，使用-Dhttp.port指定端口  
> \-Dconfig.file=..\\conf\\application.conf：指定配置文件
> 
>     cd /d D:\dev\kafka-manager\bin
>     kafka-manager -Dconfig.file=..\conf\application.conf -Dhttp.port=9002
>     @cmd /k
> 
> 等价于：
> 
>     cd /d D:\dev\kafka-manager\bin
>     kafka-manager.bat -Dconfig.file=..\conf\application.conf -Dhttp.port=9002
>     @cmd /k
> 
> 注意：bin的路径不能太深了，不然会报错：
> 
> 输入行太长。
> 
> 命令语法不正确。
> 
> 对于本处而言，若路径为此就会报上边这个错误：D:\\dev\\kafka-manager-2.0.0.2\\bin\\

**4.测试**

> 访问：[http://localhost:9002][http_localhost_9002]
> 
> ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaXlpbmcwY2FuZ2xhbmc_size_16_color_FFFFFF_t_70][]

## 问题解决 ##

**说明**

> 执行启动命令后，可能会出现闪退的情况。

**分析**

> 这是Kafka在Window平台上存在的一个Bug。

**解决方案**

> **kafka-manager（一般只操作这步就可以了）**
> 
> 1.  安装目录\\bin目录下之前运行产生的日志文件夹application.home\_IS\_UNDEFINED和RUNNING\_PID文件

> **Zookeeper**
> 
> 1.  删除D:\\KafkaTool\\zookeeper-3.4.12\\log文件夹下的version-2文件夹
> 2.  删除D:\\KafkaTool\\zookeeper-3.4.12\\data文件夹下的version-2文件夹
> 
> **Kafka**
> 
> 1.  删除日志：Kafka安装目录/logs。不要怕丢失,日志还会自动生成
> 2.  删除meta-properties文件。对于windows：Kafka安装目录\\bin\\windows\\devkafka\_2.13-2.7.0kafka-logs

# 使用 #

## 添加Cluster ##

Cluster=> Add Cluster=> 展示出下图页面

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaXlpbmcwY2FuZ2xhbmc_size_16_color_FFFFFF_t_70 1][]

填写必要项，填完后点击页面最下边的“Save”。

“Kafka Version”：我用的Kafka是2.7，最新版，但kafka-manager-2.0.0.2最大只支持到2.2.0。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaXlpbmcwY2FuZ2xhbmc_size_16_color_FFFFFF_t_70 2][]

点击“Save”之后：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaXlpbmcwY2FuZ2xhbmc_size_16_color_FFFFFF_t_70 3][]

## 查看集群 ##

Cluster=> List

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaXlpbmcwY2FuZ2xhbmc_size_16_color_FFFFFF_t_70 4][]

点击想查看的集群

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaXlpbmcwY2FuZ2xhbmc_size_16_color_FFFFFF_t_70 5][]

## 查看主题 ##

“查看集群”之后=> Topic=> List

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaXlpbmcwY2FuZ2xhbmc_size_16_color_FFFFFF_t_70 6][]

点击要查看的主题即可，本处查看“topic\_welcome”示例：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaXlpbmcwY2FuZ2xhbmc_size_16_color_FFFFFF_t_70 7][]

## 问题解决 ##

**其他网址**

> [kafka\_0.10.1.0监控及管理\_1032851561的博客-CSDN博客][kafka_0.10.1.0_1032851561_-CSDN]

**No jmx port but jmx polling enabled!**

Metrics这里没有数据：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaXlpbmcwY2FuZ2xhbmc_size_16_color_FFFFFF_t_70 8][]

查看日志，发现有此打印：

> java.lang.IllegalArgumentException: requirement failed: No jmx port but jmx polling enabled!

**原因**

> kafka服务必需要开启JMX

**解决方案**

> **法1**：**启动kafka服务时指定JMX\_PORT值**
> 
> JMX\_PORT=9999 bin/kafka-server-start.sh -daemon config/server.properties
> 
> （对于windows是：kafka-server-start.bat）
> 
> **法2：****修改kafka-server-start.sh（**对于windows是：kafka-server-start.bat**）**
> 
> 在前面加上：
> 
> export JMX\_PORT=9999
> 
> （对于windows是：set JMX\_PORT=9999）

[Kafka_--_CMAK_IT_-CSDN]: https://knife.blog.csdn.net/article/details/113822765
[kafka-manager _Do-CSDN]: https://blog.csdn.net/abcdu1/article/details/113701073
[Kafka_kafka-manager_weixin_42073629_-CSDN]: https://blog.csdn.net/weixin_42073629/article/details/108906933
[CentOS_KafkaManager - SegmentFault]: https://segmentfault.com/a/1190000022221007
[https_github.com_yahoo_CMAK]: https://github.com/yahoo/CMAK
[https_github.com_yahoo_CMAK_releases]: https://github.com/yahoo/CMAK/releases
[https_github.com_wolfogre_kafka-manager-docker_releases]: https://github.com/wolfogre/kafka-manager-docker/releases
[http_localhost_9002]: http://localhost:9002
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaXlpbmcwY2FuZ2xhbmc_size_16_color_FFFFFF_t_70]: /images/20221024/5d7a5e72cdda4ac5b9c7e8679a4ce63c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaXlpbmcwY2FuZ2xhbmc_size_16_color_FFFFFF_t_70 1]: /images/20221024/cf5e64ab9c674b278e15f5b8610941b8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaXlpbmcwY2FuZ2xhbmc_size_16_color_FFFFFF_t_70 2]: /images/20221024/43e0acf851b049f7aedbaa158d14d300.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaXlpbmcwY2FuZ2xhbmc_size_16_color_FFFFFF_t_70 3]: /images/20221024/129188dddc7f4c5fb97398cdec1e0f72.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaXlpbmcwY2FuZ2xhbmc_size_16_color_FFFFFF_t_70 4]: /images/20221024/2944a4900af34b3ebe2eaee33e3a3331.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaXlpbmcwY2FuZ2xhbmc_size_16_color_FFFFFF_t_70 5]: /images/20221024/c4f5660c71a244d4868b8343efb6e9d3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaXlpbmcwY2FuZ2xhbmc_size_16_color_FFFFFF_t_70 6]: /images/20221024/59e5b902bbe74fafafb814655bb1d817.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaXlpbmcwY2FuZ2xhbmc_size_16_color_FFFFFF_t_70 7]: /images/20221024/05ed578cd56d4f2f8f9d5497888dac60.png
[kafka_0.10.1.0_1032851561_-CSDN]: https://blog.csdn.net/czmacd/article/details/55212919
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaXlpbmcwY2FuZ2xhbmc_size_16_color_FFFFFF_t_70 8]: /images/20221024/b1e61a010e2d45b6a3ebb0369d70e9ae.png