Windows下编译安装kafka管理工具 kafka-manager （详细）

朴灿烈づ我的快乐病毒、 2022-04-12 14:24 1268阅读 0赞

**工具简介：**

kafka-manager的Github项目地址（项目功能等介绍）：[https://github.com/yahoo/kafka-manager][https_github.com_yahoo_kafka-manager]

A tool for managing [Apache Kafka][].

It supports the following :

*  Manage multiple clusters
 *  Easy inspection of cluster state (topics, consumers, offsets, brokers, replica distribution, partition distribution)
 *  Run preferred replica election
 *  Generate partition assignments with option to select brokers to use
 *  Run reassignment of partition (based on generated assignments)
 *  Create a topic with optional topic configs (0.8.1.1 has different configs than 0.8.2+)
 *  Delete topic (only supported on 0.8.2+ and remember set delete.topic.enable=true in broker config)
 *  Topic list now indicates topics marked for deletion (only supported on 0.8.2+)
 *  Batch generate partition assignments for multiple topics with option to select brokers to use
 *  Batch run reassignment of partition for multiple topics
 *  Add partitions to existing topic
 *  Update config for existing topic
 *  Optionally enable JMX polling for broker level and topic level metrics.
 *  Optionally filter out consumers that do not have ids/ owners/ & offsets/ directories in zookeeper.

**安装环境：**

1、java 8+

2、Kafka 0.8.. or 0.9.. or 0.10.. or 0.11..

3、zookeepr 2+

4、scala

5、sbt

**java环境安装：**

安装配置过程参见：[https://blog.csdn.net/weixin\_41846320/article/details/81671162][https_blog.csdn.net_weixin_41846320_article_details_81671162]

如果环境已存在，忽略此步

**kafka安装：**

先安装下kafka,安装步骤参见：[https://blog.csdn.net/weixin\_41846320/article/details/81348798][https_blog.csdn.net_weixin_41846320_article_details_81348798]

如果已安装过，则运行命令行启动下：

首先到\\zookeeper-3.4.8的bin目录下运行：zkServer.cmd

再到kafka的目录\\kafka\_2.12-0.11.0.0下运行：.\\bin\\windows\\kafka-server-start.bat .\\config\\server.properties

**kafka-manager安装步骤：**

1、下载kafka-manager的releases中的最新zip版本： [https://github.com/yahoo/kafka-manager/releases][https_github.com_yahoo_kafka-manager_releases]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70][]

2、 下载安装kafka-manager要求scala的window版本对应的msi文件：[https://www.scala-lang.org/download/][https_www.scala-lang.org_download]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 1][]

下载好后，具体安装配置参见： [https://blog.csdn.net/weixin\_41846320/article/details/84785191][https_blog.csdn.net_weixin_41846320_article_details_84785191]

3、下载安装kafka-manager要求sbt的window版本对应的msi文件：[https://www.scala-sbt.org/download.html][https_www.scala-sbt.org_download.html]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 2][]

下载好后，具体安装配置参见：[https://blog.csdn.net/weixin\_41846320/article/details/84784175][https_blog.csdn.net_weixin_41846320_article_details_84784175]

4、编译为Windows版本

进入kafka-manager解压目录，在此打开命令窗口cmd，输入

sbt clean dist

会自动初始化工作目录，过程比较漫长，主要是下载依赖的jar包，耐心等待下，注意在配置sbt的时候使用aliyun的私服可以让这个过程缩短很多。

命令执行完成后，在 `target/universal` 目录中会产生一个zip的压缩包文件kafka-manager-1.3.3.18.zip，

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 3][]

将压缩包拷贝到要部署的目录下解压，注意路径不能太深，最好为一层：例如D:\\program\\kafka-manager-1.3.3.18，否则启动的时候可能会报错：“输入行太长。命令语法不正确。”。

在解压后的`conf`目录中打开 `application.conf`文件，修改其中的配置信息，最主要的内容为：

kafka-manager.zkhosts="localhost:2181"

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 4][] 5、启动

在解压的目录中，使用下面的命令启动Kafka-manager。

> .\bin\kafka-manager

默认情况下端口为9000，你还可以通过下面的命令指定配置文件和端口：

> .\bin\kafka-manager -Dconfig.file=.\conf\application.conf -Dhttp.port=8080

打开浏览器，输入http://127.0.0.1:9000/  就可以看到管理界面

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 5][]

**kafka-manager已经安装完毕，测试Kafka-manager：**

**1、配置集群**

输入集群的名字（如`test-cluster`）和 Zookeeper 服务器地址（如127.0.0.1`:2181`）。

选择最接近的Kafka版本（如`0.1.1.0`）。

注意：如果没有在 Kafka 中配置过 JMX\_PORT，千万不要选择第一个复选框。  
Enable JMX Polling  
如果选择了该复选框，Kafka-manager 可能会无法启动。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 7][]

点击[Go to cluster view.][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 8][]

在集群界面显示了主题和Broker的个数，点击数字可以查看具体的信息。

同时在顶部多了好几个菜单，可以查看集群、Broker、主题等信息。

** 2、新建主题**

点击【Topic】>【Create】可以方便的创建并配置主题。如下显示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 9][]

这里只在Topic中输入test-topic(名字自定义)，分区和复制因子这里简单说明一下，详细的可以查看官方介绍。

![这里写图片描述][SouthEast]

在上图一个Kafka集群中，有两个服务器，每个服务器上都有2个分区。P0,P3可能属于同一个主题，也可能是两个不同的主题。

如果设置的Partitons和Replication Factor都是2，这种情况下该主题的分步就和上图中Kafka集群显示的相同，此时P0,P3是同一个主题的两个分区。P1,P2也是同一个主题的两个分区，Server1和Server2其中一个会作为Leader进行读写操作，另一个通过复制进行同步。

如果设置的Partitons和Replication Factor都是1，这时只会根据算法在某个Server上创建一个分区，可以是P0~4中的某一个（分区都是新建的，不是先存在4个然后从中取1个）。

这里我们都设置为`1`，点击【Create】然后进入创建的这个主题，显示如下。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 10][]

点击[Go to topic view.][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 11][]

这里显示了主题的基本信息，在右侧中间的Broker这里显示了当前的Broker Id为0，分区数为1，如果集群中存在多个服务，在创建该主题时，不一定会分配到哪个Broker。

这个页面的右上部分显示了针对主题的一些操作。这些操作相对命令的方式简单和直观了很多。

[https_github.com_yahoo_kafka-manager]: https://github.com/yahoo/kafka-manager
[Apache Kafka]: http://kafka.apache.org/
[https_blog.csdn.net_weixin_41846320_article_details_81671162]: https://blog.csdn.net/weixin_41846320/article/details/81671162
[https_blog.csdn.net_weixin_41846320_article_details_81348798]: https://blog.csdn.net/weixin_41846320/article/details/81348798
[https_github.com_yahoo_kafka-manager_releases]: https://github.com/yahoo/kafka-manager/releases
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70]: /images/20220412/c10eee20b5e941fb92141ceaaeb33370.png
[https_www.scala-lang.org_download]: https://www.scala-lang.org/download/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 1]: /images/20220412/d18d9c8697bd49028dbda9622df811fd.png
[https_blog.csdn.net_weixin_41846320_article_details_84785191]: https://blog.csdn.net/weixin_41846320/article/details/84785191
[https_www.scala-sbt.org_download.html]: https://www.scala-sbt.org/download.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 2]: /images/20220412/7de58ba83db745f5afd8975caaf60c62.png
[https_blog.csdn.net_weixin_41846320_article_details_84784175]: https://blog.csdn.net/weixin_41846320/article/details/84784175
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 3]: /images/20220412/d373327c3e56433181059956fdbba256.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 4]: /images/20220412/127c439f3b0048b1b16cf16bc9da0813.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 5]: /images/20220412/3f198e828d5f4b7583945b7a0f39ffd6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 6]: /images/20220412/69e9749b3575443098debe3b083b1afe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 7]: /images/20220412/7692001f5bb14f858dfde9b7e9f1e20e.png
[Go to cluster view.]: http://127.0.0.1:9000/clusters/test-cluster
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 8]: /images/20220412/da6538575781417e993a05c7d6f50203.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 9]: /images/20220412/4b7c56fe793d44ab87517e252d271897.png
[SouthEast]: /images/20220412/f046dbe21c25472885bd8db0bd05e339.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 10]: /images/20220412/1c461d598fe443eba07157f7d8537ba8.png
[Go to topic view.]: http://127.0.0.1:9000/clusters/test-cluster/topics/test-topic
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTg0NjMyMA_size_16_color_FFFFFF_t_70 11]: /images/20220412/a3b270067a51446090f350f0ba61bce8.png