Kafka：Kafka-Eagle/efak安装启动

快来打我* 2024-03-25 23:02 75阅读 0赞

#### **Kafka 环境准备**  ####

1）关闭 Kafka 集群

kf.sh stop

2）修改/opt/module/kafka/bin/kafka-server-start.sh 命令中

vim bin/kafka-server-start.sh

修改如下参数值：

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
     export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
    fi

为

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
     export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -
    XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -
    XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -
    XX:InitiatingHeapOccupancyPercent=70"
     export JMX_PORT="9999"
     #export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
    fi

**注意：修改之后在启动 Kafka 之前要分发之其他节点**

xsync kafka-server-start.sh

#### **Kafka-Eagle 安装**  ####

0）官网：[https://www.kafka-eagle.org/][https_www.kafka-eagle.org]

1）上传压缩包 kafka-eagle-bin-2.0.8.tar.gz 到集群/opt/software 目录

2）解压到本地

tar -zxvf kafka-eagle-bin2.0.8.tar.gz

3）进入刚才解压的目录

ll
    
    efak-web2.0.8-bin.tar.gz

4）将 efak-web-2.0.8-bin.tar.gz 解压至/opt/module

tar -zxvf efak-web2.0.8-bin.tar.gz -C /opt/module/

5）修改名称

mv efak-web-2.0.8/ efak

6）修改配置文件 /opt/module/efak/conf/system-config.properties

vim system-config.properties
    
    ######################################
    # multi zookeeper & kafka cluster list
    # Settings prefixed with 'kafka.eagle.' will be deprecated, use 'efak.' 
    instead
    ######################################
    # 配置集群，可以配置监控多个集群，
    # 即为efak.zk.cluster.alias=cluster1,cluster2等逗号分开
    efak.zk.cluster.alias=cluster1
    # 配置集群zk具体的ip，多个集群，
    # 即为cluster1.zk.list=     
    # cluster2.zk.list=
    cluster1.zk.list=192.168.25.129:2181,192.168.25.128:2181,192.168.25.127:2181/kafka
    ######################################
    # zookeeper enable acl
    ######################################
    cluster1.zk.acl.enable=false
    cluster1.zk.acl.schema=digest
    cluster1.zk.acl.username=test
    cluster1.zk.acl.password=test123
    ######################################
    # broker size online list
    ######################################
    cluster1.efak.broker.size=20
    ######################################
    # zk client thread limit
    ######################################
    kafka.zk.limit.size=32
    ######################################
    # EFAK webui port
    ######################################
    efak.webui.port=8048
    ######################################
    # kafka jmx acl and ssl authenticate
    ######################################
    cluster1.efak.jmx.acl=false
    cluster1.efak.jmx.user=keadmin
    cluster1.efak.jmx.password=keadmin123
    cluster1.efak.jmx.ssl=false
    cluster1.efak.jmx.truststore.location=/data/ssl/certificates/kafka.truststor
    e
    cluster1.efak.jmx.truststore.password=ke123456
    ######################################
    # kafka offset storage
    ######################################
    # offset 保存在 kafka
    cluster1.efak.offset.storage=kafka
    # 下面注释掉
    # cluster2.efak.offset.storage=zk
    
    ######################################
    # kafka jmx uri
    ######################################
    cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/jmxrmi
    ######################################
    # kafka metrics, 15 days by default
    ######################################
    efak.metrics.charts=true
    efak.metrics.retain=15
    ######################################
    # kafka sql topic records max
    ######################################
    efak.sql.topic.records.max=5000
    efak.sql.topic.preview.records.max=10
    ######################################
    # delete kafka topic token
    ######################################
    efak.topic.token=keadmin
    ######################################
    # kafka sasl authenticate
    ######################################
    cluster1.efak.sasl.enable=false
    cluster1.efak.sasl.protocol=SASL_PLAINTEXT
    cluster1.efak.sasl.mechanism=SCRAM-SHA-256
    cluster1.efak.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramL
    oginModule required username="kafka" password="kafka-eagle";
    cluster1.efak.sasl.client.id=
    cluster1.efak.blacklist.topics=
    cluster1.efak.sasl.cgroup.enable=false
    cluster1.efak.sasl.cgroup.topics=
    cluster2.efak.sasl.enable=false
    cluster2.efak.sasl.protocol=SASL_PLAINTEXT
    cluster2.efak.sasl.mechanism=PLAIN
    cluster2.efak.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainL
    oginModule required username="kafka" password="kafka-eagle";
    cluster2.efak.sasl.client.id=
    cluster2.efak.blacklist.topics=
    cluster2.efak.sasl.cgroup.enable=false
    cluster2.efak.sasl.cgroup.topics=
    ######################################
    # kafka ssl authenticate
    ######################################
    cluster3.efak.ssl.enable=false
    cluster3.efak.ssl.protocol=SSL
    cluster3.efak.ssl.truststore.location=
    cluster3.efak.ssl.truststore.password=
    cluster3.efak.ssl.keystore.location=
    cluster3.efak.ssl.keystore.password=
    cluster3.efak.ssl.key.password=
    cluster3.efak.ssl.endpoint.identification.algorithm=https
    cluster3.efak.blacklist.topics=
    cluster3.efak.ssl.cgroup.enable=false
    cluster3.efak.ssl.cgroup.topics=
    ######################################
    # kafka sqlite jdbc driver address
    
    ######################################
    # 配置 mysql 连接
    efak.driver=com.mysql.jdbc.Driver
    efak.url=jdbc:mysql://hadoop102:3306/ke?useUnicode=true&characterEncoding=UT
    F-8&zeroDateTimeBehavior=convertToNull
    efak.username=root
    efak.password=000000
    ######################################
    # kafka mysql jdbc driver address
    ######################################
    #efak.driver=com.mysql.cj.jdbc.Driver
    #efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=U
    TF-8&zeroDateTimeBehavior=convertToNull
    #efak.username=root
    #efak.password=123456

7）添加环境变量

sudo vim /etc/profile.d/my_env.sh
    
    # kafkaEFAK
    export KE_HOME=/opt/module/efak
    export PATH=$PATH:$KE_HOME/bin

8）启动

（1）注意：启动之前需要先启动 ZK 以及 KAFKA。

kf.sh start

（2）启动 efak

bin/ke.sh start
    Version 2.0.8 -- Copyright 2016-2021
    *****************************************************************
    * EFAK Service has started success.
    * Welcome, Now you can visit 'http://192.168.10.102:8048'
    * Account:admin ,Password:123456
    *****************************************************************
    * <Usage> ke.sh [start|status|stop|restart|stats] </Usage>
    * <Usage> https://www.kafka-eagle.org/ </Usage>
    *****************************************************************

说明：如果停止 efak，执行命令。

bin/ke.sh stop

#### **Kafka-Eagle 页面**  ####

![ee36f6b34ff823dc12312efdaa9afee6.png][]

![e07cc3988b258d5fe21677c8078c5559.png][]

![883bde012a720e6601f846c0fb3ea9f2.png][]

[https_www.kafka-eagle.org]: https://www.kafka-eagle.org/
[ee36f6b34ff823dc12312efdaa9afee6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/14808cdb1bfb4f47bb3a3ac984511e28.png
[e07cc3988b258d5fe21677c8078c5559.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/73fbffd35ad2418ca8fbf69556189546.png
[883bde012a720e6601f846c0fb3ea9f2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/01087af0a65e463da1c8adfe2f06ace8.png