Kafka集群安装及prometheus监控

女爷i 2021-10-13 00:49 570阅读 0赞

## 前提 ##

zookeeper安装参考：https://www.cnblogs.com/JustinLau/p/11372782.html

其他安装参考：https://www.cnblogs.com/luotianshuai/p/5206662.html

安装Kafka前需要先安装zookeeper集群，集体安装方法请参照我的另一篇文档。  
Kafka安装  
下载  
  
wget https://archive.apache.org/dist/kafka/0.8.0/kafka\_2.8.0-0.8.0.tar.gz  
  
解压  
  
tar -zxvf kafka\_2.8.0-0.8.0.tar.gz  
  
移动文件夹  
  
mv kafka\_2.8.0-0.8.0 /usr/local/hadoop/  
  
修改配置  
  
    cd /usr/local/hadoop/config  
    vi server.properties  
  
参照下图信息修改  
  
![773413-20190818152334571-66437805.png][]

### Kafaka操作 ###

启动kafka server  
cd ../  
bin/kafka-server-start.sh config/server.properties  
  
创建主题  
cd /usr/local/hadoop/bin  
./kafka-create-topic.sh --partition 1 --replica 1 --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --topic test  
  
  
检查主题是否创建成功  
  
./kafka-list-topic.sh --zookeeper 192.168.6.100:2181,192.168.6.103:2181  
  
  
启动producer  
  
./kafka-console-producer.sh --broker-list 192.168.6.100:9092 --topic test  
  
输入hello后，回车 ，然后另外打开一个shell终端  
启动consumer  
  
./kafka-console-consumer.sh --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --topic test  
  
  
关闭kafka  
  
./kafkastop.sh  
  
新版本命令  
  
    ---new version--  
       
    ./kafka-topics.sh --create --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --replication-factor 1 --partitions 1 --topic test  
       
       
    ./kafka-topics.sh --list --zookeeper 192.168.6.100:2181,192.168.6.103:2181  
       
       
    ./kafka-console-producer.sh --broker-list 192.168.6.100:9092 --topic test  
       
       
    ./kafka-console-consumer.sh --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --topic test --from-beginning  
  
附：有可能遇到的问题和解决方案  
问题1： Failed to acquire lock on file .  
这里写图片描述  
![773413-20190818164156389-373044867.png][]

解决方案：  
这是因为之前已经有kafka进程在运行，可以如下：  
通过jps命令查看进程号，并kill掉，然后重新启动kafka即问题解决

## 采集器 ##

下载地址

[https://github.com/danielqsj/kafka\_exporter/releases/download/v1.2.0/kafka\_exporter-1.2.0.linux-amd64.tar.gz][https_github.com_danielqsj_kafka_exporter_releases_download_v1.2.0_kafka_exporter-1.2.0.linux-amd64.tar.gz]

解压

tar -xzvf kafka\_exporter-1.2.0.linux-amd64.tar.gz

启动

./kafka\_exporter --kafka.server=9092

转载于:https://www.cnblogs.com/JustinLau/p/11372988.html

[773413-20190818152334571-66437805.png]: /images/20211013/52c6f90d29e9420797911f0564b2731f.png
[773413-20190818164156389-373044867.png]: /images/20211013/94b1af88741a4814b51c2a6094cb6916.png
[https_github.com_danielqsj_kafka_exporter_releases_download_v1.2.0_kafka_exporter-1.2.0.linux-amd64.tar.gz]: https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz