Kafka压力测试

落日映苍穹つ 2022-12-27 08:58 106阅读 0赞

# Kafka压力测试 #

## 一、Kafka压测 ##

> 用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈\*\*（CPU，内存，网络IO）。一般都是网络IO达到瓶颈\*\*。

kafka-consumer-perf-test.sh
    kafka-producer-perf-test.sh

## 二、Kafka Producer压力测试 ##

**（1）在/opt/module/kafka/bin目录下面有这两个文件**

[hadoop@hadoop102 kafka]$ bin/kafka-producer-perf-test.sh  --topic test --record-size 100 --num-records
     100000 --throughput -1 --producer-props bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092

说明：

*  record-size是一条信息有多大，单位是字节。
 *  num-records是总共发送多少条信息。
 *  throughput 是每秒多少条信息，设成-1，表示不限流，可测出生产者最大吞吐量。

**（2）Kafka会打印下面的信息**

100000 records sent, 95877.277085 records/sec (9.14 MB/sec), 187.68 ms avg latency, 424.00 ms max 
    latency, 155 ms 50th, 411 ms 95th, 423 ms 99th, 424 ms 99.9th.

参数解析：本例中一共写入10w条消息，吞吐量为9.14 MB/sec，每次写入的平均延迟为187.68毫秒，最大的延迟为424.00毫秒。

## 三、Kafka Consumer压力测试 ##

> Consumer的测试，如果这四个指标（IO，CPU，内存，网络）都不能改变，考虑增加分区数来提升性能。

[hadoop@hadoop102 kafka]$ bin/kafka-consumer-perf-test.sh --broker-list hadoop102:9092,hadoop103:9092,
    hadoop104:9092 --topic test --fetch-size 10000 --messages 10000000  --threads 1

参数说明：  
–zookeeper 指定zookeeper的链接信息  
–topic 指定topic的名称  
–fetch-size 指定每次fetch的数据的大小  
–messages 总共要消费的消息个数

测试结果说明：

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec
    2019-02-19 20:29:07:566, 2019-02-19 20:29:12:170, 9.5368, 2.0714, 100010, 21722.4153

开始测试时间，测试结束数据，共消费数据9.5368MB，吞吐量2.0714MB/s，共消费100010条，平均每秒消费21722.4153条。