Kafka性能基准测试、Kafak生产者吞吐量测试、Kafka消费者吞吐量测试、BenchMark 10

古城微笑少年丶 2022-02-19 06:19 814阅读 0赞

# 前言\_BenchMark #

*  BenchMark是一个系统性能的测量工具，也可以看做是一种评价方式
 *  主要测试负载的执行时间、传输速度、吞吐量、资源占用率等
 *  对系统进行性能基准测试后，将得到基准数据作为性能指标的参照物，可以用于以下场景

1.任意一项变更为系统产生的影响
    
    修改某项配置参数后（启用某项参数），系统的变化情况
    
    2.系统环境的变更对系统性能产生的影响
    
    3.在相同场景下，不同框架的系统性能表现的差异

*  一些大数据BenchMark工具：

1.Hibench：由Intel开发的针对Hadoop的基准测试工具
    
    2.Berkeley BigDataBench：随着Spark的推出，由AMPLab开发的一套大数据基准测试工具
    
    3.Hadoop GridMix：Hadoop自带的Benchmark，作为Hadoop自带的测试工具使用方便、负载经典，应用广泛

除此之外，有些大型的框架会自带BenchMark工具，方便进行测试。

# 1. Kafka生产者基准测试 #

**分别使用Kafka自带的基准工具对Kafka Producer/Consumer进行性能基准测试**

*  测试背景  
    需要对Kafka Producer在不同参数下的性能
 *  性能指标  
    平均吞吐量（条/秒）、平均延时（毫秒）、平均吞吐率速度（MB/秒）

## 1.1 测试方法 ##

使用Kafka基准测试工具kafka-producer-perf进行测试  
此工具位于kafka/bin目录下  
此工具的一些必要参数如下

./kafka-producer-perf-test.sh 
    --topic 指定topic
    --num-records	指定生产数据量
    --throughput	指定吞吐量
    --record-size   record数据大小
    --producer-props key=value	指定producer配置

*  **一个实例如下：**

./kafka-producer-perf-test.sh 
    --topic louisvv
    --num-records 5000000
    --throughput -1
    --record-size 200
    --producer-props bootstrap.servers=192.168.137.100:9092,192.168.137.110:9092,192.168.137.120:9092 acks=1

*  测试参数  
    除了测试acks以及replication对kafka producer的吞吐量外，还对其他参数进行测试。  
    参数列表如下  
    ![在这里插入图片描述][20190416085031607.png]
 *  默认设置

1.  以5000万数据测试结果为准，该结果更加具有代表性
2.  测试其他参数时，默认设置acks=1,partition数为5，replication数为2。

## 1.2 测试结果分析 ##

### 1.2.1 acks作为变量 ###

*  acks作为变量，测试平均吞吐量，平均延时，平均吞吐速率，测试结果如下：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70]
 *  测试结果换算成图标如下  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 1]
 *  结论

1.  在不考虑数据丢失等情况下，设置acks=1时，吞吐量最大。是acks=all的3.51倍。
2.  在保证数据不丢失的情况下，需要选择使用acks=all，但是吞吐量会明显降低。

### 1.2.2 replication作为变量 ###

*  设置Kafka的replication-factor为2、3，进行测试
 *  测试结果如下：

![在这里插入图片描述][20190416091710984.png]

*  图表如下：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 2]
 *  结论：  
    replication数越多，吞吐量越低

### 1.2.3 batch作为变量 ###

*  分别设置Kafka的batch-size批处理大小为1000，5000，8000，10000，100000，550000，600000进行测试
 *  测试结果：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 3]
 *  折线图如下  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 4]
 *  结论：  
    batch-size大小达到阀值时，会达到吞吐量峰值，  
    当batch-size大小超过阀值后，并不会提高性能。

### 1.2.4 数据压缩作为变量 ###

*  分别设置Kafka的压缩格式为lz4、snappy、gzip，进行测试
 *  测试结果：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 5]
 *  条形图如下：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 6]
 *  结论

1.  使用snappy压缩格式，吞吐量最高
2.  启用压缩的平均延时远小于不启用压缩的平均延时
3.  Gzip压缩格式，吞吐量最低，比默认不适用压缩吞吐量还低

### 1.2.5 record-size(消息长度) ###

*  分别设置record-size大小为100、200、500、1000进行测试
 *  测试结果如下：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 7]
 *  图标如下:  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 8]
 *  结论：  
    随着消息长度的增加，吞吐量逐渐减小，但平均吞吐速率会增大。

### 1.2.6 分区作为变量 ###

*  分别设置partition为1、3、5进行测试
 *  测试结果如下  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 9]
 *  图表如下：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 10]
 *  结论  
    分区数越多，吞吐量越大

# 2. Kafka消费者基准测试 #

*  测试背景  
    需要测试Kafka Consumer在不同参数下的吞吐量
 *  性能指标  
    平均吞吐量（条/秒）、平均延时（毫秒）、平均吞吐率速率（MB/秒）

## 2.1 测试方法 ##

使用Kafka基准测试工具kafka-consumer-perf进行测试  
这个工具位于kafka/bin目录下  
这里仅简单介绍一下该工具的一些必要参数

./kafka-consumer-perf-test.sh
    --topic 指定topic
    --threads 指定线程数
    --messages 指定消费数据条数
    --broker-list kafka broker列表

*  一个实例如下：

./kafka-consumer-perf-test.sh
    --topic louisvv
    --threads 1
    --messages 5000000
    --broker-list 192.168.137.100:9092,192.168.137.110:9092,192.168.137.120:9092

*  测试参数  
    注意：replication并不会影响consumer的吞吐率，因为consumer只会从每个partition的leader读数据，而与replicaiton无关  
    ![在这里插入图片描述][20190416185303612.png]
 *  默认设置

1.  以5000万数据测试结果为准，该结果更加具有代表性默认设置
2.  测试其他参数时，partition数为5，replication数为2

## 2.2 测试结果分析 ##

### 2.2.1 以分区作为变量 ###

*  分别设置partition为1、3、5进行测试
 *  测试结果：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 11]
 *  图表如下：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 12]
 *  结论：  
    分区越多，吞吐量越高

### 2.2.2 以fetch-size作为变量 ###

*  分别设置record-size大小为50000、100000、200000、300000、400000、450000、500000、550000、600000行测试
 *  测试结果如下:  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 13]
 *  折线图如下：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 14]
 *  结论  
    fetch-size大小达到一定阈值时，会达到吞吐量峰值，当fetch-size超过阈值后，不会提升性能

### 2.2.3 以replication作为变量 ###

*  设置Kafka的replication-factor为2、3，进行测试
 *  测试结果如下：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 15]
 *  测试图表如下  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 16]
 *  结论  
    副本数越少，吞吐量越大。

### 2.2.4 以线程数作为变量 ###

*  设置Kafka的consumer线程数为1、3、5、10、20、30，进行测试
 *  测试结果：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 17]
 *  测试图表入下：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 18]
 *  结论：  
    提高consumer线程数，对吞吐量性能影响并不明显

**如果喜欢本文章，请用小手点个赞~**

[20190416085031607.png]: /images/20220219/c6de2bc6862248e2b622ac2e3fa6a8f2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70]: /images/20220219/947bbd27f6d5479ba8e5a2a253dac8b1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 1]: /images/20220219/cfcb3a57ac484018bd57da49e0a2a867.png
[20190416091710984.png]: /images/20220219/ed6f2a1d33c74e0bb090ef3787c42cf9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 2]: /images/20220219/3b378feed6c34326a84b60f30a2c1e67.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 3]: /images/20220219/39af7b43969046988a03ca8261124694.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 4]: /images/20220219/8855e5632a234368949b176e9b059685.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 5]: /images/20220219/2e2ef5b0a0dd44e982964ec93b81b4f0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 6]: /images/20220219/f2ee12572a3a4f81b8ade19a5d8eb50e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 7]: /images/20220219/f7943c8819c1460e86a03a93186b3119.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 8]: /images/20220219/6b67736f4eeb4e8ab627d9e0f10f5d72.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 9]: /images/20220219/f3dbb5e50152462499680c886180e8bc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 10]: /images/20220219/b314010b511d4b60b27a95032e31061d.png
[20190416185303612.png]: /images/20220219/b4902a46350a40fb8a1ddf88b4421a23.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 11]: /images/20220219/01c4f637f90d4005a0b45b1b22164a4f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 12]: /images/20220219/eb5770f0550f4885b555bc7a6873879c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 13]: /images/20220219/5eda209935414acb88b6966d558fdbfe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 14]: /images/20220219/adbec8f9c375412083c801ca6f8302c6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 15]: /images/20220219/6366fba6d60f4185b352a6b90c2ca748.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 16]: /images/20220219/64a0771fa1bb4877983cd9ff1528d075.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 17]: /images/20220219/8d84c491c4e04231acd2d8376398a66b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 18]: /images/20220219/54ffb17efdd7482d9d1fd87b6584c70e.png