kafka性能非常的不错

约定不等于承诺〃 2024-04-18 11:58 63阅读 0赞

### kafka性能非常的不错 ###

*  概述
 *   *  一切从问题开始
     *  针对问题1
     *  针对问题2
     *  针对问题3
     *  总结

# 概述 #

本文通过使用使用 **kafka场景** 展示的现象和监控数据变化，来提供大家实践中评估kafka的使用，提供一些参考数据。

## 一切从问题开始 ##

我们通过发出下面的疑问开场：

1.  **kafka中存在大量数据** ，我去把所有数据消费一遍，对性能有多大影响？；
2.  **大量生产者与消费者连接kafak** ,对性能有多大影响？；
3.  **kafka大量的topic** ,对性能有多大影响？；

## 针对问题1 ##

kafka中有7G左右的历史数据，本身数据在不停的流动中，不断的新的数据流入。现在启动三个消费程序，设置startoffset为 earlest，从历史数据的起始点开始消费，大约耗时1小时47分，显示消费到最新进入kafka的数据，如图1  
![kafka流量变化图1][kafka_1]  
我看到消费数据流量显著增加，数据流量变高，1个多小时消费完历史数据，数据事合理的流动，没有发生洪水式的崩溃。  
我们再看看这段时间cpu 内存的波动：  
![kafka服务器cpu变化图2][kafka_cpu_2]

![kafka服务器cpu变化图3][kafka_cpu_3]

我看到cpu波动5%，3图中蓝线事百分比，内存波动5g(实际小于，这块我不做解释)

## 针对问题2 ##

大家知道kafka发布消息是到topic partion中,消费是按照groupid，多生产者和消费者的时候，记录每一个的offset，我这边粗暴的针对很多topic发送数据，多个不容的group组消费，上面的图实质上也符合这个场景，并没有发生卡断和异常。

## 针对问题3 ##

上图中kafka服务有大于100个topic每个topic有3个partion,跑的很轻松。

## 总结 ##

kafka的使用就是放心的用的，当有人对你说，你这消费程序不能用，会导致kafka线上服务什么什么问题，事实证明不会，大家也看到我展示的截图数据量已经非常的大了。kafka给你水流不会把自己冲垮。

[kafka_1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/923e32d1d7034c0b827bba8d482b98b6.png
[kafka_cpu_2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/2128351efc8542b28f8056b6b9c120a9.png
[kafka_cpu_3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/38abdee471c64b8db64bdf6c67abebba.png