JMeter - Mysql数据库以及分布式压测

￡神魔★判官ぃ 2024-04-17 23:09 66阅读 0赞

### 文章目录 ###

*  JMeter - Mysql数据库以及分布式压测
 *   *  1.数据库压测
     *   *  1.1 Mysql数据库压测基本配置
         *  1.2 数据库测试聚合报告以及JDBC Request配置详解
     *  2.分布式压测
     *   *  2.1 分布式压测介绍
         *  2.2 分布式压测原理
         *  2.3 分布式压测相关步骤以及注意事项
         *  2.4 分布式压测常见问题
         *   *  2.4.1 内存分配
             *  2.4.2 RMI密钥
         *  2.5 分布式压测实操

# JMeter - Mysql数据库以及分布式压测 #

## 1.数据库压测 ##

### 1.1 Mysql数据库压测基本配置 ###

>  之前我们简单介绍了HTTP请求的相关操作，这里我们再介绍一下我们接触比较多的DB数据库的相关测试操作。  
>  我们直接在之前20人线程组测试计划下选择`JDBC Requet`。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70]  
>  这里我们先不介绍这个界面配置，先在添加好的`JDBC Requet`添加数据库相关的配置组件。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 1]  
>  这里我们主要介绍几个核心配置：
> 
> 1.  `Max Number of connections`：最大连接数
> 2.  `MAX wait`：最大等待时间
> 3.  `Auto Commit`：是否自动提交事务
> 4.  `DataBase URL`：数据库连接地址
> 5.  `JDBC Driver Class`：数据库驱动，根据所对应数据库选择
> 6.  `Username`：数据库用户名
> 7.  `Password`：数据库密码  
>     ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 2]  
>      以这里我们要测试的Mysql为例，这里我们需要添加一个mysql相关jar包，这个是需要注意的，否则运行测试计划会错误。这里我们可以通过最外层的测试计划中`Library`来添加我们驱动jar包，这个jar包相信Java开发的同学都清楚。  
>     ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 3]  
>      另外我们在JDBC配置中填的`Variable Name of created pool`值，需要将其填入在`JDBC Request`引用配置中，如下图。另外就是我们需要编写需要压测的SQL语句，这里我们就以简单的查询为例。  
>     ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 4]  
>      最后我们添加上查看结果的结果树。  
>     ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 5]  
>      运行测试计划后，就能看到我们测试的结果啦。  
>     ![在这里插入图片描述][20190902194123273.png]  
>     ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 6]  
>      另外再稍微提一句，若是我们需要测试带有参数的SQL语句。像我们这里需要查询ID为2的书籍信息，我们首先需要修改`Query Type`为预编译的查询语句，另外就是`Parameter values`、`Parameter types`分别填上参数值以及参数类型，若有多个逗号分隔即可。  
>     ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 7]  
>     ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 8]

### 1.2 数据库测试聚合报告以及JDBC Request配置详解 ###

>  数据库的测试也可以和我们之前HTTP测试相同，添加一个聚合报告查看更加详细的测试结果。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 9]  
>  添加聚合报告之后，运行测试可以看到一些我们很熟悉的指标数据。这里详细的可以参考之前`HTTP Request`，含义相同。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 10]  
>  这里我们再对`JDBC Request`中的配置做一个介绍：
> 
> 1.  `Variable name of pool declared in JDBC connection configuration`：引用JDBC连接配置，和所需使用的JDBC Connection Configuration中配置的Variable Name Bound to Pool保持一致即可
> 2.  `Query Type`：查询SQL类型
> 3.  `Parameter Values`：参数值，多个用逗号分隔
> 4.  `Parameter Types`：参数类型，多个用逗号分隔
> 5.  `Variable Names`：SQL执行结果变量名
> 6.  `Result Variable Names`：结果变量名称，将所有执行结果封装为一个对象进行存储
> 7.  `Query Timeouts`：查询超时时间
> 8.  `Handle ResultSet`：查询结果集
> 
>    
>  这里面有部分参数例如Result Variable Names等，可能需要搭配其他组件(类似Debug Sample)使用，大家可以自己查看官方文档了解使用。

## 2.分布式压测 ##

>  在进行分布式压测前，大家可以先扫一眼[【JMeter - Linux环境压测以及HTML图形化报告】][JMeter - Linux_HTML]这篇文章，对Linux环境下进行压测有一个大概的了解。

### 2.1 分布式压测介绍 ###

>  假设我们单台服务器可以同时支持1000个并发量，若我们需要对目标进行更多压力的场景则无法满足，分布式压测就出现了。在平时场景下我们可能只需要使用单台机器对目标机器产生压力，但是在真正高并发的压测下则会因为受限于CPU、网络、IO等而无法达到目标压力。这里我们就可以使用多台机器去向目标机器产生更大的压力，模拟成千上万甚至更多用户的并发访问。  
>  例如我们一台2核4G的机器可以向API Server产生1000的并发量，那我们通过分布式压测可以达到1000\*机器数量大小的压力。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 11]

### 2.2 分布式压测原理 ###

>  分布式压测通常都会有一台机器作为Master主节点，然后其他机器作为进行压测操作的实际操作机器，称为“肉鸡”、“执行机”。我们在主节点上发起压测命令，Master节点会向其他机器发送压测脚本，"肉鸡"只需提前运行`jmeter-server`即可。测试执行完成后各台机器会将结果数据回传给Master进行汇总。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 12]  
>  实现起来也十分简单，我们点开配置文件可以看到`remote_hosts`这个配置，后面实际操作时修改即可，后面会提及。  
> ![在这里插入图片描述][20190905183919421.png]

### 2.3 分布式压测相关步骤以及注意事项 ###

>  我们在浏览[【JMeter官方用户手册】][JMeter]时，可以看到下面这段话。这里我们做一个简单总结。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 13]
> 
> 1.  系统正确的端口被打开或者防火墙被关闭，如果是虚拟机可以通过`service iptables stop`直接关闭防火墙，阿里云类似服务器在安全组上配置对应端口开放规则即可。
> 2.  所有主从客户端都应在同一个子网下。
> 3.  保证客户端可以正常对服务器发送请求。
> 4.  所有客户端需保证相同版本JMeter以及Java，混合版本可能会导致异常错误。
> 5.  给RMI设置SSL或者禁用。
> 6.  尽可能使用内网进行压测。
> 7.  所有肉鸡必须保证已经运行`jmeter-server`，可通过`ps -ef|grep jmeter-server`查看。
> 8.  JMX脚本文件只需Master机器存在即可，开始分布式压测Master机器会将JMX脚本指令发送给Slave机器；若脚本中包含CSV参数化操作，则需每台机器都拷贝一份CSV文件并且路径保持一致。

### 2.4 分布式压测常见问题 ###

>  为了接下来更顺利进行分布式压测，这里会将在整个压测过程中可能出现的问题进行一个列举和提供解决方案。

#### 2.4.1 内存分配 ####

[root@iZuf662mggaelpzvvwbgrkZ bin]# ./jmeter-server
    Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; 
    error='Cannot allocate memory' (errno=12)
    #
    # There is insufficient memory for the Java Runtime Environment to continue.
    # Native memory allocation (mmap) failed to map 1073741824 bytes for committing reserved memory.
    # An error report file with more information is saved as:

>  当我们去启动肉鸡`jmeter-server`时，可能会出现上面这个问题，根据提示我们也很容易就明白这是由于内存分配问题导致的JVM启动失败。这里我们找到`bin`目录下`jmeter`启动文件中如下图所示的`HEAP`配置，修改其初始堆内存以及最大堆内存，如果配置比较低修改为256m即可。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 14]

#### 2.4.2 RMI密钥 ####

[root@iZuf662mggaelpzvvwbgrkZ bin]# ./jmeter-server
    Server failed to start: java.rmi.server.ExportException: Listen failed on port: 0; nested exception is:
            java.io.FileNotFoundException: rmi_keystore.jks (No such file or directory)
    An error occurred: Listen failed on port: 0; nested exception is:
            java.io.FileNotFoundException: rmi_keystore.jks (No such file or directory)

>  这个问题，是因为我们没有配置RMI所需的有效密钥。这里我们不需要可以暂时将其禁用掉。打开`jmeter.property`找到`server.rmi.ssl.disable`将其改为true禁用SSL即可。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 15]

### 2.5 分布式压测实操 ###

>  这里我们同样使用之前介绍HTML可视化时使用的jmx脚本文件，稍微对基本的配置进行一些修改。将整个压测的总样本数进行一个提升并将该文件上传至Master节点机器，这里Master机器就以我们Windows环境为例。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 16]  
>  这里我们找到`jmeter.properties`中`remote_hosts`进行修改，这里我准备了两台肉鸡，大家资源充足或者实际压测中可配置多台，用逗号分隔。需保证每台机器对应端口都开放。  
> ![在这里插入图片描述][20190910112456467.png]  
>  另外之前说到的`server.rmi.ssl.disable`也需改为true禁用。这里我们先将两台肉鸡`jmeter-server`启动。  
> ![在这里插入图片描述][20190910112839588.png]  
> ![在这里插入图片描述][20190910112847672.png]  
>  再启动我们本地的JMeter打开我们需要进行压测的JMX脚本文件。这里我们可以看到这里`Remote Start`中已经有了我们之前配置的远程服务器信息，这里可以通过`Remote Start All`去开启压测。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 17]  
>  如果服务器不在同一个子网的话，在压测过程中可能会提示连接失败、超时等错误。故需要保证多个节点在同一个子网并使用内网IP地址去交互。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 18]  
>  压测完成后，肉鸡会反馈压测结果给主节点进行汇总。这里我们可以看到这次分布式压测的结果，由于我这边提供API服务的机器在压测过程中被其他小伙伴误关了，所以这里大家可以看到这次压测结果是存在`Error`的。  
>  另外我们也可以在本地通过CLI模式`./jmeter.bat -n -t C:\Users\胖胖\Desktop\server_.jmx -r -l C:\Users\胖胖\Desktop\result.jtl -e -o C:\Users\胖胖\Desktop\temp`去达到分布式压测的效果。  
> ![在这里插入图片描述][20190910120125422.png]  
>  关于`JMeter`相关的内容到这里就差不多结束了，大家可以自己动手去实践这样才能对其有更深刻的理解和更专业的使用。世界一直在进步，所以学习一直不能停止，希望大家有所收获。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/7b0963629cb04be4b7265f007634744d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/cb0c4d7d4cf2438e8b454e36a37dbc8f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/daf64fee8ffb41e5bd78128dc33950be.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/5a51aed7c4a64d0a9b51ddc1790c7041.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/eeeab240896c4395a372813d95d79de9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/80795b0c30204a4a9fe109786876c353.png
[20190902194123273.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/b4b6a411f0a9463aa3423fc457564b00.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/4104724b06a446ed90b1b875e0173470.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/197b7504d2cf4a559979fa7802d65614.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 8]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/ba4f74aa8cc1402d9bd8938d4d4a6e10.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 9]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/67c00ba9e18f4ad8b1ffc666509da1b1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 10]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/46e2df96b19c46e4be91c1ecff3d1428.png
[JMeter - Linux_HTML]: https://blog.csdn.net/u013985664/article/details/100578075
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 11]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/0038ce554fac4d4c9ef37432c945d1fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 12]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/4de9ebf8d8c249b6b3301d0a08501b07.png
[20190905183919421.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/e7d0fc2c2e7b4f66932fb96f56068468.png
[JMeter]: http://jmeter.apache.org/usermanual/jmeter_distributed_testing_step_by_step.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 13]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/08ded580a170466cb92e12730f65b2fd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 14]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/e3efe5dd0da94fe49a374f7d0b41aef6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 15]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/4c176bd2962b4156a8e89fb04ba333a5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 16]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/43a2a4f3d0724f40bf067fef775f0891.png
[20190910112456467.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/5d250fef33ad403fad50c14304266dd1.png
[20190910112839588.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/b16b17036ad2412ebba52269bd7819b4.png
[20190910112847672.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/5dd18ba29d36438697b8f543007f205e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 17]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/e5fef85d1aea475db578f415cc4ecc8b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTM5ODU2NjQ_size_16_color_FFFFFF_t_70 18]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/3d3ac1bef7ca41739b485e12939a7c3a.png
[20190910120125422.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/fa710ba3b6e64fb1b49e53b5498872b4.png