大数据性能测试怎么做？看完这篇终于懂了

港控/mmm° 2023-09-26 10:34 136阅读 0赞

### `✦ + 大数据性能测试的目的` ###

1.大数据组件的性能回归，在版本升级的时候，进行新旧版本的性能比对。

2.在新版本/新的生产环境发布之后获取性能基线，建立可度量的参考标准，为其他测试场景或者调优过程提供对比参考。

3.在众多的发行版本中进行测试比对，为PoC测试提供参考数据。

4.支持POC测试，得出结论，到时候可以根据业务模型和需求，或者根据客户需求选择不同的方案。

5.在客户方进行性能测试，达到客户要求的性能标准满足客户使用的需求。

### `✦ + 性能测试的时机` ###

上线新版本

上线新的环境/新的主机

开辟了新的区域

PoC 测试

性能专项测试

### `✦ + 性能测试的步骤` ###

### 明确测试的目标 ###

确定性能测试场景，集群规模和规格，数据量，数据格式，压缩算法等。

比如：

版本迭代测试，需要和历史版本集群规格和参数对齐，以便比较版本性能是否劣化；

Poc测试需要明确客户场景；

软件发行商测试，需要与发行商集群规模保持一致。

### 申请主机环境和测试周期 ###

### 搭建运行环境和监控 ###

获取的性能指标，部分包含：性能数据，比如带宽、磁盘IO、CPU、内存等指标。

### 开展测试 ###

测试过程中使用nmon或者其他系统监控的工具记录系统指标变化，以供发现系统瓶颈，利于后续调优。

### 针对性能结果进行调整优化 ###

进行迭代性能测试。

### 出具性能测试报告 ###

### `✦ + 大数据组件测试工具和方法` ###

![图片][660155cf1fdf452ab51a6f058363d0e7.png]

![图片][6df3bc13294041bb8db0d23a9885e085.png]

除了上述主流的大数据主键外还有Hbase等，除了主流的测试工具Hibench之外还有雅虎的大数据测试套件。

### `✦ + 大数据性能调优` ###

在大数据领域普遍存在数据倾斜的问题，需要参考对应组件的官方文档以及参考业界的案例介绍。

### `✦ + 大数据相关的测试` ###

### 基准测试 ###

单一用户单个事务的测试，目的是在对选择的用户在无压力的情况下获取系统处理单个请求的情况。

### 负载测试 ###

通过逐步增加系统的负载，测试系统性能的变化。

### 稳定性测试 ###

通过给系统加载一定的业务压力，运行7\*24 小时，以此检测系统是否稳定运行。

### 功能测试 ###

特别是在OLAP引擎选择的时候，需要测试其对标准SQL支持的情况，如部门不支持update和delete操作、不支持with语句、不支持except和intersection操作等。

### 性能需求 ###

CPU、内存、磁盘IO、网络负载使用率不超过80%，响应时间90%的读取、写入、导出、导入不超过3s，有不到10%的响应时间不超过5s。

### 测试案例 ###

1.在不同数据量（100G、500G 、1T）分别对Hadoop和spark进行读取、数据写入、数据导出 数据导入基准测试。

2.在不同数据量下进行并行和读写混合测试。

3.在不同数据量下进行7\*24小时的数据稳定性测试。

### 测试观察指标 ###

CPU 使用率

内存使用率

IO

网络

响应时间

其他指标

--------------------

### 资源分享 ###

**最后感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的，虽然不是什么很值钱的东西，如果你用得到的话可以直接拿走…**

> ![在这里插入图片描述][cd053d4700c84446ae949c6966d929a5.png_pic_center]

**喜欢软件测试的小伙伴们，如果我的博客对你有帮助、如果你喜欢我的博客内容，请 “点赞” “评论” “收藏” 一 键三连哦！**  
![在这里插入图片描述][e5839dcedca14117aff9fd1945058bd6.gif_pic_center]

[660155cf1fdf452ab51a6f058363d0e7.png]: https://img-blog.csdnimg.cn/660155cf1fdf452ab51a6f058363d0e7.png
[6df3bc13294041bb8db0d23a9885e085.png]: https://img-blog.csdnimg.cn/6df3bc13294041bb8db0d23a9885e085.png
[cd053d4700c84446ae949c6966d929a5.png_pic_center]: https://img-blog.csdnimg.cn/cd053d4700c84446ae949c6966d929a5.png#pic_center
[e5839dcedca14117aff9fd1945058bd6.gif_pic_center]: https://img-blog.csdnimg.cn/e5839dcedca14117aff9fd1945058bd6.gif#pic_center

发表评论取消回复

表情：

评论列表（有 0 条评论，136人围观）

还没有评论，来说两句吧...

相关阅读

相关性能测试怎么做？看完这篇文章你就懂了

性能测试流程介绍：01流程一 — 问清性能测试需求1、新系统能力验证2、明确客户需求3、找出系统性能瓶颈4、稳定性验证（强度测试）

深碍√TFBOYSˉ_/ 2024年05月23日 18:38/ 0 赞/ 63 阅读

相关接口测试到底怎么做，看完这篇文章彻底搞清楚

![在这里插入图片描述][5fb87c883155482198a70b4dca710d26.gif_pic_center] 01 通用的项目架构 ![图片][water

骑猪看日落/ 2023年10月08日 14:22/ 0 赞/ 61 阅读

相关大数据性能测试怎么做？看完这篇终于懂了

`✦ + 大数据性能测试的目的` 1.大数据组件的性能回归，在版本升级的时候，进行新旧版本的性能比对。 2.在新版本/新的生产环境发布之后获取性能基线，建立可度量的参考

港控/mmm°/ 2023年09月26日 10:34/ 0 赞/ 137 阅读

相关流量录制工具怎么选？看完这篇文章就懂了

流量录制：在不影响用户正常使用的前提下，获取线上用户的真实请求和服务响应结果，将其保存或者转发到目标应用。采用不同的流量录制手段，可以采集不同传输阶段的流量。 !

古城微笑少年丶/ 2023年09月24日 16:26/ 0 赞/ 166 阅读

相关看了这篇文章，我终于搞懂了强化学习！

对大脑的工作领域，我们知之甚少，但是我们知道的是，大脑能够通过反复尝试来学习知识。当我们做了合适的选择时，大脑就会给我们奖励，但当我们做了错误的抉择时，大脑就会惩罚我们。如果我

缺乏、安全感/ 2022年11月27日 01:00/ 0 赞/ 279 阅读

相关 java做gui界面，看完这一篇你就懂了

正文二叉树由 n（ n > 0）个有限节点组成一个具有层次关系的集合，看起来就像一个倒挂的树，因此称这样的数据结构为树。一个节点的子节点个数叫做度，通俗的讲

约定不等于承诺〃/ 2022年10月19日 15:49/ 0 赞/ 298 阅读

相关前端不懂进程通信？看完这篇就懂了

为什么前端要了解进程通信：前端领域已经不是单纯写在浏览器里跑的页面就可以了，还要会 electron、nodejs 等，而这俩技术都需要掌握进程通信。 nodejs 是

旧城等待，/ 2022年09月01日 03:20/ 0 赞/ 402 阅读

相关看完这篇文章之后，终于明白了编译到底怎么回事。

看完[这篇文章][Link 1]之后，终于明白了编译到底怎么回事。 1 对于同一个语句，有如下三种：高级语言、低级语言、机器语言的表示 C语言 a=

深碍√TFBOYSˉ_/ 2022年08月20日 12:10/ 0 赞/ 154 阅读

相关 Nginx可以做什么？看完这篇你就懂了

[https://mp.weixin.qq.com/s/Viv9T1kSTePNI6O2xDzyRg][https_mp.weixin.qq.com_s_Viv9T1kSTeP

迷南。/ 2022年04月16日 02:13/ 0 赞/ 351 阅读

相关企业OA产品怎么选看完这篇横评就懂了

几年来初创企业、中小型企业迅速涌现，也意味着企业级服务迎来春天。而这其中，对于OA的市场需求尤为明显。 OA，即办公自动化，是使用频率最高的企业应用系统，不论是大型巨头还是小

逃离我推掉我的手/ 2022年01月28日 01:55/ 0 赞/ 281 阅读