Jenkins集成Newman注意点——Newman运行多个Collections不一定会导致Job失败

柔情只为你懂 2022-11-15 05:47 8阅读 0赞

#### 0.前言 ####

在接口测试中，Postman可谓是独领风骚，Newman可以命令行界面运行Postman编写的文件，搭配Jenkins可以实现一键接口自动化测试。

#### 1.使用场景 ####

理想的接口自动化测试，是在Jenkins中构建项目之后，通过邮件来获取测试的结果。但是接口测试内容一般较多，测试的Collections、Folders和Environment都不尽相同。为了让测试报告更加集中，我们一般会使用Newman的多集合运行命令：

newman run <接口测试A.json> &&newman run <接口测试B.json> &&newman run <接口测试C.json>

亦或者是：

newman run <接口测试.json>  --folder 文件夹1  --folder 文件夹2  --folder 文件夹3

#### 2.注意点 ####

这种多集合、多文件夹的运行结果可能会导致Jenkins的构建结果出错，即在接口有误的情况下，Jenkins依然汇报“Successfully”，反而让人疑惑。

Why？我们看一下Newman官方给出的Explanation：

> If the 接口测试B.json takes long time to run than other two, then if we have any failures in <接口测试A.json> or <接口测试B.json> that will not be shown in the jenkins jobs or any CI tools such as bitbucket pipeline. This happens because the result of the run which completes at last takes precedence over others.

大致意思是说，在Jenkins调用Newman命令运行多个Collections时，构建结果只取决于最后运行的一个接口。

假设接口的运行顺序是A->B->C，如果A和B的测试都有问题，而C没有问题，那么整个Job依然是Successful。

#### 3.建议 ####

接口测试尽可能分开多个Job执行，提升测试结果的可靠性。如果有需要可以借助Jenkins的MultiJob进行多任务的串联

发表评论取消回复

表情：

评论列表（有 0 条评论，8人围观）

还没有评论，来说两句吧...

相关阅读

相关 Newman基本使用

目录简介安装使用　　官网　　运行　　输出测试报告文件　　htmlextra 使用 -------------------- 简介　　N

川长思鸟来/ 2024年02月22日 08:56/ 0 赞/ 9 阅读

相关 jenkins+newman+postman持续集成环境搭建

目录一、Newman简介二、Newman应用三、安装newman 四、Html报告插件安装五、安装nodejs：六、 Jenkins集成步骤 -----

偏执的太偏执、/ 2023年10月15日 21:22/ 0 赞/ 47 阅读

相关 Postman/Newman+Docker+Jenkins/Pipeline 做接口自动化测试

简介：在Postman调试好接口后，直接导出来，用Jenkins、docker和newman来运行接口自动化测试，不用再写额外的代码，可以快速把接口自动化做起来。这里总结Pos

「爱情、让人受尽委屈。」/ 2023年02月18日 15:25/ 0 赞/ 182 阅读

相关 Docker运行Postman/Newman

Newman介绍 Newman是Postman的一个命令行运行工具，我们可以把Postman里的接口导出来，然后通过Newman在命令行运行，再结合Jenkins就可以做

水深无声/ 2023年02月18日 15:23/ 0 赞/ 75 阅读

相关 Jenkins集成Newman注意点——Newman运行多个Collections不一定会导致Job失败

0.前言在接口测试中，Postman可谓是独领风骚，Newman可以命令行界面运行Postman编写的文件，搭配Jenkins可以实现一键接口自动化测试。 1.使用

柔情只为你懂/ 2022年11月15日 05:47/ 0 赞/ 9 阅读

相关 postman+newman+jenkins 接口自动化

一：Jenkins安装： jenkins是一款跨平台的持续集成和持续交付、基于Java开发的开源软件，提供任务构建、持续集成监控的功能，可以使开发测试人员更方便的构建软件项目

ゝ一纸荒年。/ 2022年10月27日 05:29/ 0 赞/ 163 阅读

相关 Postman+Newman+Jenkins APItest自动化集成测试

postman做接口测试简单易用很容易上手，但是接口越来越多，每次手动点击runner进行测试不灵活，最近就研究了下newman，利用newman实现接口的自动化测试，但是每次

ゝ一世哀愁。/ 2022年06月11日 01:26/ 0 赞/ 196 阅读

相关 Postman+Newman+Jenkins APItest自动化集成测试

postman做接口测试简单易用很容易上手，但是接口越来越多，每次手动点击runner进行测试不灵活，最近就研究了下newman，利用newman实现接口的自动化测试，但是每次

深碍√TFBOYSˉ_/ 2022年06月07日 04:15/ 0 赞/ 232 阅读

相关 Postman+Newman+jenkins实现自动化测试

参考：[Postman+Newman+jenkins實現API自動化測試][Postman_Newman_jenkins_API] 目录目录 Jenkins安装步

水深无声/ 2022年03月26日 09:25/ 0 赞/ 518 阅读

相关 Jenkins + Postman + Newman作自动化API测试

文章目录 Jenkins + Postman + Newman作自动化API测试用Postman作API测试提交Postman Col

╰半夏微凉°/ 2021年10月13日 23:00/ 0 赞/ 438 阅读