TestNG详解

痛定思痛。 2024-02-05 22:15 114阅读 0赞

目录

  • TestNG
    • 1、概述
      • 1.1、Maven依赖
      • 1.2、功能
    • 2、启动方式
      • 2.1、Idea直接运行
      • 2.2、XML调用
        • 1）IDEA直接运行xml文件
        • 2)、maven使用surefire插件
    • 3、XML配置文件
      • 3.1、suite标签
      • 3.2、suite-files标签
      • 3.3、parameter标签
      • 3.4、method-selectors标签
      • 3.5、test标签
        • 1)、选择一个包中的全部测试脚本（包含子包）
        • 2)、选择一个类中的全部测试脚本
        • 3)、选择一个类中的部分测试脚本
        • 4)、选择一个包中的某些组
        • 5)、排除一个包中的某些组
      • 3.6、groups标签
        • 1)、define
        • 2)、run
        • 3)、dependencies
        • 4)、简单分组
        • 5)、嵌套分组
      • 3.7、classes标签
      • 3.8、package标签
      • 3.9、methods标签
      • 3.10、listeners标签
    • 4、TestNG注解
      • 4.1、@Test
      • 4.2、测试周期注解
      • 4.3、@DataProvider
      • 4.4、@Factory
      • 4.5、@Listeners
      • 4.6、@Parameters/@Optional
    • 5、套件测试
    • 6、忽略测试
    • 7、分组测试
      • 7.1、简单分组
      • 7.2、正则匹配分组
      • 7.3、嵌套分组
      • 7.4、类级别定义分组
    • 8、异常测试
    • 9、超时测试
    • 10、参数化测试
      • 10.1、使用xml传递参数
      • 10.2、使用@DataProvider传递参数
    • 11、依赖性测试
      • 11.1、@Test指定依赖
        • 1)、依赖于方法
        • 2)、依赖于组
        • 3)、soft依赖
      • 11.2、xml中指定依赖
    • 12、运行JUnit测试
    • 13、测试结果/报告
      • 13.1、自定义日志记录
      • 13.2、自定义报告
      • 13.3、HTML和XML报告

TestNG

1、概述

TestNG是一个开源的自动化测试框架，它受JUnit和NUnit启发，其中“NG”即表示Next Generation，其功能更强大使用更方便。

1.1、Maven依赖

  1. <dependency>
  2.     <groupId>org.testng</groupId>
  3.     <artifactId>testng</artifactId>
  4.     <version>6.10</version>
  5.     <scope>test</scope>
  6. </dependency>

1.2、功能

  • 支持注释
  • TestNG使用更多Java和OO功能。
  • 支持测试集成类（例如，默认情况下，不需要为每个测试方法创建新的测试类实例）。
  • 将编译时测试代码与运行时配置/数据信息分开。
    灵活的运行时配置
  • 支持’测试组’。 编译完测试后，可以让TestNG运行所有“前端”测试，或“快速”，“慢速”，“数据库”测试等。
  • 支持相关测试方法，并行测试，负载测试和部分故障。
  • 灵活的插件API。
  • 支持多线程测试。

2、启动方式

TestNG可以通过几种不同的方式调用 -

  • 使用testng.xml文件
  • With ANT
  • 从命令行

测试类：

  1. package pers.zhang.testng;
  3. import org.testng.annotations.Test;
  5. public class MyTest {
  8.     @Test
  9.     public void test() {
  11.         System.out.println("test");
  12.     }
  13. }

2.1、Idea直接运行

使用Idea直接运行会使用自动生成的testng.xml文件：
在这里插入图片描述

2.2、XML调用

my-test.xml：

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  3. <suite name="My_Suite">
  4.     <test name="my_test">
  5.         <classes>
  6.             <class name="pers.zhang.testng.MyTest">
  7.                 <methods>
  8.                     <include name="test"/>
  9.                 </methods>
  10.             </class>
  11.         </classes>
  12.     </test>
  13. </suite>
1）IDEA直接运行xml文件

在IDE，例如IntellJ IDEA中，鼠标右击testng.xml文件，选择run即可：
在这里插入图片描述

2)、maven使用surefire插件

maven使用surefire这个插件进行测试，可以执行testng或者Junit脚本，需要在pom文件中，指明testng.xml文件的位置。

  1. <build>
  2.     <plugins>
  3.         <plugin>
  4.             <groupId>org.apache.maven.plugins</groupId>
  5.             <artifactId>maven-surefire-plugin</artifactId>
  6.             <version>2.19</version>
  7.             <configuration>
  8.                 <suiteXmlFiles>
  9.                     <!-- 该文件位于工程根目录时，直接填写名字，其它位置要加上路径 -->
  10.                     <suiteXmlFile>src/test/java/pers/zhang/testng/my-test.xml</suiteXmlFile>
  11.                 </suiteXmlFiles>
  12.             </configuration>
  13.         </plugin>
  14.     </plugins>
  15. </build>

启动，进入工程根目录：

  1. mvn test -Dmy-test.xml

结果如下：

  1. -------------------------------------------------------
  2.  T E S T S
  3. -------------------------------------------------------
  4. Running TestSuite
  5. test
  6. Tests run: 1, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.241 sec - in TestSuite
  8. Results :
  10. Tests run: 1, Failures: 0, Errors: 0, Skipped: 0

3、XML配置文件

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  3. <suite name="My_Suite">
  4.     <listeners>
  5.         <listener class-name="pers.zhang.junit.MyListener"></listener>
  6.     </listeners>
  7.     <method-selectors>
  8.         <method-selector>
  9.             <script language="">some script</script>
  10.         </method-selector>
  11.         <method-selector>
  12.             <selector-class name="pers.zhang.testng.MySelector"/>
  13.         </method-selector>
  14.     </method-selectors>
  15.     <parameter name="xx" value="xx"/>
  16.     <suite-files>
  17.         <suite-file path="my-test.xml"/>
  18.     </suite-files>
  19.     <test name="my_test">
  20.         <groups>
  21.             <define name="functest">
  22.                 <include name="windows"/>
  23.                 <include name="linux"/>
  24.             </define>
  25.             <define name="all">
  26.                 <include name="functest"/>
  27.                 <include name="checkintest"/>
  28.             </define>
  29.             <run>
  30.                 <include name="all"/>
  31.             </run>
  32.             <dependencies>
  33.                 <group name="b" depends-on="functest">
  34.                 </group>
  35.             </dependencies>
  36.         </groups>
  37.         <packages>
  38.             <package name = "packageName.*" >
  39.                 <include name="xx"/>
  40.                 <exclude name="yy"/>
  41.             </package>
  42.         </packages>
  43.         <classes>
  44.             <class name="pers.zhang.testng.MyTest">
  45.                 <methods>
  46.                     <include name="test"/>
  47.                     <exclude name="a"/>
  48.                     <parameter name="xx" value="value"/>
  49.                 </methods>
  50.             </class>
  51.         </classes>
  52.     </test>
  53. </suite>

3.1、suite标签

testNG.xml文件的最外层标签即suite，即测试套件。

suite标签的子标签如下：

  • test
  • groups
  • listeners
  • method-selectors
  • packages
  • parameter
  • suite-files

suite标签的属性如下：

  1. <suite name="My_Suite"
  2.        junit="false"
  3.        verbose="5"
  4.        parallel="tests"
  5.        configfailurepolicy="skip"
  6.        thread-count="5"
  7.        skipfailedinvocationcounts="false"
  8.        data-provider-thread-count="10"
  9.        group-by-instances="false"
  10.        preserve-order="true" 
  11.        allow-return-values="false">
  12. </suite>
  • name：必选，值可以自行设定，此名字会在testNG的报告中看到
  • junit：默认false，是否在JUnit模式下运行
  • verbose：指定testNG报告的详细程度，从0开始到10，其中10为最详细，默认生成的xml此属性值为1

  • parallel：枚举值，指代运行方式

    • none：默认值，即串行运行方式
    • methods：方法层级，若为此值，则该suite下所有的测试方法都将进行多线程，即测试用例级别的多线程。如果用例之间有依赖，则执行顺序会按照设定的依赖来运行
    • tests：TestNG将在同一线程中运行相同的<Test>标签中的所有方法，每个<test>标签都将处于一个单独的线程中，这允许您将不是线程安全的所有类分组在同一个<test>中，并保证它们都将在同一个线程中运行，同时利用TestNG使用尽可能多的线程运行测试
    • classes：类级别并发，即TestNG会将该suite下每个class都将在单独的线程中运行，同一个class下的所有用例都将在同一个线程中运行
    • instances：实例级别，即TestNG将在同一线程中运行同一实例中的所有方法，两个不同实例上的两个方法将在不同的线程中运行。
  • parent-module：指定父模块

  • guice-stage：创建父注入器的阶段

    • DEVELOPMENT：默认
    • PRODUCTION
    • TOOL

  • configfailurepolicy：指定是在一次失败后继续尝试Before/After/class方法，还是跳过剩余的

    • skip：跳过
    • continue：继续
  • thread-count：默认5，此属性用于指定线程数，按照需要输入，需要parallel参数非none时才可以添加
  • annotations：此项为注解的级别，为methods级别和class级别，一般不用设置
  • time-out：此属性用于指定超时时间，该suite下所有的用例的超时时间
  • skipfailedinvocationcounts：默认false：是否跳过失败的调用
  • data-provider-thread-count：默认10，给出用于并行数据提供程序的线程池的大小。
  • object-factory：实现IObjectFactory的类，该类将用于实例化测试对象。
  • group-by-instances：默认false，此项用于那些有依赖的方法，且被依赖的对象有多个重载对象，因为如果是依赖方法，且该方法有多个重载方法，则默认是会将所有重载方法都跑完再运行被依赖方法，但有时候我们不想这样，则将此项设置为true即可
  • preserve-order：默认true，值可输入true或者false，如果为true，则用例执行会按照在xml中的顺序执行，否则会乱序执行，不添加此属性的话默认是按顺序执行的
  • allow-return-values：默认false，如果为true，则返回值的测试也将运行

3.2、suite-files标签

suite-files/suite-file用于引入其它xml，path属性指定xml文件路径。

  1. <suite-files>
  2.     <suite-file path="my-test.xml"/>
  3. </suite-files>

3.3、parameter标签

parameter标签可以在＜suite＞或＜test＞级别定义参数。在＜test＞级别定义的参数覆盖＜suite＞中同名的参数。参数用于将Java方法参数链接到此处定义的实际值。

  1. <parameter name="xx" value="xx"/>

3.4、method-selectors标签

方法选择器定义用于选择要运行的方法的用户类。他们需要实现org.testng.IMethodSelector，或者直接写脚本。

子标签script属性：

  • language：指定脚本语言

子标签selector-class属性：

  • name：名字

  • priority：优先级

    1. <method-selector>
    2.     <script language="">some script</script>
    3. </method-selector>
    4. <method-selector>
    5.     <selector-class name="pers.zhang.testng.MySelector"/>
    6. </method-selector>

3.5、test标签

子标签：

  • parameter
  • packages
  • groups
  • classes
  • method-selectors

属性：（含义与suite相同）

  • name
  • junit
  • verbose
  • parallel
  • thread-count
  • annotations
  • time-out
  • enabled
  • skipfailedinvocationcounts
  • preserve-order
  • group-by-instances

  • allow-return-values
1)、选择一个包中的全部测试脚本（包含子包）
  1. <test name = "allTestsInAPackage" >
  2.    <packages>
  3.       <package name = "whole.path.to.package.* />
  4.    </packages>
  5. </test>
2)、选择一个类中的全部测试脚本
  1. <test name = "allTestsInAClass" >
  2.    <classes>
  3.        <class name="whole.path.to.package.className />
  4.    </classes>
  5. </test>
3)、选择一个类中的部分测试脚本
  1. <test name = "aFewTestsFromAClass" >
  2.     <classes>
  3.         <class name="whole.path.to.package.className >
  4.             <methods>
  5.                 <include name = "firstMethod" />
  6.                 <include name = "secondMethod" />
  7.                 <include name = "thirdMethod" />
  8.             </methods>
  9.         </class>
  10.     </classes>
  11. </test>
4)、选择一个包中的某些组
  1. <test name = "includedGroupsInAPackage" >
  2.    <groups>
  3.       <run>
  4.          <include name = "includedGroup" />
  5.       </run>
  6.    </groups>
  7.    <packages>
  8.       <package name = "whole.path.to.package.* />
  9.    </packages>
  10. </test>
5)、排除一个包中的某些组
  1. <test name = "excludedGroupsInAPackage" >
  2.    <groups>
  3.       <run>
  4.          <exclude name = "excludedGroup" />
  5.       </run>
  6.    </groups>
  7.    <packages>
  8.       <package name = "whole.path.to.package.* />
  9.    </packages>
  10. </test>

3.6、groups标签

此标签必然是在<test>标签下的，用于标识那些组会被用于测试或者被排除在测试之外，其同级必然要包含一个<classes>标签或者<pakages>标签，用于指定groups来自于哪些包或者类。

子标签：

  • define：定义组
  • run：描述当前组规则
  • dependencies：定义组依赖
1)、define

定义一个组，子标签包括：

  • include：定义要包含在当前组中的组
2)、run

描述当前Test的组规则，子标签包括：

  • include：定义要包含在当前组中的组

  • exclude：定义要排除在当前组中的组
3)、dependencies

描述组依赖，子标签：

  • group：依赖的组
4)、简单分组
  1. <test name="Test1">
  2.   <groups>
  3.     <run>
  4.       <include name="windows.*"/>
  5.     </run>
  6.   </groups>
  8.   <classes>
  9.     <class name="example1.Test1"/>
  10.   </classes>
  11. </test>
5)、嵌套分组

  • all：

    • functest:

      • windows
      • linux
    • checkintest

3.7、classes标签

要包含在此测试中的类的列表，子标签：

  • class：指定类
  • paramter：参数

选择一个类：

  1. <classes>
  2.     <class name = "className" />
  3. </classes>

选择一个方法：

  1. <classes>
  2.     <class name = "className" />
  3.        <methods>
  4.           <include name = "methodName" />
  5.        </methods>
  6.     </class>
  7. </classes>

3.8、package标签

要包含在此测试中的程序包列表，子标签：

  • package：包，如果包名称以.*结尾，那么子包也会包含在内。

选择一个包及其子包：

  1. <packages>
  2.     <package name = "packageName.*" >
  3.         <include name="xx"/>
  4.         <exclude name="yy"/>
  5.     </package>
  6. </packages>

3.9、methods标签

此测试中包含/排除的方法列表，子标签：

  • include
  • exclude

  • parameter

3.10、listeners标签

将传递给TestNG的侦听器列表，子标签：

  • listener

4、TestNG注解

4.1、@Test

@Test将类或方法标记为测试的一部分，常用属性如下：

  • groups：指定该类/方法所属的组的列表
  • enabled：默认true，是否启用了此类/方法上的方法
  • dependsOnGroups：此方法所依赖的组的列表。其中一个组的每个方法成员都保证在此方法之前被调用。此外，如果这些方法中的任何一个不是SUCCESS，则此测试方法将不会运行，并将被标记为SKIP
  • dependsOnMethods：此方法所依赖的方法的列表。无法保证所依赖方法的运行顺序，但可以保证在运行包含此注释的测试方法之前，所有这些方法都将运行。此外，如果这些方法中的任何一个不是SUCCESS，则此测试方法将不会运行，并将被标记为SKIP。如果其中一些方法已重载，则所有重载的版本都将运行
  • timeOut：此测试应花费的最大毫秒数。如果在这段时间之后没有返回，它将被标记为FAIL
  • invocationTimeOut：此test方法的调用总数应花费的最大毫秒数。如果未在此方法上指定invocationCount属性，则将忽略此注释。如果在这段时间之后没有返回，它将被标记为FAIL
  • invocationCount：默认1，应调用此方法的次数
  • threadPoolSize：此方法的线程池的大小。该方法将根据invocationCount的指定从多个线程调用。注意：如果未指定invocationCount，则忽略此属性
  • successPercentage：默认100，此方法预期的成功百分比
  • dataProvider：此测试方法的数据提供程序的名称
  • dataProviderClass：默认Object.class，在其中查找数据提供程序的类。如果未指定，则将在当前测试方法的类或其一个超类上查找数据提供程序。如果指定了此属性，则数据提供程序方法在指定的类上需要是静态的
  • alwaysRun：默认false，如果设置为true，则此测试方法将始终运行，即使它依赖于失败的方法。如果此测试不依赖于任何方法或组，则会忽略此属性
  • description：此方法的描述。使用的字符串将出现在HTML报告中，如果verbose>=2，也会出现在标准输出中
  • expectedExceptions：测试方法预期抛出的异常列表。如果没有抛出异常或与此列表中的异常不同，则此测试将被标记为失败
  • expectedExceptionsMessageRegExp：默认.*，如果指定了expectedExceptions，则其消息必须与此属性中指定的正则表达式匹配
  • suiteName：此测试类应放在其中的套件的名称。如果@test不在类级别，则忽略此属性
  • testName：此测试类应放在其中的测试的名称。如果@test不在类级别，则忽略此属性
  • sequential：默认false，使用单线程
  • singleThreaded：默认false，如果设置为true，则该测试类上的所有方法都保证在同一个线程中运行，即使当前正在使用parallel=“true”运行测试也是如此。此属性只能在类级别使用，如果在方法级别使用，则会被忽略
  • retryAnalyzer：默认Class.class，如果应该重试测试，则应该调用以测试的类的名称
  • skipFailedInvocations：默认false，如果为true并且invocationCount的值>1，则失败后的所有调用都将标记为SKIP，而不是FAIL
  • ignoreMissingDependencies：如果设置为true，即使它所依赖的方法丢失或被排除，该测试也将运行
  • priority：默认0，计划优先级。优先级较低的项目将首先安排

4.2、测试周期注解

  • @BeforeSuite：在该套件的所有测试都运行在注释的方法之前，仅运行一次
  • @AfterSuite：在该套件的所有测试都运行在注释方法之后，仅运行一次
  • @BeforeClass：在调用当前类的第一个测试方法之前运行，注释方法仅运行一次
  • @AfterClass：在调用当前类的第一个测试方法之后运行，注释方法仅运行一次
  • @BeforeTest：注释的方法将在属于test标签内的类的所有测试方法运行之前运行
  • @AfterTest：注释的方法将在属于test标签内的类的所有测试方法运行之后运行
  • @BeforeGroups：配置方法将在之前运行组列表。 此方法保证在调用属于这些组中的任何一个的第一个测试方法之前不久运行
  • @AfterGroups：此配置方法将在之后运行组列表。该方法保证在调用属于任何这些组的最后一个测试方法之后不久运行
  • @BeforeMethod：注释方法将在每个测试方法之前运行
  • @AfterMethod：注释方法将在每个测试方法之后运行

执行顺序如下：

  1. public class NewTest {
  4.     @Test(groups = "group1")
  5.     public void test1() {
  7.         System.out.println("test1 from group1");
  8.     }
  10.     @Test(groups = "group1")
  11.     public void test2() {
  13.         System.out.println("test2 from group1");
  14.     }
  16.     @Test(groups = "group2")
  17.     public void test3() {
  19.         System.out.println("test3 from group2");
  20.     }
  22.     @BeforeTest
  23.     public void beforeTest() {
  25.         System.out.println("beforeTest");
  26.     }
  28.     @AfterTest
  29.     public void afterTest() {
  31.         System.out.println("afterTest");
  32.     }
  34.     @BeforeClass
  35.     public void beforeClass() {
  37.         System.out.println("beforeClass");
  38.     }
  40.     @AfterClass
  41.     public void afterClass() {
  43.         System.out.println("afterClass");
  44.     }
  46.     @BeforeSuite
  47.     public void beforeSuite() {
  49.         System.out.println("beforeSuite");
  50.     }
  52.     @AfterSuite
  53.     public void afterSuite() {
  55.         System.out.println("afterSuite");
  56.     }
  58.     //只针对group1有效，即test1和test2
  59.     @BeforeGroups(groups = "group1")
  60.     public void BeforeGroups() {
  62.         System.out.println("BeforeGroups");
  63.     }
  65.     //只针对group1有效，即test1和test2
  66.     @AfterGroups(groups = "group1")
  67.     public void AfterGroups() {
  69.         System.out.println("AfterGroups");
  70.     }
  72.     @BeforeMethod
  73.     public void beforeMethod() {
  75.         System.out.println("beforeMethod");
  76.     }
  78.     @AfterMethod
  79.     public void AfterMethod() {
  81.         System.out.println("AfterMethod");
  82.     }
  84. }

输出次序：

  1. beforeSuite
  2. beforeTest
  3. beforeClass
  4. BeforeGroups
  5.     beforeMethod
  6.         test1 from group1
  7.     AfterMethod
  8.     beforeMethod
  9.         test2 from group1
  10.     AfterMethod
  11. AfterGroups
  12. beforeMethod
  13.     test3 from group2
  14. AfterMethod
  15. afterClass
  16. afterTest
  17. afterSuite

4.3、@DataProvider

标记一种方法来提供测试方法的数据。 注释方法必须返回一个Object [] []，其中每个Object []可以被分配给测试方法的参数列表。 要从该DataProvider接收数据的@Test方法需要使用与此注释名称相等的dataProvider名称。

@DataProvider注解属性如下：

  • name：名称
  • parallel：默认false，是否应并行运行此数据提供程序
  • indices：要从此数据提供程序运行的索引，默认值：all

4.4、@Factory

将方法标记为工厂，返回将由TestNG用作Test类的对象。 该方法必须返回Object []。

示例一：

  1. //测试类
  2. public class TestNGFactoryTest {
  5.     private Integer number;
  6.     private static int num;
  8.     public TestNGFactoryTest(Integer number) {
  10.         this.number = number;
  11.     }
  13.     @Test
  14.     public void testCount() {
  16.         num++;
  17.         System.out.println("num " + num + " is " + this.number);
  18.     }
  19. }
  21. //工厂类
  22. public class TestNgFactory {
  25.     @Factory
  26.     public Object[] factoryMethod() {
  28.         Object[] result = new Object[10];
  29.         for (int i = 0; i < 10; i++) {
  31.             result[i] = new TestNGFactoryTest(i * 10);
  32.         }
  33.         return result;
  34.     }
  35. }
  37. <?xml version="1.0" encoding="UTF-8"?>
  38. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  39. <suite name="My_Suite">
  40.     <test name="factory_test">
  41.         <classes>
  42.             <class name="pers.zhang.testng.TestNgFactory"/>
  43.         </classes>
  44.     </test>
  45. </suite>

运行结果：

  1. num 1 is 60
  2. num 2 is 70
  3. num 3 is 90
  4. num 4 is 30
  5. num 5 is 20
  6. num 6 is 80
  7. num 7 is 40
  8. num 8 is 0
  9. num 9 is 10
  10. num 10 is 50

示例二：

  1. //测试类一
  2. public class HomePageTest {
  5.     private String userId;
  6.     private String userName;
  8.     public HomePageTest(String userId, String userName) {
  10.         this.userId = userId;
  11.         this.userName = userName;
  12.     }
  14.     @Test
  15.     public void testHomeLogin() {
  17.         System.out.println(userId + " = " + userName + " are loggin home page");
  18.     }
  19. }
  21. //测试类二
  22. public class LoginPageTest {
  25.     private String userId;
  26.     private String userName;
  28.     public LoginPageTest(String userId, String userName) {
  30.         this.userId = userId;
  31.         this.userName = userName;
  32.     }
  34.     @Test
  35.     public void testLogin() {
  37.         System.out.println(userId + " = " + userName + " are loggin sub page");
  38.     }
  39. }
  41. //工厂类
  42. public class FactoryAndDataProvider {
  45.     @DataProvider(name = "dataProvider")
  46.     public Object[][] dataProvider() {
  48.         Object[][] objects = new Object[2][2];
  49.         objects[0][0] = "user1";
  50.         objects[0][1] = "zhangsan";
  51.         objects[1][0] = "user2";
  52.         objects[1][1] = "lisi";
  53.         return objects;
  54.     }
  56.     @Factory(dataProvider = "dataProvider")
  57.     public Object[] createTest(String userId, String userName) {
  59.         Object[] test = new Object[2];
  60.         test[0] = new HomePageTest(userId, userName);
  61.         test[1] = new LoginPageTest(userId, userName);
  62.         return test;
  63.     }
  64. }
  66. <?xml version="1.0" encoding="UTF-8"?>
  67. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  68. <suite name="My_Suite">
  69.     <test name="factory_test2">
  70.         <classes>
  71.             <class name="pers.zhang.testng.FactoryAndDataProvider"/>
  72.         </classes>
  73.     </test>
  74. </suite>

输出：

  1. user1 = zhangsan are loggin home page
  2. user2 = lisi are loggin home page
  3. user1 = zhangsan are loggin sub page
  4. user2 = lisi are loggin sub page

注意：从上面两个示例的结果可以看到，最后结果并不是有序的

4.5、@Listeners

在测试类上定义监听器，监听器必须扩展自org.testng.ITestNGListener。

  1. //测试类
  2. @Listeners(value = {
  3.     pers.zhang.testng.MyListener.class})
  4. public class ListenerTest {
  8.     @Test
  9.     public void test1() {
  11.         System.out.println("test1");
  12.         Assert.assertTrue(true);
  13.     }
  15.     @Test
  16.     public void test2() {
  18.         System.out.println("test2");
  19.         Assert.assertTrue(false);
  20.     }
  21. }
  23. //监听器
  24. public class MyListener implements ITestListener {
  27.     /**
  28.      * 在任何测试开始时调用
  29.      */
  30.     @Override
  31.     public void onTestStart(ITestResult result) {
  33.         System.out.println("onTestStart");
  34.     }
  36.     /**
  37.      * 在任何测试成功时调用
  38.      */
  39.     @Override
  40.     public void onTestSuccess(ITestResult result) {
  42.         System.out.println("onTestSuccess");
  43.     }
  45.     /**
  46.      * 在任何测试失败时调用
  47.      */
  48.     @Override
  49.     public void onTestFailure(ITestResult result) {
  51.         System.out.println("onTestFailure");
  52.     }
  54.     /**
  55.      * 在跳过任何测试时调用
  56.      */
  57.     @Override
  58.     public void onTestSkipped(ITestResult result) {
  60.         System.out.println("onTestSkipped");
  61.     }
  63.     /**
  64.      * 在每次测试失败但在成功百分比内时调用
  65.      */
  66.     @Override
  67.     public void onTestFailedButWithinSuccessPercentage(ITestResult result) {
  69.         System.out.println("onTestFailedButWithinSuccessPercentage");
  70.     }
  72.     /**
  73.      * 在实例化测试类之后，在调用任何配置方法之前调用。
  74.      */
  75.     @Override
  76.     public void onStart(ITestContext context) {
  78.         System.out.println("onStart");
  79.     }
  81.     /**
  82.      * 在运行完所有测试并调用了它们的所有Configuration方法后调用。
  83.      */
  84.     @Override
  85.     public void onFinish(ITestContext context) {
  87.         System.out.println("onFinish");
  88.     }
  89. }

输出：

  1. onStart
  2. onTestStart
  3. test1
  4. onTestSuccess
  5. onTestStart
  6. test2
  7. onTestFailure
  9. java.lang.AssertionError: expected [true] but found [false]
  10. Expected :true
  11. Actual   :false
  12. <Click to see difference>
  13. ...
  14. onFinish

如果不使用注解，等价的xml文件如下：

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  3. <suite name="My_Suite">
  4.     <listeners>
  5.         <listener class-name="pers.zhang.testng.MyListener"></listener>
  6.     </listeners>
  7.     <test name="listener_test">
  8.         <classes>
  9.             <class name="pers.zhang.testng.ListenerTest"/>
  10.         </classes>
  11.     </test>
  12. </suite>

4.6、@Parameters/@Optional

描述如何将xml中的参数传递给@Test方法，@Optional用于指定默认值。

  1. //测试类
  2. public class ParametersTest {
  5.     @Parameters(value = {
  6.     "name", "age", "height"})
  7.     @Test
  8.     public void test(String name, Integer age, @Optional("1.77") Double height) {
  10.         System.out.println(name);
  11.         System.out.println(age);
  12.         System.out.println(height);
  13.     }
  14. }

xml：

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  3. <suite name="My_Suite">
  4.     <parameter name="name" value="tom"/>
  5.     <parameter name="age" value="18"/>
  6.     <test name="parameters_test">
  7.         <classes>
  8.             <class name="pers.zhang.testng.ParametersTest"/>
  9.         </classes>
  10.     </test>
  11. </suite>

输出：

  1. tom
  2. 18
  3. 1.77

5、套件测试

test suite是一组测试用例，用于测试软件程序的行为或一组行为。 在TestNG中，我们无法在测试源代码中定义套件，但它由一个XML文件表示，因为套件是执行的特征。 它还允许灵活配置要运行的tests 。 套件可以包含一个或多个测试，并由“suite”标签定义。

  1. //被测试类
  2. public class MessageUtil {
  5.     private String message;
  7.     public MessageUtil(String message) {
  9.         this.message = message;
  10.     }
  12.     public String printMessage() {
  14.         System.out.println(message);
  15.         return message;
  16.     }
  18.     public String salutationMessage() {
  20.         message = "Hi!" + message;
  21.         System.out.println(message);
  22.         return message;
  23.     }
  24. }
  27. //测试类1
  28. public class SuiteTest1 {
  31.     @Test
  32.     public void testPrintMessage() {
  34.         MessageUtil messageUtil = new MessageUtil("tom");
  35.         Assert.assertEquals("tom", messageUtil.printMessage());
  36.     }
  37. }
  39. //测试类2
  40. public class SuiteTest2 {
  43.     @Test
  44.     public void testSalutationMessage() {
  46.         MessageUtil messageUtil = new MessageUtil("jerry");
  47.         Assert.assertEquals("Hi!jerry", messageUtil.salutationMessage());
  48.     }
  49. }
  51. <?xml version="1.0" encoding="UTF-8"?>
  52. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  53. <suite name="Suite">
  54.     <test name="suite_test1">
  55.         <classes>
  56.             <class name="pers.zhang.testngdemo.SuiteTest1"/>
  57.         </classes>
  58.     </test>
  59.     <test name="suite_test2">
  60.         <classes>
  61.             <class name="pers.zhang.testngdemo.SuiteTest2"></class>
  62.         </classes>
  63.     </test>
  64. </suite>

运行测试输出：

  1. [TestNG] Running:
  2. tom
  3. Hi!jerry
  4. ===============================================
  5. Suite
  6. Total tests run: 2, Failures: 0, Skips: 0
  7. ===============================================

6、忽略测试

有时候，我们的代码没有准备就绪并且编写测试用例来测试该方法/代码失败。 在这种情况下，注释@Test(enabled = false)有助于禁用此测试用例。

如果使用@Test(enabled = false)注释测试方法，则会绕过未准备好测试的测试用例。

  1. //被测试类
  2. public class IgnoreTestDemo {
  5.     public void a() {
  7.         System.out.println("aaa");
  8.     }
  10.     public void b() {
  12.         System.out.println("bbb");
  13.     }
  14. }
  16. //测试类
  17. public class IgnoreTest {
  20.     private IgnoreTestDemo demo = new IgnoreTestDemo();
  22.     @Test
  23.     public void test1() {
  25.         demo.a();
  26.     }
  28.     @Test(enabled = false)
  29.     public void test2() {
  31.         demo.b();
  32.     }
  33. }
  35. <?xml version="1.0" encoding="UTF-8"?>
  36. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  37. <suite name="Suite">
  38.     <test name="ignore_test">
  39.         <classes>
  40.             <class name="pers.zhang.testngdemo.IgnoreTest"/>
  41.         </classes>
  42.     </test>
  43. </suite>

运行测试输出：

  1. [TestNG] Running:
  2. aaa
  3. ===============================================
  4. Suite
  5. Total tests run: 1, Failures: 0, Skips: 0
  6. ===============================================

7、分组测试

组测试是TestNG中的一项新的创新功能，在JUnit框架中不存在。 它允许您将方法分配到适当的部分并执行复杂的测试方法分组。

您不仅可以声明属于组的方法，还可以指定包含其他组的组。 然后，可以调用TestNG并要求其包含一组特定的组（或正则表达式），同时排除另一组。

组测试为您的测试分区提供了最大的灵活性，如果您想要连续运行两组不同的测试，则不需要重新编译任何内容。

组在testng.xml文件中指定，可以在<test>或<suite>标记下找到。<suite>标记中指定的组应用于下面的所有<test>标记。请注意，组在这些标签中是累积的：如果您在＜suite＞中指定组“a”，在＜test＞中指定“b”，则“a”和“b”都将包括在内。

7.1、简单分组

测试类中通过@Test注解的groups属性指定分组：

  1. public class SimpleGroupTest {
  4.     //test1属于a和b两个组
  5.     @Test(groups = {
  6.     "a", "b"})
  7.     public void test1() {
  9.         System.out.println("test1");
  10.     }
  12.     //test2属于a和b两个组
  13.     @Test(groups = {
  14.     "a", "b"})
  15.     public void test2() {
  17.         System.out.println("test2");
  18.     }
  20.     //test3属于a组
  21.     @Test(groups = {
  22.     "a"})
  23.     public void test3() {
  25.         System.out.println("test3");
  26.     }
  27. }

xml中通过groups标签指定分组：

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  3. <suite name="Suite">
  4.     <test name="simple_group_test">
  5.         <!-- 指定只运行b组 -->
  6.         <groups>
  7.             <run>
  8.                 <include name="b"/>
  9.             </run>
  10.         </groups>
  11.         <classes>
  12.             <class name="pers.zhang.testngdemo.SimpleGroupTest"/>
  13.         </classes>
  14.     </test>
  15. </suite>

运行测试输出：

  1. test1
  2. test2

如果指定运行a组，则3个测试方法全部运行。

7.2、正则匹配分组

  1. public class RegularGroupTest {
  4.     @Test(groups = {
  5.      "windows.checkintest"} )
  6.     public void testWindowsOnly() {
  8.         System.out.println("windows.checkintest");
  9.     }
  11.     @Test(groups = {
  12.     "linux.checkintest"} )
  13.     public void testLinuxOnly() {
  15.         System.out.println("linux.checkintest");
  16.     }
  18.     @Test(groups = {
  19.      "windows.functest"} )
  20.     public void testWindowsToo() {
  22.         System.out.println("windows.functest");
  23.     }
  25. }

正则匹配分组：

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  3. <suite name="Suite">
  4.     <test name="regular_test">
  5.         <groups>
  6.             <run>
  7.                 <include name="window.*"/>
  8.             </run>
  9.         </groups>
  10.         <classes>
  11.             <class name="pers.zhang.testngdemo.RegularGroupTest"/>
  12.         </classes>
  13.     </test>
  14. </suite>

运行结果：

  1. windows.checkintest
  2. windows.functest

7.3、嵌套分组

  1. public class NestedGroupTest {
  4.     @Test(groups = {
  5.     "a"})
  6.     public void test1() {
  8.         System.out.println("test1");
  9.     }
  11.     @Test(groups = {
  12.     "b"})
  13.     public void test2() {
  15.         System.out.println("test2");
  16.     }
  18.     @Test(groups = {
  19.     "c"})
  20.     public void test3() {
  22.         System.out.println("test3");
  23.     }
  25.     @Test(groups = {
  26.     "d"})
  27.     public void test4() {
  29.         System.out.println("test4");
  30.     }
  31. }

定义嵌套分组：

  • g2

    • c

    • g1

      • a
      • b

    <?xml version=”1.0” encoding=”UTF-8”?>
    <!DOCTYPE suite SYSTEM “http://testng.org/testng-1.0.dtd">

运行测试输出：

  1. test1
  2. test2
  3. test3

7.4、类级别定义分组

  1. @Test(groups = {
  2.     "father"})
  3. public class ClassGroupTest {
  6.     @Test(groups = {
  7.     "son"})
  8.     public void test1() {
  10.         System.out.println("test1");
  11.     }
  13.     @Test
  14.     public void test2() {
  16.         System.out.println("test2");
  17.     }
  18. }
  • 方法test1属于father和son两个组

  • 方法test2只属于father组

    <?xml version=”1.0” encoding=”UTF-8”?>
    <!DOCTYPE suite SYSTEM “http://testng.org/testng-1.0.dtd">

运行测试输出：

  1. test2

8、异常测试

TestNG提供了跟踪代码异常处理的选项。 您可以测试代码是否抛出所需的异常。 这里的expectedExceptions参数与@Test注释一起使用。

  1. public class ExceptionTest {
  4.     @Test(expectedExceptions = ArithmeticException.class)
  5.     public void test() {
  7.         int a = 0;
  8.         int b = 2 / a;
  9.     }
  10. }
  12. <?xml version="1.0" encoding="UTF-8"?>
  13. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  14. <suite name="Suite">
  15.     <test name="exception_test">
  16.         <classes>
  17.             <class name="pers.zhang.testngdemo.ExceptionTest"/>
  18.         </classes>
  19.     </test>
  20. </suite>

9、超时测试

“超时”表示如果单元测试花费的时间超过指定的毫秒数，那么TestNG将会中止它并将其标记为失败。此项常用于性能测试。如下为一个范例：

  1. public class TimeOutTest {
  4.     @Test(timeOut = 5000)
  5.     public void testThisShouldPass() throws InterruptedException {
  7.         Thread.sleep(4000);
  8.     }
  10.     @Test(timeOut = 1000)
  11.     public void testThisShouldFail() {
  13.         while (true){
  15.             // do nothing
  16.         }
  18.     }
  20. }
  22. <?xml version="1.0" encoding="UTF-8"?>
  23. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  24. <suite name="Suite">
  25.     <test name="timeout_test">
  26.         <classes>
  27.             <class name="pers.zhang.testngdemo.TimeOutTest"/>
  28.         </classes>
  29.     </test>
  30. </suite>

运行测试输出：
在这里插入图片描述

10、参数化测试

在大多数情况下，您会遇到业务逻辑需要大量测试的场景。 参数化测试允许开发人员使用不同的值一次又一次地运行相同的测试。

TestNG可以通过两种不同的方式将参数直接传递给测试方法：

  • 使用testng.xml配合@Parameters
  • 使用@DataProvider

10.1、使用xml传递参数

TestNG将自动尝试将testng.xml中指定的值转换为您的参数类型。 以下是支持的类型：

  • String
  • int/Integer
  • boolean/Boolean
  • byte/Byte
  • char/Character
  • double/Double
  • float/Float
  • long/Long

  • short/Short

    public class XmlParamTest {

  1.     @Test
  2.     @Parameters({
  3.     "name", "age"})//指定xml中传递的参数名称
  4.     public void test(String name, Integer age) {
  6.         System.out.println("name:" + name);
  7.         System.out.println("age:" + age);
  8.     }
  9. }
  11. <?xml version="1.0" encoding="UTF-8"?>
  12. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  13. <suite name="Suite">
  14.     <test name="timeout_test">
  15.         <!-- 定义要传递的参数 -->
  16.         <parameter name="name" value="tom"/>
  17.         <parameter name="age" value="18"/>
  18.         <classes>
  19.             <class name="pers.zhang.testngdemo.XmlParamTest"/>
  20.         </classes>
  21.     </test>
  22. </suite>

运行测试输出：

  1. name:tom
  2. age:18

10.2、使用@DataProvider传递参数

此处需要注意，传参的类型必须要一致，且带有@DataProvider注解的函数返回的必然是Object[][]，此处需要注意。

  1. public class ProviderParamTest {
  4.     @DataProvider(name = "studentProvider")
  5.     public Object[][] provideData() {
  7.         return new Object[][]{
  9.                 {
  10.     "tom", 18, 1.71},
  11.                 {
  12.     "jerry", 22, 1.56},
  13.                 {
  14.     "mike", 26, 1.83}
  15.         };
  16.     }
  18.     @Test(dataProvider = "studentProvider")
  19.     public void test(String name, Integer age, Double height) {
  21.         System.out.println("test start");
  22.         System.out.println("name:" + name);
  23.         System.out.println("age:" + age);
  24.         System.out.println("height:" + height);
  25.         System.out.println("test end");
  26.     }
  27. }
  29. <?xml version="1.0" encoding="UTF-8"?>
  30. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  31. <suite name="Suite">
  32.     <test name="timeout_test">
  33.         <classes>
  34.             <class name="pers.zhang.testngdemo.ProviderParamTest"/>
  35.         </classes>
  36.     </test>
  37. </suite>

运行测试输出：

  1. test start
  2. name:tom
  3. age:18
  4. height:1.71
  5. test end
  7. test start
  8. name:jerry
  9. age:22
  10. height:1.56
  11. test end
  13. test start
  14. name:mike
  15. age:26
  16. height:1.83
  17. test end

11、依赖性测试

有时，我们可能需要以特定顺序调用测试用例中的方法，或者可能希望在方法之间共享一些数据和状态。 TestNG支持这种依赖关系，因为它支持在测试方法之间显式依赖的声明。

TestNG允许指定依赖关系：

  • @Test注解中使用dependsOnMethods或dependsOnGroups属性
  • testng.xml中使用dependencies标签

除此之外依赖还分为hard依赖和soft依赖：

  • hard依赖：默认为此依赖方式，即其所有依赖的methods或者groups必须全部pass，否则被标识依赖的类或者方法将会被略过，在报告中标识为skip，如后面的范例所示，此为默认的依赖方式；
  • soft依赖：此方式下，其依赖的方法或者组有不是全部pass也不会影响被标识依赖的类或者方法的运行，注意如果使用此方式，则依赖者和被依赖者之间必须不存在成功失败的因果关系，否则会导致用例失败。此方法在@Test注解中需要加入alwaysRun=true即可

11.1、@Test指定依赖

1)、依赖于方法
  1. public class DependOnMethodsTest {
  4.     @Test
  5.     public void test1() {
  7.         System.out.println("test1");
  8.     }
  10.     //test2依赖于test1
  11.     @Test(dependsOnMethods = {
  12.     "test1"})
  13.     public void test2() {
  15.         System.out.println("test2");
  16.     }
  18.     //test3依赖于test2
  19.     @Test(dependsOnMethods = {
  20.     "test2"})
  21.     public void test3() {
  23.         System.out.println("test3");
  24.     }
  25. }
  27. <?xml version="1.0" encoding="UTF-8"?>
  28. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  29. <suite name="Suite">
  30.     <test name="depend_method_test">
  31.         <classes>
  32.             <class name="pers.zhang.testngdemo.DependOnMethodsTest"/>
  33.         </classes>
  34.     </test>
  35. </suite>

运行测试输出：

  1. test1
  2. test2
  3. test3
2)、依赖于组
  1. public class DependOnGroupsTest {
  4.     //test1属于a组
  5.     @Test(groups = {
  6.     "a"})
  7.     public void test1() {
  9.         System.out.println("test1");
  10.     }
  12.     //test2属于a组
  13.     @Test(groups = {
  14.     "a"})
  15.     public void test2() {
  17.         System.out.println("test2");
  18.     }
  20.     //test3依赖于a组
  21.     @Test(dependsOnGroups = {
  22.     "a"})
  23.     public void test3() {
  25.         System.out.println("test3");
  26.         Assert.assertTrue(false);
  27.     }
  29.     //test4依赖于test3
  30.     @Test(dependsOnMethods = {
  31.     "test3"})
  32.     public void test4() {
  34.         System.out.println("test4");
  35.     }
  36. }
  38. <?xml version="1.0" encoding="UTF-8"?>
  39. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  40. <suite name="Suite">
  41.     <test name="depend_group_test">
  42.         <classes>
  43.             <class name="pers.zhang.testngdemo.DependOnGroupsTest"/>
  44.         </classes>
  45.     </test>
  46. </suite>

运行测试输出：

  1. test1
  2. test2
  3. test3
  5. java.lang.AssertionError: expected [true] but found [false]
  6. Expected :true
  7. Actual   :false
  8. <Click to see difference>...
  10. Test ignored.
  11. ===============================================
  12. Suite
  13. Total tests run: 4, Failures: 1, Skips: 1
  14. ===============================================

test3失败，导致test4被跳过，属于hard依赖。

3)、soft依赖
  1. public class SoftDependTest {
  4.     @Test
  5.     public void test1() {
  7.         System.out.println("test1");
  8.     }
  10.     //test2依赖于test1
  11.     @Test(dependsOnMethods = {
  12.     "test1"})
  13.     public void test2() {
  15.         System.out.println("test2");
  16.         Assert.assertTrue(false);
  17.     }
  19.     //test3依赖于test2，软依赖，无论test2是否成功test3必然执行
  20.     @Test(alwaysRun = true, dependsOnMethods = {
  21.     "test2"})
  22.     public void test3() {
  24.         System.out.println("test3");
  25.     }
  26. }
  28. <?xml version="1.0" encoding="UTF-8"?>
  29. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  30. <suite name="Suite">
  31.     <test name="soft_depend_test">
  32.         <classes>
  33.             <class name="pers.zhang.testngdemo.SoftDependTest"/>
  34.         </classes>
  35.     </test>
  36. </suite>

运行测试输出：

  1. test1
  2. test2
  4. java.lang.AssertionError: expected [true] but found [false]
  5. Expected :true
  6. Actual   :false
  7. <Click to see difference>....
  9. test3
  10. ===============================================
  11. Suite
  12. Total tests run: 3, Failures: 1, Skips: 0
  13. ===============================================

11.2、xml中指定依赖

  1. public class XmlDependTest {
  4.     @Test(groups = {
  5.     "a"})
  6.     public void test1() {
  8.         System.out.println("test1");
  9.     }
  11.     @Test(groups = {
  12.     "b"})
  13.     public void test2() {
  15.         System.out.println("test2");
  16.         Assert.assertTrue(false);
  17.     }
  19.     @Test(groups = {
  20.     "c"})
  21.     public void test3() {
  23.         System.out.println("test3");
  24.     }
  25. }
  27. <?xml version="1.0" encoding="UTF-8"?>
  28. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  29. <suite name="Suite">
  30.     <test name="depend_group_test">
  31.         <groups>
  32.             <dependencies>
  33.                 <group depends-on="a" name="b"/>
  34.                 <group depends-on="b" name="c"/>
  35.             </dependencies>
  36.         </groups>
  37.         <classes>
  38.             <class name="pers.zhang.testngdemo.XmlDependTest"/>
  39.         </classes>
  40.     </test>
  41. </suite>

运行测试输出：

  1. test1
  2. test2
  4. java.lang.AssertionError: expected [true] but found [false]
  5. Expected :true
  6. Actual   :false
  7. <Click to see difference>...
  9. Test ignored.
  10. ===============================================
  11. Suite
  12. Total tests run: 3, Failures: 1, Skips: 1
  13. ===============================================

12、运行JUnit测试

TestNG可以自动识别并运行JUnit测试，因此您可以将TestNG用作所有现有测试的运行器，并使用TestNG编写新测试。 您所要做的就是将JUnit库放在TestNG类路径上，这样它就可以找到并使用JUnit类。

  1. import org.junit.Assert;
  2. import org.junit.Test;
  5. public class JUnitTest {
  8.     @Test
  9.     public void test() {
  11.         System.out.println("test");
  12.         Assert.assertTrue(true);
  13.     }
  14. }

要执行JUnit测试用例，请在下面的xml中定义属性junit="true"。

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  3. <suite name="Suite">
  4.     <test name="junit_test" junit="true">
  5.         <classes>
  6.             <class name="pers.zhang.testngdemo.JUnitTest"/>
  7.         </classes>
  8.     </test>
  9. </suite>

13、测试结果/报告

报告是任何测试执行中最重要的部分，因为它可以帮助用户理解测试执行的结果，故障点和失败原因。 另一方面，记录对于密切关注执行流程或在发生任何故障时进行调试非常重要。

默认情况下，TestNG会为其测试执行生成不同类型的报告。 这包括HTML和XML报告输出。 TestNG还允许其用户编写自己的记者并将其与TestNG一起使用。 还可以选择编写自己的记录器，这些记录器在运行时由TestNG通知。

使用TestNG生成报告有两种方法：

  • Listeners：为了实现监听器类，该类必须实现org.testng.ITestListener接口。 当测试开始，结束，失败，跳过或通过时，TestNG会在运行时通知这些类。
  • Reporters：为了实现报告类，该类必须实现org.testng.IReporter接口。 整个套件运行结束时会调用这些类。 包含整个测试运行信息的对象在被调用时传递给该类。

测试类：

  1. public class SimpleTest {
  4.     @Test
  5.     public void test1() {
  7.         System.out.println("test1");
  8.         Assert.assertTrue(true);
  9.     }
  11.     @Test
  12.     public void test2() {
  14.         System.out.println("test2");
  15.         Assert.assertTrue(false);
  16.     }
  18.     @Test(dependsOnMethods = {
  19.     "test2"})
  20.     public void test3() {
  22.         System.out.println("test3");
  23.         Assert.assertTrue(true);
  24.     }
  25. }

13.1、自定义日志记录

  1. public class LogListener extends TestListenerAdapter {
  4.     private int m_count = 0;
  6.     @Override
  7.     public void onTestFailure(ITestResult tr) {
  9.         log(tr.getName()+ "--Test method failed\n");
  10.     }
  12.     @Override
  13.     public void onTestSkipped(ITestResult tr) {
  15.         log(tr.getName()+ "--Test method skipped\n");
  16.     }
  18.     @Override
  19.     public void onTestSuccess(ITestResult tr) {
  21.         log(tr.getName()+ "--Test method success\n");
  22.     }
  24.     private void log(String string) {
  26.         System.out.print(string);
  27.         if (++m_count % 40 == 0) {
  29.             System.out.println("");
  30.         }
  31.     }
  32. }
  34. <?xml version="1.0" encoding="UTF-8"?>
  35. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  36. <suite name="Suite">
  37.     <listeners>
  38.         <listener class-name="pers.zhang.testngdemo.LogListener"></listener>
  39.     </listeners>
  40.     <test name="log_listener_test">
  41.         <classes>
  42.             <class name="pers.zhang.testngdemo.SimpleTest"/>
  43.         </classes>
  44.     </test>
  45. </suite>

运行测试输出：

  1. test1
  2. test1--Test method success
  4. test2
  5. test2--Test method failed
  7. java.lang.AssertionError: expected [true] but found [false]
  8. Expected :true
  9. Actual   :false
  10. <Click to see difference>...
  12. test3--Test method skipped
  13. Test ignored.
  15. ===============================================
  16. Suite
  17. Total tests run: 3, Failures: 1, Skips: 1
  18. ===============================================

13.2、自定义报告

  1. public class CustomReporter implements IReporter {
  4.     /**
  5.      * @param xmlSuites：它是正在执行的testng XML中提到的套件列表
  6.      * @param suites：包含测试执行后的套件信息。 此对象包含有关包，类，测试方法及其测试执行结果的所有信息
  7.      * @param outputDirectory：包含将生成报告的输出文件夹路径的信息
  8.      */
  9.     @Override
  10.     public void generateReport(List<XmlSuite> xmlSuites, List<ISuite> suites, String outputDirectory) {
  12.         //对测试中包含的每个套件进行迭代
  13.         for (ISuite suite : suites) {
  15.             //获取套件名称
  16.             String suiteName = suite.getName();
  17.             //获取套件结果
  18.             Map<String, ISuiteResult> suiteResults = suite.getResults();
  19.             for (ISuiteResult sr : suiteResults.values()) {
  21.                 ITestContext tc = sr.getTestContext();
  22.                 System.out.println("Passed tests for suite '" + suiteName +
  23.                         "' is:" + tc.getPassedTests().getAllResults().size());
  24.                 System.out.println("Failed tests for suite '" + suiteName +
  25.                         "' is:" + tc.getFailedTests().getAllResults().size());
  26.                 System.out.println("Skipped tests for suite '" + suiteName +
  27.                         "' is:" + tc.getSkippedTests().getAllResults().size());
  28.             }
  29.         }
  30.     }
  31. }
  33. <?xml version="1.0" encoding="UTF-8"?>
  34. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  35. <suite name="Suite">
  36.     <listeners>
  37.         <listener class-name="pers.zhang.testngdemo.CustomReporter"></listener>
  38.     </listeners>
  39.     <test name="log_listener_test">
  40.         <classes>
  41.             <class name="pers.zhang.testngdemo.SimpleTest"/>
  42.         </classes>
  43.     </test>
  44. </suite>

运行测试输出：

  1. ===============================================
  2. Suite
  3. Total tests run: 3, Failures: 1, Skips: 1
  4. ===============================================
  6. Passed tests for suite 'Suite' is:1
  7. Failed tests for suite 'Suite' is:1
  8. Skipped tests for suite 'Suite' is:1

示例显示了一个简单的自定义报告器，它在控制台上为所述测试执行中包含的每个套件打印失败，传递和跳过测试的数量。 Reporter主要用于生成测试执行的最终报告。 该扩展可用于生成XML，HTML，XLS，CSV或文本格式文件，具体取决于报表要求。

13.3、HTML和XML报告

TestNG附带某些预定义的侦听器作为库的一部分。 默认情况下，这些侦听器会添加到任何测试执行中，并为任何测试执行生成不同的HTML和XML报告。 默认情况下，报告在名为testoutput的文件夹下生成，并且可以通过配置将其更改为任何其他文件夹。 这些报告由特定于TestNG的某些HTML和XML报告组成。

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
  3. <suite name="Suite">
  4.     <test name="log_listener_test">
  5.         <classes>
  6.             <class name="pers.zhang.testngdemo.SimpleTest"/>
  7.         </classes>
  8.     </test>
  9. </suite>

因为maven使用surefire插件，所以生成的报告位于surefire-reports路径下，浏览器打开index.html即可：

在这里插入图片描述

在这里插入图片描述

默认情况下，TestNG会生成多个报告，作为其测试执行的一部分。 这些报告主要包括TestNG HTML报告，TestNG可发送电子邮件报告，TestNG报告XML和JUnit报告XML文件。 这些文件可以在输出报告文件夹下找到（在本例中为surefire-reports）。

通过将属性useDefaultListeners的值设置为false可以在运行测试时禁用此默认报告生成。 使用Ant或Maven等构建工具时可以设置此属性。

发表评论

表情：
评论列表 （有 0 条评论，114人围观）

还没有评论，来说两句吧...

相关阅读

    相关 TestNG

    经常在使用TestNG的注解时，忘记这些差异不大的注解的执行顺序；或者忘记用什么注解。所以这里归纳总结一下。 注解 说明 @BeforeSuite The annotat

    Bertha 。Bertha 。/ 0 赞/ 341 阅读