【开发篇】十七、基准测试框架JMH

男娘i 2024-04-23 15:45 0阅读 0赞

#### 文章目录 ####

*  1、JMH
 *  2、运行方式二
 *  3、死代码与黑洞变量
 *  4、可视化分析
 *  5、案例：日期格式化方法性能测试
 *  6、总结
 *  7、整合到SpringBoot

判断一个方法的耗时 ⇒ endTime-startTime ⇒ 不准确，首先部分对象懒加载，第一次请求会慢一些，其次，程序运行时，JIT即时编译器会实时优化代码，如随着执行次数的增加，程序性能逐渐优化：

![在这里插入图片描述][9fd9463bef404701a8b79ee6f2968c27.png]

⇒ JMH（Java Microbenchmark Harness）准确的测方法执行的性能

## 1、JMH ##

*  [https://github.com/openjdk/jmh][https_github.com_openjdk_jmh]
 *  JMH会先执行预热，确保JIT队代码优化之后再进行测试

![在这里插入图片描述][9e7b6c25dc044b13837fb31081bb4681.png]

*  JMH项目搭建，新建个空目录，执行mvn生成模块

mvn archetype:generate \
    -DinteractiveMode=false \
    -DarchetypeGroupId=org.openjdk.jmh \
    -DarchetypeArtifactId=jmh-java-benchmark-archetype \
    -DgroupId=org.sample \
    -DartifactId=test \
    -Dversion=1.0

![在这里插入图片描述][36af448526c247fc9b2048dadc2fb29f.png]  
![在这里插入图片描述][7313bd6f40f64196b13c59d2df5e8efe.png]

*  写一个简单案例

*  mvn verfiy校验并生成jar包

![在这里插入图片描述][a273edbbc46f42bca840f52001118a3b.png]

*  运行服务，得到结果

![在这里插入图片描述][2acfdc58794b49d2bfceed9d029a5a8d.png]  
![在这里插入图片描述][2ae30450311b4fa1ab6cef754c63cc05.png]

## 2、运行方式二 ##

每次打jar包运行很麻烦，改用一个main方法：

//执行5轮预热，每次持续1秒
    @Warmup(iterations = 5, time = 1, timeUnit = TimeUnit.SECONDS)
    //启动多少个进程 + 追加JMV参数
    @Fork(value = 1, jvmArgsAppend = {
        "-Xms1g", "-Xmx1g"})
    //指定显示平均时间，单位纳秒。Mode.ALL显示所有数据
    @BenchmarkMode(Mode.AverageTime)
    //纳秒
    @OutputTimeUnit(TimeUnit.NANOSECONDS)
    //变量共享的范围，对象在单个线程中共享就选Scope.Thread
    @State(Scope.Benchmark)
    public class MyBenchmark {
        
    
        @Benchmark
        public int test1() {
        
            int i = 0;
            i++;
            return i;
        }
    
        public static void main(String[] args) throws RunnerException {
        
            Options opt = new OptionsBuilder()
                    //测哪个类
                    .include(MyBenchmark.class.getSimpleName())
                    //结果的格式，json文件
                    //.resultFormat(ResultFormatType.JSON)
                    //进程数
                    .forks(1)
                    .build();
    
            new Runner(opt).run();
        }
    }

结果相比jar包运行的方式略有出入，因为IDEA启动时自身会设置一些参数（所以要准确就建议用jar的方式）

![在这里插入图片描述][6c832386e9ce4bff968ec8bf5129ecba.png]

## 3、死代码与黑洞变量 ##

如下，定义的变量i，最后没有返回，JIT会认为i没有使用，会把这一段代码自动忽略掉

//...
    public void testMethod() {
        
    
    	int i = 0;
    	i++;
    	
    }
    //...

此时，JMH返回的结果明显下降很多：

![在这里插入图片描述][eda928b9c72c4e27bad6688d70353fc5.png]

以上即死代码，JMH测试过程中，可用一个黑洞的变量，调用consume消费方法，就可以避免JIT把这些变量自动删除掉：

public void testMethod(Blackhole blackhole) {
        
        int i= 0;
        i++;
        int j = 0;
        j++;
        //使用黑洞，避免i,j变量没有使用被JIT当成死代码优化时去掉
        blackhole.consume(i);
        blackhole.consume(j);
    }

## 4、可视化分析 ##

*  生成json格式

//...
     .resultFormat(ResultFormatType.JSON)

*  上传到：[https://jmh.morethan.io/][https_jmh.morethan.io]

![在这里插入图片描述][0d94870206c3476fb9bdea35daa6db72.png]

## 5、案例：日期格式化方法性能测试 ##

package org.sample;
    
    import org.openjdk.jmh.annotations.*;
    import org.openjdk.jmh.results.format.ResultFormatType;
    import org.openjdk.jmh.runner.Runner;
    import org.openjdk.jmh.runner.RunnerException;
    import org.openjdk.jmh.runner.options.Options;
    import org.openjdk.jmh.runner.options.OptionsBuilder;
    
    import java.text.SimpleDateFormat;
    import java.time.LocalDateTime;
    import java.time.format.DateTimeFormatter;
    import java.util.Date;
    import java.util.concurrent.TimeUnit;
    
    //执行5轮预热，每次持续1秒
    @Warmup(iterations = 5, time = 1, timeUnit = TimeUnit.SECONDS)
    //执行一次测试
    @Fork(value = 1, jvmArgsAppend = {
        "-Xms1g", "-Xmx1g"})
    //显示平均时间，单位纳秒
    @BenchmarkMode(Mode.AverageTime)
    @OutputTimeUnit(TimeUnit.NANOSECONDS)
    @State(Scope.Thread)
    public class DateBench {
        
    
    
        private static String sDateFormatString = "yyyy-MM-dd HH:mm:ss";
        private Date date = new Date();
        private LocalDateTime localDateTime = LocalDateTime.now();
        //优化
        private static ThreadLocal<SimpleDateFormat> simpleDateFormatThreadLocal = new ThreadLocal();
        private static final DateTimeFormatter formatter = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss");
    
        @Setup
        public void setUp() {
        
    
            SimpleDateFormat sdf = new SimpleDateFormat(sDateFormatString);
            simpleDateFormatThreadLocal.set(sdf);
    
        }
    
        //测试Date
        @Benchmark
        public String date() {
        
            SimpleDateFormat simpleDateFormat = new SimpleDateFormat(sDateFormatString);
            return simpleDateFormat.format(date);
        }
    
        //测试LocalDateTime
        @Benchmark
        public String localDateTimeNotSave() {
        
            return localDateTime.format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss"));
        }
    
        /**
         * 优化测试Date的方法
         * SimpleDateFormat线程不安全，用ThreadLocal优化
         * 避免每次执行都创建一个SimpleDateFormat对象
         */
        @Benchmark
        public String dateThreadLocal() {
        
            return simpleDateFormatThreadLocal.get().format(date);
        }
    
        /**
         * 优化LocalDateTime
         */
        @Benchmark
        public String localDateTime() {
        
            return localDateTime.format(formatter);
        }
    
    
        public static void main(String[] args) throws RunnerException {
        
            Options opt = new OptionsBuilder()
                    .include(DateBench.class.getSimpleName())
                    .resultFormat(ResultFormatType.JSON)
                    .forks(1)
                    .build();
    
            new Runner(opt).run();
        }
    }

结果：

![在这里插入图片描述][4985a50b104f45bba109493985be576e.png]

结论：

*  Date对象使用的SimpleDateFormat线程不安全，每次需要重新创建对象，或者将对象放入ThreadLocal，后者性能好一点
 *  LocalDateTime对象使用的DateTimeFormatter线程安全，且性能好，将DateTimeFormatter对象保存一下，别每次都创建，性能会更好

## 6、总结 ##

Jmh可以完全模拟运行环境中的Java虚拟机参数，同时支持预热能通过JIT执行优化后的代码获得更为准确的数据

## 7、整合到SpringBoot ##

<dependency>
    	<groupId>org.openjdk.jmh</groupId>
    	<artifactId>jmh-core</artifactId>
    	<version>${jmh.version}</version>
    	<scope>test</scope>
    </dependency>
    
    <dependency>
    	<groupId>org.openjdk.jmh</groupId>
    	<artifactId>jmh-generator-annprocess</artifactId>
    	<version>${jmh.version}</version>
    	<scope>test</scope>
    </dependency>

和之前单独一个jmh项目相比，整合时，可在UT中完成，setup初始是从IOC中获取要测试的方法所在类的Bean。且每次执行Benchmark注解的方法，都会运行一个新的SpringBoot服务，下面同时测5个方法，因此需要在配置文件中将端口设置成随机生成的。

import org.junit.jupiter.api.Test;
    import org.openjdk.jmh.annotations.*;
    import org.openjdk.jmh.infra.Blackhole;
    import org.openjdk.jmh.results.format.ResultFormatType;
    import org.openjdk.jmh.runner.Runner;
    import org.openjdk.jmh.runner.RunnerException;
    import org.openjdk.jmh.runner.options.OptionsBuilder;
    import org.springframework.boot.SpringApplication;
    import org.springframework.context.ApplicationContext;
    
    import java.io.IOException;
    import java.util.concurrent.TimeUnit;
    
    //执行5轮预热，每次持续1秒
    @Warmup(iterations = 5, time = 1, timeUnit = TimeUnit.SECONDS)
    //执行一次测试
    @Fork(value = 1, jvmArgsAppend = {
        "-Xms1g", "-Xmx1g"})
    //显示平均时间，单位纳秒
    @BenchmarkMode(Mode.AverageTime)
    @OutputTimeUnit(TimeUnit.MILLISECONDS)
    @State(Scope.Benchmark)
    public class PracticeBenchmarkTest {
        
    
        private UserController userController;
        private ApplicationContext context;
    
        //初始化将springboot容器启动 端口号随机
        @Setup
        public void setup() {
        
            this.context = new SpringApplication(JvmOptimizeApplication.class).run();
            userController = this.context.getBean(UserController.class);
        }
    
        //启动这个测试用例进行测试
        @Test
        public void executeJmhRunner() throws RunnerException, IOException {
        
    
            new Runner(new OptionsBuilder()
                    .shouldDoGC(true)
                    .forks(0)
                    .resultFormat(ResultFormatType.JSON)
                    .shouldFailOnError(true)
                    .build()).run();
        }
    
        //用黑洞消费数据，避免JIT消除代码
        @Benchmark
        public void test1(final Blackhole bh) {
        
    
            bh.consume(userController.user1());
        }
    
        @Benchmark
        public void test2(final Blackhole bh) {
        
    
            bh.consume(userController.user2());
        }
    
        @Benchmark
        public void test3(final Blackhole bh) {
        
    
            bh.consume(userController.user3());
        }
    
        @Benchmark
        public void test4(final Blackhole bh) {
        
    
            bh.consume(userController.user4());
        }
    
        @Benchmark
        public void test5(final Blackhole bh) {
        
    
            bh.consume(userController.user5());
        }
    }

随机端口：

server:
    #  port: 8882
      port: ${
        random.int(2000,8000)}		#！！！！
      tomcat:
        threads:
          min-spare: 50
          max: 500

[9fd9463bef404701a8b79ee6f2968c27.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/a354d0d7f7f04133a5f7df6810701ea9.png
[https_github.com_openjdk_jmh]: https://github.com/openjdk/jmh
[9e7b6c25dc044b13837fb31081bb4681.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/8c5eb0cfa06547ca9de6bf2b9a6cb983.png
[36af448526c247fc9b2048dadc2fb29f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/45eb8e2f235045a2831443a74fcdd9b9.png
[7313bd6f40f64196b13c59d2df5e8efe.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/f9a9281423454b29990433f146a39dcf.png
[a273edbbc46f42bca840f52001118a3b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/5f79055431a04b4ca1cca3bcd7722dcf.png
[2acfdc58794b49d2bfceed9d029a5a8d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/caca0246d61046b2863180816542e7cb.png
[2ae30450311b4fa1ab6cef754c63cc05.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/efc3ff0b5caf434490b493fdfe7431a6.png
[6c832386e9ce4bff968ec8bf5129ecba.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/f4e0e3687a8647378c0d62ccc572bda0.png
[eda928b9c72c4e27bad6688d70353fc5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/49f31e15f11a44f99a9d5ead4d1baf21.png
[https_jmh.morethan.io]: https://jmh.morethan.io/
[0d94870206c3476fb9bdea35daa6db72.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/fbe01f5b989640cd83943b3d1317bac5.png
[4985a50b104f45bba109493985be576e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/d6bc1dde11794f36894d341a9f2045d9.png