调优 mybatis saveBatch 25倍性能

淡淡的烟草味﹌ 2023-10-12 09:26 19阅读 0赞

最近在压测一批接口，发现接口处理速度慢的有点超出预期，感觉很奇怪，后面定位发现是数据库批量保存这块很慢。

这个项目用的是 `mybatis-plus`，批量保存直接用的是 `mybatis-plus` 提供的 saveBatch。

我点进去看了下源码，感觉有点不太对劲：

![format_png][]

我继续追踪了下，从这个代码来看，确实是 for 循环一条一条执行了 `sqlSession.insert`，下面的 consumer 执行的就是上面的 `sqlSession.insert`:

![format_png 1][]

然后累计一定数量后，一批 flush。

从这点来看，这个 saveBach 的性能肯定比直接一条一条 insert 快。

我直接进行一个**粗略的实验**，简单创建了一张表来对比一波！

## 粗略的实验 ##

> 1000条数据，一条一条插入

java

复制代码

`@Test void MybatisPlusSaveOne() { SqlSession sqlSession = sqlSessionFactory.openSession(); try { StopWatch stopWatch = new StopWatch(); stopWatch.start("mybatis plus save one"); for (int i = 0; i < 1000; i++) { OpenTest openTest = new OpenTest(); openTest.setA("a" + i); openTest.setB("b" + i); openTest.setC("c" + i); openTest.setD("d" + i); openTest.setE("e" + i); openTest.setF("f" + i); openTest.setG("g" + i); openTest.setH("h" + i); openTest.setI("i" + i); openTest.setJ("j" + i); openTest.setK("k" + i); //一条一条插入 openTestService.save(openTest); } sqlSession.commit(); stopWatch.stop(); log.info("mybatis plus save one：" + stopWatch.getTotalTimeMillis()); } finally { sqlSession.close(); } }`

![format_png 2][]

可以看到，执行一批 1000 条数的批量保存，耗费的时间是 121011 毫秒。

> 1000条数据用 mybatis-plus 自带的 saveBatch 插入

java

复制代码

`@Test void MybatisPlusSaveBatch() { SqlSession sqlSession = sqlSessionFactory.openSession(); try { List<OpenTest> openTestList = new ArrayList<>(); for (int i = 0; i < 1000; i++) { OpenTest openTest = new OpenTest(); openTest.setA("a" + i); openTest.setB("b" + i); openTest.setC("c" + i); openTest.setD("d" + i); openTest.setE("e" + i); openTest.setF("f" + i); openTest.setG("g" + i); openTest.setH("h" + i); openTest.setI("i" + i); openTest.setJ("j" + i); openTest.setK("k" + i); openTestList.add(openTest); } StopWatch stopWatch = new StopWatch(); stopWatch.start("mybatis plus save batch"); //批量插入 openTestService.saveBatch(openTestList); sqlSession.commit(); stopWatch.stop(); log.info("mybatis plus save batch：" + stopWatch.getTotalTimeMillis()); } finally { sqlSession.close(); } }`

![format_png 3][]

耗费的时间是 59927 毫秒，比一条一条插入快了一倍，从这点来看，效率还是可以的。

然后常见的还有一种利用拼接 sql 方式来实现批量插入，我们也来对比试试看性能如何。

> 1000条数据用手动拼接 sql 方式插入

搞个手动拼接：

![format_png 4][]

来跑跑下性能如何：

java

复制代码

`@Test void MapperSaveBatch() { SqlSession sqlSession = sqlSessionFactory.openSession(); try { List<OpenTest> openTestList = new ArrayList<>(); for (int i = 0; i < 1000; i++) { OpenTest openTest = new OpenTest(); openTest.setA("a" + i); openTest.setB("b" + i); openTest.setC("c" + i); openTest.setD("d" + i); openTest.setE("e" + i); openTest.setF("f" + i); openTest.setG("g" + i); openTest.setH("h" + i); openTest.setI("i" + i); openTest.setJ("j" + i); openTest.setK("k" + i); openTestList.add(openTest); } StopWatch stopWatch = new StopWatch(); stopWatch.start("mapper save batch"); //手动拼接批量插入 openTestMapper.saveBatch(openTestList); sqlSession.commit(); stopWatch.stop(); log.info("mapper save batch：" + stopWatch.getTotalTimeMillis()); } finally { sqlSession.close(); } }`

![format_png 5][]

耗时只有 2275 毫秒，性能比 mybatis-plus 自带的 saveBatch 好了 26 倍！

这时，我又突然回想起以前直接用 JDBC 批量保存的接口，那都到这份上了，顺带也跑跑看！

> 1000条数据用 JDBC executeBatch 插入

java

复制代码

`@Test void JDBCSaveBatch() throws SQLException { SqlSession sqlSession = sqlSessionFactory.openSession(); Connection connection = sqlSession.getConnection(); connection.setAutoCommit(false); String sql = "insert into open_test(a,b,c,d,e,f,g,h,i,j,k) values(?,?,?,?,?,?,?,?,?,?,?)"; PreparedStatement statement = connection.prepareStatement(sql); try { for (int i = 0; i < 1000; i++) { statement.setString(1,"a" + i); statement.setString(2,"b" + i); statement.setString(3, "c" + i); statement.setString(4,"d" + i); statement.setString(5,"e" + i); statement.setString(6,"f" + i); statement.setString(7,"g" + i); statement.setString(8,"h" + i); statement.setString(9,"i" + i); statement.setString(10,"j" + i); statement.setString(11,"k" + i); statement.addBatch(); } StopWatch stopWatch = new StopWatch(); stopWatch.start("JDBC save batch"); statement.executeBatch(); connection.commit(); stopWatch.stop(); log.info("JDBC save batch：" + stopWatch.getTotalTimeMillis()); } finally { statement.close(); sqlSession.close(); } }`

![format_png 6][]

耗时是 55663 毫秒，所以 JDBC executeBatch 的性能跟 `mybatis-plus` 的 saveBatch 一样（底层一样）。

综上所述，拼接 sql 的方式实现批量保存效率最佳。

但是我又不太甘心，总感觉应该有什么别的法子，然后我就继续跟着 mybatis-plus 的源码 debug 了一下，跟到了 mysql 的驱动，突然发现有个 if 里面的条件有点显眼：

![format_png 7][]

就是这个叫 rewriteBatchedStatements 的玩意，从名字来看是要重写批操作的 Statement，前面batchHasPlainStatements 已经是 false，取反肯定是 true，所以只要这参数是 true 就会进行一波操作。

我看了下默认是 false。

![format_png 8][]

同时我也上网查了下 rewriteBatchedStatements 参数，好家伙，好像有用！

![format_png 9][]

我直接将 jdbcurl 加上了这个参数：

![format_png 10][]

然后继续跑了下 `mybatis-plus` 自带的 saveBatch，果然性能大大提高，跟拼接 SQL 差不多！

![format_png 11][]

顺带我也跑了下 JDBC 的 executeBatch ，果然也提高了。

![format_png 12][]

然后我继续 debug ，来探探 rewriteBatchedStatements 究竟是怎么 rewrite 的！

如果这个参数是 true，则会执行下面的方法且直接返回：

![format_png 13][]

看下 `executeBatchedInserts` 究竟干了什么：

![format_png 14][]

看到上面我圈出来的代码没，好像已经有点感觉了，继续往下 debug。

果然！ sql 语句被 rewrite了：

![format_png 15][]

对插入而言，所谓的 rewrite 其实就是将一批插入拼接成 `insert into xxx values (a),(b),(c)...`这样一条语句的形式然后执行，**这样一来跟拼接 sql 的效果是一样的**。

那为什么默认不给这个参数设置为 true 呢？

我简单问了下 ChatGPT：

1.  如果批量语句中的某些语句失败，则默认重写会导致所有语句都失败。
2.  批量语句的某些语句参数不一样，则默认重写会使得查询缓存未命中。

看起来影响不大，所以我给我的项目设置上了这个参数！

## 最后 ##

稍微总结下我粗略的对比（虽然粗略，但实验结果符合原理层面的理解），如果你想更准确地实验，可以使用JMH，并且测试更多组数（如 5000，10000等）的情况。

<table> 
 <thead> 
  <tr> 
   <th>批量保存方式</th> 
   <th>数据量（条）</th> 
   <th>耗时（ms）</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>单条循环插入</td> 
   <td>1000</td> 
   <td>121011</td> 
  </tr> 
  <tr> 
   <td>mybatis-plus saveBatch</td> 
   <td>1000</td> 
   <td>59927</td> 
  </tr> 
  <tr> 
   <td>mybatis-plus saveBatch(添加rewtire参数)</td> 
   <td>1000</td> 
   <td>2589</td> 
  </tr> 
  <tr> 
   <td>手动拼接sql</td> 
   <td>1000</td> 
   <td>2275</td> 
  </tr> 
  <tr> 
   <td>jdbc executeBatch</td> 
   <td>1000</td> 
   <td>55663</td> 
  </tr> 
  <tr> 
   <td>jdbc executeBatch(添加rewtire参数)</td> 
   <td>1000</td> 
   <td>324</td> 
  </tr> 
 </tbody> 
</table>

所以如果有使用 jdbc 的 Batch 性能方面的需求，要将 rewriteBatchedStatements 设置为 true，这样能提高很多性能。

然后如果喜欢手动拼接 sql 要注意一次拼接的数量，分批处理。

我是yes，从一点点到亿点点我们下篇见~

作者：yes的练级攻略  
链接：https://juejin.cn/post/7217836890120306746

[format_png]: https://img-blog.csdnimg.cn/img_convert/b01d68c02cdfa1afb2a712dfa3f5351f.webp?x-oss-process=image/format,png
[format_png 1]: https://img-blog.csdnimg.cn/img_convert/8a13a2a850376ceb9b53c35d881d30c4.webp?x-oss-process=image/format,png
[format_png 2]: https://img-blog.csdnimg.cn/img_convert/460c71c515f94d74e0903b852e78e6d5.webp?x-oss-process=image/format,png
[format_png 3]: https://img-blog.csdnimg.cn/img_convert/8d1df056a0d86b8c532e7d28217c1cb2.webp?x-oss-process=image/format,png
[format_png 4]: https://img-blog.csdnimg.cn/img_convert/38ee9c30e0a6637cc5b654965773947e.webp?x-oss-process=image/format,png
[format_png 5]: https://img-blog.csdnimg.cn/img_convert/6ff6b08d06afa6a2fd9aaa2ae72283b0.webp?x-oss-process=image/format,png
[format_png 6]: https://img-blog.csdnimg.cn/img_convert/068bd1a965761118e9d28023e80c0220.webp?x-oss-process=image/format,png
[format_png 7]: https://img-blog.csdnimg.cn/img_convert/3fe655aea866e4546610073a7a31d8bd.webp?x-oss-process=image/format,png
[format_png 8]: https://img-blog.csdnimg.cn/img_convert/25aac627a948f47ff622a9103669aa6e.webp?x-oss-process=image/format,png
[format_png 9]: https://img-blog.csdnimg.cn/img_convert/c178ee26564f9a32b21ad96711757e80.webp?x-oss-process=image/format,png
[format_png 10]: https://img-blog.csdnimg.cn/img_convert/fa66dccedb062a263c87ac2ca93b29d6.webp?x-oss-process=image/format,png
[format_png 11]: https://img-blog.csdnimg.cn/img_convert/a5bce3920e7b14ef78d439226c417de9.webp?x-oss-process=image/format,png
[format_png 12]: https://img-blog.csdnimg.cn/img_convert/35afa6adfc104beb77df5ea3d866c6be.webp?x-oss-process=image/format,png
[format_png 13]: https://img-blog.csdnimg.cn/img_convert/701d42cbdda431dd37f75eefc5d06864.webp?x-oss-process=image/format,png
[format_png 14]: https://img-blog.csdnimg.cn/img_convert/28d9bb92538e509edf17858d38d4bc32.webp?x-oss-process=image/format,png
[format_png 15]: https://img-blog.csdnimg.cn/img_convert/6b7e5b3e39315417ea8789a2af6d337c.webp?x-oss-process=image/format,png