踩坑日记（一）：半夜打DBA电话解决数据库连接超时自动回滚问题

墨蓝 2022-10-19 04:10 16阅读 0赞

点击上方“IT实战联盟”，关注“公\*众\*号”

领导要高高在上

平时多听听他人的意见

然后认真记下来到底是谁对你有意见

# 背景 #

很少用的一个业务后台管理端需要导入一批数据（200多条），用户在导入的时候没有成功。业务场景比较复杂，需要将每条数据去数据库匹配、关联、分析后再将结果进行更新。大约涉及5张表、3000多万笔数据。

# 报错日志分析 #

![踩坑日记（一）：半夜打DBA电话解决数据库连接超时自动回滚问题][DBA]

从报错日志上来看，主要是由于连接时间过长，导致连接失效。那么那失效的连接去请求数据库就会报上图的异常。

# 排查步骤 #

**第一步：检查数据库连接池设置的超时时间**

首先想到的是项目中配置的数据库连接池超时时间设置小了，具体配置如下：

spring.datasource.max-wait: 120000

那就“豪放”一点加个 0 ，测试发现依然报错。

**第二步：分析报错数据**

连接池的超时时间没有问题那就分析一下具体的报错数据，是否由于数据原因导致。修改日志级别（由于该功能一直在正常使用，日志级别是debug），将报错数据进行输出。排除因导入文件格式、内容编码格式等因素。

根据打印的数据拼接SQL到数据库进行执行也是正常的，接着连续重试多次上传功能每次引起报错的数据也不是同一个。

**第三步：分析业务SQL**

首先反应的是代码块有慢SQL导致连接超时，根据日志报错的代码行将SQL单独执行是毫秒级的，并且只有一个用户操作是单线程，这样也不存在并发现象。

排除慢SQL 问题。

**第四步：分析底层报错日志**

项目业务和SQL层面排查完毕后，没有定位到问题根本原因，只能继续分析报错日志。

![踩坑日记（一）：半夜打DBA电话解决数据库连接超时自动回滚问题][DBA 1]

从上图看到和查询结果集的数据类型有关，难道匹配的数据存在null、或者类型有问题？再一次执行了报错数据，认真的检查了一遍数据类型和数据信息都正常，没有特别的地方。

到这里卡壳了......

**第五步：求助 MySQl Bug 网站**

其实已经定位到是mysql 的问题，但是具体原因和解决方案还没有找到，这里只能到MySQL Bug 官网去碰一碰运气。

https://bugs.mysql.com/bug.php?id=41484

![踩坑日记（一）：半夜打DBA电话解决数据库连接超时自动回滚问题][DBA 2]

找到了和我们一样的问题记录，大致是 mysql 连接池的某个版本的Bug，这里赶紧看一下自己项目中用的是哪个版本：

compile('mysql:mysql-connector-java:5.1.39')

虽然从版本来看是比较低，但是找了一圈也没有看到从哪个版本起修复了这个问题，难道要升级到最新的8.x ？

但是项目是比较老的，升级后需要经过完整的回归测试才行，并且短时间内没办法进行全面的测试。

**第六步：临时升级 mysql-connector-java**

经团队讨论可以进行临时的升级解决用户的问题，然后再降级优化业务逻辑解决问题，甚至后续可以进行重构。

升级为 6.x......

执行......

问题依然存在！！！

**第七步：求助 DBA**

半夜打 DBA 电话帮忙看一下数据库层面是否可以给一些建议，DBA 查询数据库设置超时时间：

show global variables like '%timeout%';

![踩坑日记（一）：半夜打DBA电话解决数据库连接超时自动回滚问题][DBA 3]

等待时间只有 180 秒，其他数据库的超时时间都是 28800（默认8小时）。

修改数据库超时时间为28800，再次执行成功。

# 总结 #

最近数据库做过迁移，DBA 回复这个超时时间应该都是统一默认的，不知道在什么时候被修改了。

虽然通过修改数据库设置的方式解决了问题，但是在业务设计层面也存在问题。整个上传服务前同事用的是一个大事务，要么全部成功，要么全部失败。在业务量小的时候是不会遇到这个问题的，但是随着需求的不断迭代，系统的复杂度越来越高就暴露出来了。

无意中发现了 mysql 连接的一个bug，虽然比较老但是也有收获。

欢迎大家关注“IT实战联盟”\*公\*众\*号，后续有更多的踩坑问题分享给大家......

[DBA]: /images/20221005/eff7e9f7f3fc47afaabff6f869c27782.png
[DBA 1]: /images/20221005/fb3bd2d75098421ab895e39a5087b055.png
[DBA 2]: /images/20221005/31e7cbec56a54dddafafc682baa34518.png
[DBA 3]: /images/20221005/e5310a85b2784e05bbc819de40d157b3.png

发表评论取消回复

表情：

评论列表（有 0 条评论，16人围观）

还没有评论，来说两句吧...

相关阅读

相关 spring aop处理事务回滚机制踩坑

象： @Transactional(propagation = Propagation.REQUIRED) public boolean handleM...

绝地灬酷狼/ 2024年04月19日 15:02/ 0 赞/ 55 阅读

相关 IDEA 连接数据库 MySQL及其踩坑解决

1、可视化界面的步骤及 Download missing driver files [解决IDEA连接MYSQL出现的问题Download missing driver fi

客官°小女子只卖身不卖艺/ 2024年04月08日 10:02/ 0 赞/ 76 阅读

相关 Spring Boot 各种回滚骚操作实战(自动回滚、手动回滚、部分回滚）

概念事务定义事务，就是一组操作数据库的动作集合。事务是现代数据库理论中的核心概念之一。如果一组处理步骤或者全部发生或者一步也不执行，我们称该组处理步骤为一个事务

╰半橙微兮°/ 2024年03月17日 20:39/ 0 赞/ 127 阅读

相关 mpvue踩坑日记

1. app.json中pages字段里的页面地址不能重复 2. tabbar中不能设置字体大小（至少在2019.10.10之前是不支持的，希望后续能够支持吧） 3. 全

淩亂°似流年/ 2023年06月08日 04:37/ 0 赞/ 29 阅读

相关 @Transactional 踩坑记录(不生效,并发,回滚问题)

文章目录坑1: @Transactional 不生效? 1. 是否添加依赖? 2. 方法是否是公开的( pubilc ) ?

淩亂°似流年/ 2023年05月28日 14:16/ 0 赞/ 29 阅读

相关踩坑日记（一）：半夜打DBA电话解决数据库连接超时自动回滚问题

点击上方“IT实战联盟”，关注“公\众\号” 领导要高高在上平时多听听他人的意见然后认真记下来到底是谁对你有意见背景很少用的一个业务后台管理端需要导入一批

墨蓝/ 2022年10月19日 04:10/ 0 赞/ 17 阅读

相关 minikube入门+踩坑日记

环境搭建 minikube kubectl docker 下载并配置好环境变量运行minikube 从这里就开始踩坑 miniku

你的名字/ 2022年09月16日 11:06/ 0 赞/ 448 阅读

相关踩坑日记 - word转pdf

说明最近这几天研究了下word转pdf的功能实现，特别记录下，方便以后查看。搜索了网上大部分的资料，总的来说，不外乎以下几种： 1. openoffice，支

待我称王封你为后i/ 2022年05月26日 13:18/ 0 赞/ 283 阅读

相关 Xamarin踩坑日记

Xamarin踩坑日记 1. 2018-12-4 ImageLoaderSourceHandler: Could not retrieve image or

谁借莪１个温暖的怀抱￠/ 2022年04月11日 07:43/ 0 赞/ 388 阅读

相关 Oracle踩坑一日记_20190522

本来应该早就弄好的东西，但是因为操作问题，各种问题。问题一：安装oracle到底需要不需要jdk? 8i之后的并不需要，自带相应需要的东西。问题二：默认装的，实例名是

亦凉/ 2022年01月28日 00:05/ 0 赞/ 264 阅读