数据库连接池的选择和CommunicationsException

素颜马尾好姑娘i 2024-04-17 18:51 21阅读 0赞

背景，本人多个项目最近用到了多个数据源，但是偶尔会出现如下异常:  
com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

### 1 druid：mysql异常重启导致的CommunicationsException ###

项目一直正常，突然早晨反馈，系统不可用了，看日志内容如下：  
Caused by: java.io.EOFException: Can not read response from server. Expected to read 4 bytes, read 0 bytes before connection was unexpectedly lost.  
        at com.mysql.jdbc.MysqlIO.readFully(MysqlIO.java:3052)  
        at com.mysql.jdbc.MysqlIO.readPacket(MysqlIO.java:597)  
        ... 15 more  
\[ERROR\]-\[2019-08-28 09:15:39\]-\[DruidDataSource.run():2001\]-\[Druid-ConnectionPool-Create-1341527551\] create connection error, url: jdbc:mysql://gaway-009  
:3306/bi?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&useSSL=false, errorCode 0, state 08S01  
com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

The last packet successfully received from the server was 4,620 milliseconds ago.  The last packet sent successfully to the server was 649 milliseconds ago.  
        at sun.reflect.GeneratedConstructorAccessor153.newInstance(Unknown Source)  
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)  
        at java.lang.reflect.Constructor.newInstance(Constructor.java:423)  
        at com.mysql.jdbc.Util.handleNewInstance(Util.java:411)  
        at com.mysql.jdbc.SQLError.createCommunicationsException(SQLError.java:1121)  
        at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3603)  
        at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3492)  
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:4043)  
        at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2503)  
        at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2664)  
        at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2809)  
        at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2758)  
        at com.mysql.jdbc.StatementImpl.executeQuery(StatementImpl.java:1612)  
        at com.mysql.jdbc.ConnectionImpl.isReadOnly(ConnectionImpl.java:3930)  
        ... 132 more  
Caused by: java.net.SocketException: Connection reset  
        at java.net.SocketInputStream.read(SocketInputStream.java:209)  
        at java.net.SocketInputStream.read(SocketInputStream.java:141)  
        at com.mysql.jdbc.util.ReadAheadInputStream.fill(ReadAheadInputStream.java:114)  
        at com.mysql.jdbc.util.ReadAheadInputStream.readFromUnderlyingStreamIfNecessary(ReadAheadInputStream.java:161)  
        at com.mysql.jdbc.util.ReadAheadInputStream.read(ReadAheadInputStream.java:189)  
        at com.mysql.jdbc.MysqlIO.readFully(MysqlIO.java:3049)  
        at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3503)  
        ... 140 more  
\[ERROR\]-\[2019-08-28 09:15:39\]-\[DruidDataSource.run():2001\]-\[Druid-ConnectionPool-Create-994566274\] create connection error, url: jdbc:mysql://gateway-06:  
3306/bireports, errorCode 0, state 08S01  
com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

没有办法，重启服务ok，后来发现是因为夜里mysql被异常重启了，换句话说异常重启后库连接一直无法建立，本人用的连接池配置如下：  
   <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">  
        <property name="name" value="CBoard Meta Data"/>  
        <property name="url" value="$\{jdbc\_url\}"/>  
        <property name="username" value="$\{jdbc\_username\}"/>  
        <property name="password" value="$\{jdbc\_password\}"/>

java中代码如下  
DruidDataSource druidDS = (DruidDataSource) DruidDataSourceFactory.createDataSource(conf);  
druidDS.setBreakAfterAcquireFailure(true);  
druidDS.setConnectionErrorRetryAttempts(5);  
问题：夜里mysql异常重启，但是druid似乎没有发现，并且没有进行重连，但是页面操作使用数据库连接就会报上面的异常，怎么让druid在mysql重启的时候自动获取连接呢 ？

经过本人查阅资料和测试，现在确定有两种解决方案  
1 设置druidDS.setBreakAfterAcquireFailure(true); 注意好像在配置文件中直接配置不会生效，必须采取java赋值的方式  
原因如下：  
BreakAfterAcquireFailure是用于失败重连，默认为false，但是在我的项目配置中配置为true。  
后来druid的官网查看了发现true表示向数据库请求连接失败后,就算后端数据库恢复正常也不进行重连,客户端对pool的请求都拒绝掉.false表示新的请求都会尝试去数据库请求connection.默认为false。  
原文链接：https://blog.csdn.net/weixin\_40547924/article/details/92985008

setBreakAfterAcquireFailure(false)后，如果一直重试会导致，一直打印错误日志。  
breakAfterAcquireFailure=false是一种方式，但是建议的方式设置错误连接重试时间，即timeBetweenConnectErrorMillis=600000，减少错误日志又能在mysql恢复的时候

2 设置<property name="testWhileIdle" value="true"/>，笔者其实已经设置，但是发现依旧不好用，这是因为  
这种方案涉及到你使用的druid和mysql connnector版本，下面的两个版本是不可以的，应该是druid的bug，不会生效：  
<dependency>  
    <groupId>com.alibaba</groupId>  
    <artifactId>druid</artifactId>  
    <version>1.0.27</version>  
</dependency>  
<dependency>  
    <groupId>mysql</groupId>  
    <artifactId>mysql-connector-java</artifactId>  
    <version>5.1.24</version>  
</dependency>

生效的实例版本为：  
<dependency>  
    <groupId>com.alibaba</groupId>  
    <artifactId>druid</artifactId>  
    <version>1.1.16</version>  
</dependency>  
<dependency>  
    <groupId>mysql</groupId>  
    <artifactId>mysql-connector-java</artifactId>  
    <version>8.0.11</version>  
</dependency>

testWhileIdle为true时，会定时对线程池中的链接进行validateObject校验，对无效的链接进行关闭后，会调用ensureMinIdle，适当建立链接保证最小的minIdle连接数。  
注意：上面问题版本更新后可能会报异常，如果你的jdbc.url中包含zeroDateTimeBehavior=convertToNull，需要convertToNull修改为CONVERT\_TO\_NULL

### 2 dbcp：mysql空闲超时导致的CommunicationsException ###

问题：部分数据源 早晨使用的时候连接不可用，多刷几次则又可以使用；错误信息如下：  
com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure  
注意此时场景和上面问题不同，这里是每天早晨都会数据源偶尔失效，而mysql服务并没有重启，原因分析如下：  
查看mysql版本和非活跃超时时间:select version();  
如果版本大于4，autoReconnect=true 无效  
查看和连接mysql时间有关的系统变量：show variables like '%timeout%'  
1)interactive\_timeout:  
参数含义：服务器关闭交互式连接前等待活动的秒数。  
参数默认值：28800秒（8小时）  
(2)wait\_timeout:  
参数含义：服务器关闭非交互连接之前等待活动的秒数。  
在线程启动时，根据全局wait\_timeout值或全局interactive\_timeout值初始化会话wait\_timeout值，取决于客户端类型(由mysql\_real\_connect()的连接选项CLIENT\_INTERACTIVE定义)。  
参数默认值：28800秒（8小时）  
wait\_timeout：超时控制的变量，其时间为长度为28800s，就是8个小时，在8个小时之后会断开，需要重新连接，可以在访问的url中使用  
jdbc.url=jdbc:mysql://localhost:3306/nd?autoReconnect=true来是连接自动恢复，但这是mysql4及其以下版本使用，在mysql5中已经无效，必须调整系统变量来控制  
Mysql5中对wait\_timeout和interactive\_timeout有两个说明：interactive\_timeout：服务器关闭交互式连接前等待活动的秒数。交互式客户端定义为在  
mysql\_real\_connect()中使用CLIENT\_INTERACTIVE选项的客户端。又见wait\_timeout   
wait\_timeout:服务器关闭非交互连接之前等待活动的秒数。在线程启动时，根据全局wait\_timeout值或全局interactive\_timeout值初始化  
会话wait\_timeout值，取决于客户端类型(由mysql\_real\_connect()的连接选项CLIENT\_INTERACTIVE定义)，又见interactive\_timeout   
结论：若要修改的话，需要同时修改这两个变量   
原文链接：https://blog.csdn.net/zouxucong/article/details/53924414

基于上面 autoReconnect=true 无效，超时等待时间为8时，那超时后会发生什么？  
MySQL服务器默认的“wait\_timeout”是28800秒即8小时，意味着如果一个连接的空闲时间超过8个小时，MySQL将自动断开该连接，而连接池却认为该连接还是有效的(因为并未校验连接的有效性)，当应用申请使用该连接时，就会导致上面的报错。而且数据内配置的时候没有 做重连配置

解决：  
首先dbcp的性能不太好，所以修改成tomcat jdbc pool，完整配置如下：  
     
    <bean id="mysqlBI" class="org.apache.tomcat.jdbc.pool.DataSource" destroy-method="close">  
          
        <property name="driverClassName" value="$\{jdbc.driver\}"/>  
        <property name="url" value="$\{jdbc.url\}"/>  
        <property name="username" value="$\{jdbc.username\}"/>  
        <property name="password" value="$\{jdbc.password\}"/>

<property name="maxActive" value="$\{jdbc.pool.maxActive\}"/>  
        <property name="maxIdle" value="$\{jdbc.pool.maxIdle\}"/>  
        <property name="minIdle" value="$\{jdbc.pool.minIdle\}"/>  
        <property name="maxWait" value="$\{jdbc.pool.maxWait\}"/>  
        <property name="minEvictableIdleTimeMillis" value="$\{jdbc.pool.minEvictableIdleTimeMillis\}"/>  
        <property name="removeAbandoned" value="$\{jdbc.pool.removeAbandoned\}"/>  
        <property name="removeAbandonedTimeout" value="$\{jdbc.pool.removeAbandonedTimeout\}"/>  
          
        <property name="testWhileIdle" value="true"/>  
        <property name="validationQuery" value="select 1"/>  
        <property name="timeBetweenEvictionRunsMillis" value="600000" />  
        <property name="testOnBorrow" value="false"/>  
    </bean>

借鉴  
https://www.cnblogs.com/wuyun-blog/p/5679073.html

### C3P0、DBCP、Tomcat Jdbc Pool、Druid等 ###

C3p0: 开源的JDBC连接池，实现了数据源和JNDI绑定，支持JDBC3规范和JDBC2的标准扩展。目前使用它的开源项目有Hibernate、Spring等。单线程，性能较差，适用于小型系统。

DBCP (Database Connection Pool):由Apache开发的一个Java数据库连接池项目， Jakarta commons-pool对象池机制，原本Tomcat使用的连接池组件就是DBCP。预先将数据库连接放在内存中，应用程序需要建立数据库连接时直接到连接池中申请一个就行，用完再放回。单线程，并发量低，性能不好，适用于小型系统。

Druid：Druid是Java语言中最好的数据库连接池，Druid能够提供强大的监控和扩展功能，是一个可用于大数据实时查询和分析的高容错、高性能的开源分布式系统，尤其是当发生代码部署、机器故障以及其他产品系统遇到宕机等情况时，Druid仍能够保持100%正常运行。主要特色：为分析监控设计；快速的交互式查询；高可用；可扩展；Druid是一个开源项目，源码托管在github上。

Tomcat Jdbc Pool：Tomcat在7.0以前都是使用dbcp做为连接池组件，但是dbcp是单线程，为保证线程安全会锁整个连接池，性能较差。Tomcat从7.0开始引入了新增连接池模块叫做Tomcat jdbc pool，基于Tomcat JULI，使用Tomcat日志框架，完全兼容dbcp，通过异步方式获取连接，支持高并发应用环境，超级简单核心文件只有8个，支持JMX，支持XA Connection。连接远程的数据库，而网络质量很差，经常断开连接。用dbcp，经常死锁，Druid在这种恶劣的工况下，也不行。最后用的tomcat7连接池，搞定。

C3p0和DBCP 性能差，而且不再更新，所以不能用  
druid和tomcatjdbc性能差别不大，并发量比较大选druid吧，网络不好用tomcatJdbc吧，毕竟和tomcat是一起的。  
最推荐使用HikariCP连接池，据说牛的一逼，但是还没用过

HikariCP连接池评价  
https://www.jianshu.com/p/15b846107a7c  
https://www.jianshu.com/p/d60eb6cf8d36

HikariCP坑：[https://www.jianshu.com/p/e6f3e1da4bf0][https_www.jianshu.com_p_e6f3e1da4bf0]

数据源从druid迁移到HikariCP  
https://www.cnblogs.com/leechenxiang/p/9201179.html

[https_www.jianshu.com_p_e6f3e1da4bf0]: https://www.jianshu.com/p/e6f3e1da4bf0