SpringBoot结合Druid实现SQL监控

川长思鸟来 2024-03-27 18:31 73阅读 0赞

## 1、前言 ##

SpringBoot不用我多介绍了吧，目前后端最流行的框架。后端开发人员最基本的要求。  
Druid数据库连接池，出自国内 ”java圣地" 阿里巴巴。  
Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统，旨在快速处理大规模的数据，并能够实现快速查询和分析。

1.  Druid的低延迟数据摄取架构允许事件在它们创建后毫秒内可被查询到，这使其具有快速的交互式查询能力。同时，Druid的数据在系统更新时依然可用，规模的扩大和缩小都不会造成数据丢失，这意味着它具有高可用性。
2.  Druid出自Alibaba，已实现每天能够处理数十亿事件和TB级数据，说明其具有可扩展性。在实际应用场景中，例如需要交互式聚合和快速探究大量数据、需要实时查询分析、具有大量数据等情况下，Druid都可以发挥出其高可用、高容错、高性能的优势。

总的来说，Druid是一个功能强大、性能优异且具有良好扩展性的分布式系统，适用于处理大规模数据并支持实时查询和分析。

如果想了解Druid数据库连接池在Java中最基本的使用，可以看我之前的文章：  
[Alibaba Druid数据库连接池直接起飞][Alibaba Druid]

其他文档的链接地址:

*  GitHub地址： [https://github.com/alibaba/druid][https_github.com_alibaba_druid]
 *  官方文档: [https://github.com/alibaba/druid/wiki/Druid连接池介绍][https_github.com_alibaba_druid_wiki_Druid]
 *  Starter文档: [https://github.com/alibaba/druid/tree/master/druid-spring-boot-starter][https_github.com_alibaba_druid_tree_master_druid-spring-boot-starter]

## 2、Druid数据库连接池的基本参数 ##

<table> 
 <thead> 
  <tr> 
   <th>参数名称</th> 
   <th>默认值</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><font>driver-class-name</font></td> 
   <td>null</td> 
   <td>数据库连接驱动</td> 
  </tr> 
  <tr> 
   <td><font>username</font></td> 
   <td>null</td> 
   <td>数据库连接用户名</td> 
  </tr> 
  <tr> 
   <td><font> password</font></td> 
   <td>null</td> 
   <td>数据库连接密码</td> 
  </tr> 
  <tr> 
   <td><font>url </font></td> 
   <td>null</td> 
   <td>数据库连接的URL</td> 
  </tr> 
  <tr> 
   <td><font>initial-size</font></td> 
   <td>0</td> 
   <td>初始化时建立连接的个数</td> 
  </tr> 
  <tr> 
   <td><font>max-active </font></td> 
   <td>8</td> 
   <td>最大连接池数量</td> 
  </tr> 
  <tr> 
   <td><font>min-idle</font></td> 
   <td>0</td> 
   <td>最小连接池数量</td> 
  </tr> 
  <tr> 
   <td><font>max-wait</font></td> 
   <td>-1</td> 
   <td>获取连接时最大等待时间，单位毫秒。配置了maxWait之后，缺省启用公平锁，并发效率会有所下降，如果需要可以通过配置useUnfairLock属性为true使用非公平锁。</td> 
  </tr> 
  <tr> 
   <td><font>use-global-data-source-stat</font></td> 
   <td>true</td> 
   <td>是否开启SQL统计</td> 
  </tr> 
  <tr> 
   <td>validation-query</td> 
   <td>null</td> 
   <td>用来检测连接是否有效的sql，要求是一个查询语句，常用SELECT 1 FROM DUAL</td> 
  </tr> 
  <tr> 
   <td>validation-query-timeout</td> 
   <td>-1</td> 
   <td>检测连接是否有效的超时时间，单位是秒</td> 
  </tr> 
  <tr> 
   <td>login-timeout</td> 
   <td>null</td> 
   <td>Druid Monitor登录超时时间</td> 
  </tr> 
  <tr> 
   <td>transaction-query-timeout</td> 
   <td>null</td> 
   <td>事务查询超时时间</td> 
  </tr> 
  <tr> 
   <td>query-timeout</td> 
   <td>null</td> 
   <td>查询超时时间</td> 
  </tr> 
  <tr> 
   <td>test-while-idle</td> 
   <td>true</td> 
   <td>建议配置为true，不影响性能，并且保证安全性。申请连接的时候检测，如果空闲时间大于timeBetweenEvictionRunsMillis，执行validationQuery检测连接是否有效。</td> 
  </tr> 
  <tr> 
   <td>time-between-eviction-runs-millis</td> 
   <td>60s</td> 
   <td>配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒</td> 
  </tr> 
  <tr> 
   <td>min-evictable-idle-time-millis</td> 
   <td>30分钟</td> 
   <td>配置一个连接在池中最小生存的时间，单位是毫秒</td> 
  </tr> 
  <tr> 
   <td>max-evictable-idle-time-millis</td> 
   <td>7小时</td> 
   <td>配置连接池中连接，在时间段内一直空闲，被逐出连接池的时间，单位毫秒。</td> 
  </tr> 
  <tr> 
   <td><font>default-read-only </font></td> 
   <td>null</td> 
   <td>设置连接为只读状态</td> 
  </tr> 
  <tr> 
   <td><font>default-transaction-isolation </font></td> 
   <td>null</td> 
   <td>事务的隔离级别</td> 
  </tr> 
 </tbody> 
</table>

以上标红的属性都是常用的属性,Druid连接池的参数有很多,在后面的配置中可以自行配置

## 3、实践 ##

项目环境:

1.  IDEA 2023
2.  SpringBoot
3.  Mybatis-plus
4.  lombok
5.  Druid-starter
6.  MySQL 8.0

### 3.1、导入依赖 ###

<dependency>
       <groupId>org.springframework.boot</groupId>
       <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    
    <dependency>
       <groupId>org.projectlombok</groupId>
       <artifactId>lombok</artifactId>
       <optional>true</optional>
    </dependency>
    
     <dependency>
       <groupId>com.mysql</groupId>
        <artifactId>mysql-connector-j</artifactId>
    </dependency>
    
    <dependency>
        <groupId>com.baomidou</groupId>
        <artifactId>mybatis-plus-boot-starter</artifactId>
        <version>3.5.3.1</version>
    </dependency>
    
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>druid-spring-boot-starter</artifactId>
        <version>1.2.20</version>
    </dependency>

### 3.2、yaml文件 ###

server:
      port: 8888
    
    spring:
      data:
        redis:
          host: localhost
          port: 6379
      main:
        lazy-initialization: true
        banner-mode: off
      datasource:
        druid:
          driver-class-name: com.mysql.cj.jdbc.Driver
          username: root
          password: 123456
          url: jdbc:mysql://localhost:3306/taobao?serverTimezone=Asia/Shanghai
          initial-size: 1 # 初始化时建立连接的个数
          max-active: 1 # 最大连接池数量
          min-idle: 1 # 最小连接池数量
          max-wait: 6000 # 获取连接时最大等待时间，单位毫秒。配置了maxWait之后，缺省启用公平锁，并发效率会有所下降，如果需要可以通过配置useUnfairLock属性为true使用非公平锁。
    #      pool-prepared-statements: false # 是否缓存preparedStatement， MySQL建议关闭
          use-global-data-source-stat: true # 开启SQL统计
          validation-query: SELECT 1 FROM DUAL #用来检测连接是否有效的sql，要求是一个查询语句，常用SELECT 1 FROM DUAL
          validation-query-timeout: 3000 # 检测连接是否有效的超时时间，单位是秒
          login-timeout: 3000 # 登录超时时间
          transaction-query-timeout: 3000 # 事务查询超时时间
          query-timeout: 3000 # 查询超时时间
    #      test-on-borrow: false # 申请连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能。
    #      test-on-return: false # 归还连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能
          test-while-idle: true # 建议配置为true，不影响性能，并且保证安全性。申请连接的时候检测，如果空闲时间大于timeBetweenEvictionRunsMillis，执行validationQuery检测连接是否有效。
    #      time-between-eviction-runs-millis: 30000 # 配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒
    #      min-evictable-idle-time-millis: 300000 #配置一个连接在池中最小生存的时间，单位是毫秒
    #      max-evictable-idle-time-millis: 600000 #配置连接池中连接，在时间段内一直空闲，被逐出连接池的时间，单位毫秒。
          default-read-only: false # 是否只读
          default-transaction-isolation: 4 #事务的隔离级别
          web-stat-filter: # 开启Druid过滤器
            enabled: true # 开启StatFilter
            url-pattern: /*
            exclusions: "*.jpg,*.png,*.jpeg"
            profile-enable: true # 是否监控单个URL调用的SQL列表
          stat-view-servlet: # 开启Druid Servlet拦截
            enabled: true # 是否启用StatViewServlet
            url-pattern: /druid/* #监控页面拦截url
            reset-enable: true #是否启用重置功能
            login-password: druid
            login-username: druid
          aop-patterns:
            - /database/list
          filter: # 进行慢SQL展示
            stat:
              enabled: true
              slow-sql-millis: 500
              log-slow-sql: true # 以日志的形式输入SQL
              merge-sql: true # 是否合并SQL
              db-type: mysql
    
    
    mybatis-plus:
      configuration:
        log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
      global-config:
        banner: false
      mapper-locations: classpath:/mapper/*.xml

### 3.3、运行 ###

项目启动后, 我们可以直接访问`http://localhost:项目端口/druid/login.html`就可以进行Druid Monitor.  
这些页面都是Druid已经写好了的,就在我们引入的Jar包或者依赖里头:  
![在这里插入图片描述][20f51852cf75451995822ad8fc7a8d62.png]

#### 3.3.1、登录页面 ####

我们可以在登录页面输入我们设置好的`login-username`用户名和`login-password`密码进行登录.  
![在这里插入图片描述][316fedb7ad3347868e920caf581e37c1.png]

#### 3.3.2 、首页 ####

我们可以在首页看到一些列运行的环境.  
![在这里插入图片描述][61e700f1a9e2425396bcb4e31c6035ad.png]

#### 3.3.3 、SQL监控 ####

因为我们配置了测试连接, 所以在项目启动后会进行一次连接测试, 连接测试的SQL就是`validation-query`参数所配置的SQL.  
从图中也可以看出进行了连接测试  
![在这里插入图片描述][58b47c96b90643f1ba6187688b75d7d8.png]

### 3.4 、编写controller进行测试 ###

本项目使用了Mybatis-plus作为ORM框架, 具体的DAO层就是那么一套逻辑, 所以省略, 只显示controller接口层.

@RestController
    @RequestMapping(value = "/database")
    public class ProductController {
        
    
        @Resource
        private ProductMapper productMapper;
    
    
        @GetMapping(value = "/list")
        public List<Product> productList(){
        
            return productMapper.selectPage(new Page<>(1, 10), null).getRecords();
        }
    
    }

我们可以很清楚的看到SQL的执行被监听到了.  
![在这里插入图片描述][3855206001b443a791be37544968a539.png]  
因为我执行了分页的操作, Mybatis-plus的底层是执行了`统计数量`和`进行分页`的两条SQL, 都被监听到了.

### 3.5 、其他参数 ###

当我们能够进入到Druid Monitor后, 可以进入`数据源`页面.  
![在这里插入图片描述][f994d1400e6b4fc78b36b4ed08952e2e.png]  
表格最左侧的参数就是Druid可以配置的参数, 我这里使用的是中文进行展示, 伙伴们可以切换成英文进行展示.

[Alibaba Druid]: https://blog.csdn.net/qq_45515182/article/details/121549452
[https_github.com_alibaba_druid]: https://github.com/alibaba/druid
[https_github.com_alibaba_druid_wiki_Druid]: https://github.com/alibaba/druid/wiki/Druid%E8%BF%9E%E6%8E%A5%E6%B1%A0%E4%BB%8B%E7%BB%8D
[https_github.com_alibaba_druid_tree_master_druid-spring-boot-starter]: https://github.com/alibaba/druid/tree/master/druid-spring-boot-starter
[20f51852cf75451995822ad8fc7a8d62.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/11/65125cc2f30f45bba14bbb93c5d38d1f.png
[316fedb7ad3347868e920caf581e37c1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/11/0e5326875079481c9b022b6a253936ba.png
[61e700f1a9e2425396bcb4e31c6035ad.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/11/72e23b45dc5541e0b4a8fb7fbb0e1aef.png
[58b47c96b90643f1ba6187688b75d7d8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/11/495384085f724884ae1c6f401f294a50.png
[3855206001b443a791be37544968a539.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/11/8142b6949b37442c8393db13a5a707fb.png
[f994d1400e6b4fc78b36b4ed08952e2e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/11/d019231d17aa493fb581a6373815d356.png