SpringBoot + Druid DataSource 实现监控 MySQL 性能

快来打我* 2023-09-24 18:52 54阅读 0赞

## 1. 基本概念 ##

我们都使用过连接池，比如`C3P0，DBCP，hikari， Druid`，虽然HikariCP的速度稍快，但Druid能够提供强大的监控和扩展功能，也是阿里巴巴的开源项目。

Druid是阿里巴巴开发的号称为监控而生的数据库连接池，在功能、性能、扩展性方面，都超过其他数据库连接池，包括`DBCP、C3P0、BoneCP、Proxool、JBoss DataSource`等等，秒杀一切。

Druid可以很好的监控DB池连接和SQL的执行情况，天生就是针对监控而生的DB连接池。

Spring Boot默认数据源`HikariDataSource`与`JdbcTemplate`中已经介绍Spring Boot 2.x默认使用Hikari数据源，可以说Hikari与Driud都是当前Java Web上最优秀的数据源。

而Druid已经在阿里巴巴部署了超过600个应用，经过好几年生产环境大规模部署的严苛考验！

*  **stat：** Druid内置提供一个`StatFilter`，用于统计监控信息。
 *  **wall：** Druid防御SQL注入攻击的`WallFilter`就是通过Druid的SQL Parser分析。Druid提供的`SQL Parser`可以在JDBC层拦截SQL做相应处理，比如说分库分表、审计等。
 *  **log4j2：** 这个就是 日志记录的功能，可以把sql语句打印到log4j2供排查问题。

## 2. 相关配置 ##

2.1 添加依赖

<properties>
        <java.version>1.8</java.version>
        <alibabaDruidStarter.version>1.2.11</alibabaDruidStarter.version>
    </properties>
    
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>druid-spring-boot-starter</artifactId>
        <version>${alibabaDruidStarter.version}</version>
    </dependency>

2.2 配置属性

*  **配置Druid数据源（连接池）：** 如同c3p0、dbcp数据源可以设置数据源连接初始化大小、最大连接数、等待时间、最小连接数 等一样，Druid数据源同理可以进行设置。
 *  **配置Druid web监控filter（WebStatFilter）：** 这个过滤器的作用就是统计web应用请求中所有的数据库信息，比如 发出的sql语句，sql执行的时间、请求次数、请求的url地址、以及seesion监控、数据库表的访问次数等等。
 *  **配置Druid后台管理Servlet（StatViewServlet）：** Druid数据源具有监控的功能，并提供了一个web界面方便用户查看，类似安装 路由器 时，人家也提供了一个默认的web页面；需要设置Druid的后台管理页面的属性，比如 登录账号、密码等。

【注意】：`Druid Spring Boot Starter`配置属性的名称完全遵照Druid，可以通过Spring Boot配置文件来配置Druid数据库连接池和监控，如果没有配置则使用默认值，如下在`application.yml`配置相关属性：

# spring 配置
    spring:
      datasource:
        driver-class-name: com.mysql.cj.jdbc.Driver
        password: 123456
        username: root
        url: jdbc:mysql://localhost:3306/superjson?useUnicode=true&characterEncoding=utf8&useSSL=false
        # 连接池配置
        druid:
          # 初始化大小，最小，最大
          initial-size: 5
          min-idle: 5
          max-active: 20
          # 配置获取连接等待超时的时间
          max-wait: 60000
          # 配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位毫秒
          time-between-eviction-runs-millis: 60000
          # 配置一个连接在池中最小生存时间
          min-evictable-idle-time-millis: 300000
          validation-query: SELECT 1 FROM user
          test-while-idle: true
          test-on-borrow: false
          test-on-return: false
          # 打开 PSCache，并且指定每个连接上 PSCache 的大小
          pool-prepared-statements: true
          max-pool-prepared-statement-per-connection-size: 20
          # 配置监控统计拦截的 Filter，去掉后监控界面 SQL 无法统计，wall 用于防火墙
          filters: stat,wall,slf4j
          # 通过 connection-properties 属性打开 mergeSql 功能；慢 SQL 记录
          connection-properties: druid.stat.mergeSql\=true;druid.stat.slowSqlMillis\=5000
          # 配置 DruidStatFilter
          web-stat-filter:
            enabled: true
            url-pattern: /*
            exclusions: .js,*.gif,*.jpg,*.bmp,*.png,*.css,*.ico,/druid/*
          # 配置 DruidStatViewServlet
          stat-view-servlet:
            url-pattern: /druid/*
            # IP 白名单，没有配置或者为空，则允许所有访问
            allow: 127.0.0.1
            # IP 黑名单，若白名单也存在，则优先使用
            deny: 192.168.31.253
            # 禁用 HTML 中 Reset All 按钮
            reset-enable: false
            # 登录用户名/密码
            login-username: root
            login-password: 123456
            # 需要设置enabled=true,否则会报出There was an unexpected error (type=Not Found, status=404).错误，或者将druid-spring-boot-starter的版本降低到1.1.10及以下
            # 是否启用StatViewServlet（监控页面）默认值为false（考虑到安全问题默认并未启动，如需启用建议设置密码或白名单以保障安全）
            enabled: true

上述配置文件的参数可以在`com.alibaba.druid.spring.boot.autoconfigure.properties.DruidStatProperties`和 `org.springframework.boot.autoconfigure.jdbc.DataSourcePropertie`中找到。

2.3 配置Filter

可以通过`spring.datasource.druid.filters=stat,wall,log4j ...`的方式来启用相应的内置Filter，不过这些Filter都是默认配置。如果默认配置不能满足需求，可以放弃这种方式，通过配置文件来配置Filter，如下所示：

# 配置StatFilter 
    spring.datasource.druid.filter.stat.enabled=true
    spring.datasource.druid.filter.stat.db-type=h2
    spring.datasource.druid.filter.stat.log-slow-sql=true
    spring.datasource.druid.filter.stat.slow-sql-millis=2000
    
    # 配置WallFilter 
    spring.datasource.druid.filter.wall.enabled=true
    spring.datasource.druid.filter.wall.db-type=h2
    spring.datasource.druid.filter.wall.config.delete-allow=false
    spring.datasource.druid.filter.wall.config.drop-table-allow=false

目前为以下Filter提供了配置支持，根据（`spring.datasource.druid.filter.*`）进行配置。

*  StatFilter
 *  WallFilter
 *  ConfigFilter
 *  EncodingConvertFilter
 *  Slf4jLogFilter
 *  Log4jFilter
 *  Log4j2Filter
 *  CommonsLogFilter

不想使用内置的Filters，要想使自定义Filter配置生效需要将对应Filter的enabled设置为true，`Druid Spring Boot Starter`默认禁用StatFilter，可以将其enabled设置为true来启用它。

## 3 监控页面 ##

1.  启动项目后，访问`http://localhost:8081/druid/login.html`来到登录页面，输入用户名密码登录，如下所示：

![937d8f5b019a6ff3d22abe7a8be02452.png][]

图片

1.  数据源页面 是当前DataSource配置的基本信息，上述配置的Filter可以在里面找到，如果没有配置 Filter（一些信息会无法统计，例如SQL监控会无法获取JDBC相关的SQL执行信息）

![7f6437f7f13aeb3c19536ca78c7ae327.png][]

图片

1.  SQL监控页面，统计了所有SQL语句的执行情况

![c995e18738913ba4a0a0dd8f9554e37a.png][]

图片

1.  URL监控页面，统计了所有Controller接口的访问以及执行情况

![90fcb345a2b69b3632a4dfe124c6314c.png][]

图片

1.  Spring监控页面，利用aop对指定接口的执行时间，jdbc数进行记录

![2dd35b0f1b7bab8ec4a6d85ecb386810.png][]

图片

1.  SQL防火墙页面

druid提供了黑白名单的访问，可以清楚的看到sql防护情况。

1.  Session监控页面

可以看到当前的session状况，创建时间、最后活跃时间、请求次数、请求时间等详细参数。

1.  JSONAPI页面

通过api的形式访问Druid的监控接口，api接口返回Json形式数据。

## 4. sql监控 ##

配置Druid web监控filter（`WebStatFilter`）这个过滤器，作用就是统计web应用请求中所有的数据库信息，比如 发出的sql语句，sql执行的时间、请求次数、请求的url地址、以及seesion监控、数据库表的访问次数，如下配置：

spring:
      datasource:
        druid:
          ########## 配置WebStatFilter，用于采集web关联监控的数据 ##########
          web-stat-filter:
            enabled: true                   # 启动 StatFilter
            url-pattern: /*                 # 过滤所有url
            exclusions: "*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*" # 排除一些不必要的url
            session-stat-enable: true       # 开启session统计功能
            session-stat-max-count: 1000    # session的最大个数,默认100

## 5. 慢sql记录 ##

有时候，系统中有些SQL执行很慢，我们希望使用日志记录下来，可以开启Druid的慢SQL记录功能，如下配置：

spring:
      datasource:
        druid:
          filter:
            stat:
              enabled: true         # 开启DruidDataSource状态监控
              db-type: mysql        # 数据库的类型
              log-slow-sql: true    # 开启慢SQL记录功能
              slow-sql-millis: 2000 # 默认3000毫秒，这里超过2s，就是慢，记录到日志

启动后，如果遇到执行慢的SQL，便会输出到日志中

## 6. spring 监控 ##

访问之后spring监控默认是没有数据的，但需要导入SprngBoot的AOP的Starter，如下所示：

<dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-aop</artifactId>
    </dependency>

同时需要在application.yml按如下配置:

Spring监控AOP切入点，如`com.springboot.template.dao.*`,配置多个英文逗号分隔

spring.datasource.druid.aop-patterns="com.springboot.template.dao.*"

## 7. 去广告(Ad) ##

访问监控页面的时候，你可能会在页面底部（footer）看到阿里巴巴的广告，如下所示：

![6209ae005673e6792392b7377faa1786.png][]

图片

原因：引入的druid的jar包中的common.js(里面有一段js代码是给页面的footer追加广告的)

如果想去掉，有两种方式：

1. 直接手动注释这段代码

如果是使用Maven，直接到本地仓库中，查找这个jar包，注释如下代码：

// this.buildFooter();

common.js的位置：

com/alibaba/druid/1.1.23/druid-1.1.23.jar!/support/http/resources/js/common.js

2. 使用过滤器过滤

注册一个过滤器，过滤`common.js`的请求，使用正则表达式替换相关的广告内容，如下代码所示：

@Configuration
    @ConditionalOnWebApplication
    @AutoConfigureAfter(DruidDataSourceAutoConfigure.class)
    @ConditionalOnProperty(name = "spring.datasource.druid.stat-view-servlet.enabled",
    havingValue = "true", matchIfMissing = true)
    public class RemoveDruidAdConfig {
    
        /**
        * 方法名: removeDruidAdFilterRegistrationBean
        * 方法描述 除去页面底部的广告
        * @param properties com.alibaba.druid.spring.boot.autoconfigure.properties.DruidStatProperties
        * @return org.springframework.boot.web.servlet.FilterRegistrationBean
        */
        @Bean
        public FilterRegistrationBean removeDruidAdFilterRegistrationBean(DruidStatProperties properties) {
    
            // 获取web监控页面的参数
            DruidStatProperties.StatViewServlet config = properties.getStatViewServlet();
            // 提取common.js的配置路径
            String pattern = config.getUrlPattern() != null ? config.getUrlPattern() : "/druid/*";
            String commonJsPattern = pattern.replaceAll("\\*", "js/common.js");
    
            final String filePath = "support/http/resources/js/common.js";
    
            //创建filter进行过滤
            Filter filter = new Filter() {
                @Override
                public void init(FilterConfig filterConfig) throws ServletException {}
    
                @Override
                public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException {
                    chain.doFilter(request, response);
                    // 重置缓冲区，响应头不会被重置
                    response.resetBuffer();
                    // 获取common.js
                    String text = Utils.readFromResource(filePath);
                    // 正则替换banner, 除去底部的广告信息
                    text = text.replaceAll("<a.*?banner\"></a><br/>", "");
                    text = text.replaceAll("powered.*?shrek.wang</a>", "");
                    response.getWriter().write(text);
                }
    
                @Override
                public void destroy() {}
            };
    
            FilterRegistrationBean registrationBean = new FilterRegistrationBean();
            registrationBean.setFilter(filter);
            registrationBean.addUrlPatterns(commonJsPattern);
            return registrationBean;
        }
    }

两种方式都可以，建议使用的是第一种，从根源解决。

## 8. 获取 Druid 的监控数据 ##

Druid的监控数据可以在开启`StatFilter`后，通过`DruidStatManagerFacade`进行获取;

`DruidStatManagerFacade#getDataSourceStatDataList`该方法可以获取所有数据源的监控数据，除此之外`DruidStatManagerFacade`还提供了一些其他方法，可以按需选择使用。

@RestController
    @RequestMapping(value = "/druid")
    public class DruidStatController {
    
        @GetMapping("/stat")
        public Object druidStat(){
            // 获取数据源的监控数据
            return DruidStatManagerFacade.getInstance().getDataSourceStatDataList();
        }
    }

[937d8f5b019a6ff3d22abe7a8be02452.png]: https://img-blog.csdnimg.cn/img_convert/937d8f5b019a6ff3d22abe7a8be02452.png
[7f6437f7f13aeb3c19536ca78c7ae327.png]: https://img-blog.csdnimg.cn/img_convert/7f6437f7f13aeb3c19536ca78c7ae327.png
[c995e18738913ba4a0a0dd8f9554e37a.png]: https://img-blog.csdnimg.cn/img_convert/c995e18738913ba4a0a0dd8f9554e37a.png
[90fcb345a2b69b3632a4dfe124c6314c.png]: https://img-blog.csdnimg.cn/img_convert/90fcb345a2b69b3632a4dfe124c6314c.png
[2dd35b0f1b7bab8ec4a6d85ecb386810.png]: https://img-blog.csdnimg.cn/img_convert/2dd35b0f1b7bab8ec4a6d85ecb386810.png
[6209ae005673e6792392b7377faa1786.png]: https://img-blog.csdnimg.cn/img_convert/6209ae005673e6792392b7377faa1786.png