SpringBoot搞定多数据源

秒速五厘米 2023-09-25 21:18 110阅读 0赞

### 引言 ###

在开发过程中，避免不了需要同时操作多个数据库的情况，通常的应用场景如下 ：

*  数据库高性能场景：主从，包括一主一从，一主多从等，在主库进行增删改操作，在从库进行读操作。
 *  数据库高可用场景：主备，包括一往一备，多主多备等，在数据库无法访问时可以切换。
 *  同构或异构数据的业务处理：需要处理的数据存储在不同的数据库中，包括同构（如都是 MySQL ），异构（如一个 MySQL ，另外是 PG 或者 Oracle ）。

使用 Spring Boot 该如何处理多个数据库的读写，一般有以下几种策略：

*  多套数据源：即针对一个数据库建立一套数据处理逻辑，每套数据库都包括数据源配置、会话工厂（ sessionFactory ）、连接、SQL 操作、实体。各套数据库相互独立。
 *  动态数据源：确定数量的多个数据源共用一个会话工厂，根据条件动态选取数据源进行连接、SQL 操作。
 *  参数化变更数据源：根据参数添加数据源，并进行数据源切换，数据源数量不确定。通常用于对多个数据库的管理工作。

### 多套数据源 ###

多套数据源，顾名思义每一个数据库有一套独立的操作。从下往上，数据库、会话工厂、DAO 操作，服务层都是独立的一套，如下所示：  
![在这里插入图片描述][39ab089455ad4b7280881fe1f9701a93.png]

多套数据源  
本示例中，以一主一从两个数据库，两数据库的分别有一个表 **test\_user**，表结构一致，为便于说明，两个表中的数据是不一样的。

### 搭建 Spring Boot 工程 ###

添加 MyBatis Plus 依赖

<dependency>
        <groupId>com.baomidou</groupId>
        <artifactId>mybatis-plus-boot-starter</artifactId>
        <version>3.3.0</version>
    </dependency>

主要添加以下几个包：

├─config ----------- // 数据源配置
    ├─controller ------- // web服务
    ├─entity ----------- // 实体类
    │ ├─master
    │ └─slave
    ├─mapper ----------- // dao操作类
    │ ├─master
    │ └─slave
    └─vo --------------- // 视图返回对象

注：

*  由于示例简单，省略 service 层
 *  实体类及 mapper 均根据主从进行划分

#### 多套数据源 ####

Spring Boot 的默认配置文件是 application.properties ，由于有两个数据库配置，独立配置数据库是好的实践，因此添加配置文件 jbdc.properties ，添加以下自定义的主从数据库配置：

# master
    spring.datasource.master.driver-class-name=com.mysql.cj.jdbc.Driver
    spring.datasource.master.jdbc-url=jdbc:mysql://localhost:3306/mytest?useSSL=false&serverTimezone=GMT%2B8&characterEncoding=UTF-8
    spring.datasource.master.username=root
    spring.datasource.master.password=111111
    
    # slave
    spring.datasource.slave.driver-class-name=com.mysql.cj.jdbc.Driver
    spring.datasource.slave.jdbc-url=jdbc:mysql://localhost:3306/my_test1?useSSL=false&serverTimezone=GMT%2B8&characterEncoding=UTF-8
    spring.datasource.slave.username=root
    spring.datasource.slave.password=111111

有了数据源连接信息，需要把数据源注入到 Spring 中。由于每个数据库使用独立的一套数据库连接，数据库连接使用的 SqlSession 进行会话连接，SqlSession 是由SqlSessionFactory 生成。因此，需要分别配置SqlSessionFactory 。以下操作均在 config 目录 下：

添加 \*\*DataSourceConfig \*\*配置文件，注入主从数据源

@Configuration
    @PropertySource("classpath:config/jdbc.properties")
    publicclass DatasourceConfig {
        @Bean("master")
        @ConfigurationProperties(prefix = "spring.datasource.master")
        public DataSource masterDataSource(){
            return DataSourceBuilder.create().build();
        }
    
        @Bean("slave")
        @ConfigurationProperties(prefix = "spring.datasource.slave")
        public DataSource slaveDataSource(){
            return DataSourceBuilder.create().build();
        }
    }

*  注解 PropertySource 指定配置信息文件
 *  注解 \*\*ConfigurationProperties \*\*指定主从配置前缀
 *  分别指定主从数据源的 bean 名称为 **master ，slave**

添加 **MasterMybatisConfig 配置文件，注入 Master 的SqlSessionFactory**

@Configuration
    @MapperScan(basePackages = "me.mason.demo.basicmultidatasource.mapper.master", sqlSessionFactoryRef = "masterSqlSessionFactory")
    publicclass MasterMybatisConfig {
        /**
         * 注意，此处需要使用MybatisSqlSessionFactoryBean，不是SqlSessionFactoryBean，
         * 否则，使用mybatis-plus的内置函数时就会报invalid bound statement (not found)异常
         */
        @Bean("masterSqlSessionFactory")
        public SqlSessionFactory masterSqlSessionFactory(@Qualifier("master") DataSource dataSource) throws Exception {
            // 设置数据源
            MybatisSqlSessionFactoryBean mybatisSqlSessionFactoryBean = new MybatisSqlSessionFactoryBean();
            mybatisSqlSessionFactoryBean.setDataSource(dataSource);
            //mapper的xml文件位置
            PathMatchingResourcePatternResolver resolver = new PathMatchingResourcePatternResolver();
            String locationPattern = "classpath*:/mapper/master/*.xml";
            mybatisSqlSessionFactoryBean.setMapperLocations(resolver.getResources(locationPattern));
            //对应数据库的entity位置
            String typeAliasesPackage = "me.mason.demo.basicmultidatasource.entity.master";
            mybatisSqlSessionFactoryBean.setTypeAliasesPackage(typeAliasesPackage);
            return mybatisSqlSessionFactoryBean.getObject();
        }
    }

*  注解 MapperScan 指定那些包下的 mapper 使用本数据源，并指定使用哪个SqlSessionFactory，注意，此处的 sqlSessionFactoryRef 即本配置中的注入的 SqlSessionFactory。
 *  设置指定的数据源，此处是名为 master 的数据源，使用 Qualifier 指定。
 *  MyBatis Plus 对应的 Mapper 若有自定义的 mapper.xml， 则使用 setMapperLocations 指定。
 *  若需要对实体进行别名处理，则使用 setTypeAliasesPackage 指定。

添加 SlaveMybatisConfig 配置文件，注入 Slave 的 SqlSessionFactory  
与（2）一致，把 master 改为 slave 即可。

#### 多套实体 ####

在 MyBatis 配置中，实体设置 typeAliases 可以简化 xml 的配置，前面提到，使用 typeAliasesPackage 设置实体路径，在 entity 包下分别设置 master 和 slave 包，存放两个库对应的表实体，使用 Lombok 简化实体操作。如下：

@Data
    @TableName("test_user")
    publicclass MasterTestUser implements Serializable {
        privatestaticfinallong serialVersionUID = 1L;
        /** id */
        private Long id;
        /** 姓名 */
        private String name;
        ...
    }

#### 多套 Mapper 操作 ####

在 mapper 包下，分别添加 master 和 slave 包，存放两个库对应的 Mapper ，由于 MyBatis Plus 本身已包含基本的 CRUD 操作，所以很多时候可以不用 xml 文件配置。若需要自定义操作，需要结合 xml 文件，与此同时需要指定对应的 xml 文件所在目录。如下：

@Repository
    publicinterface MasterTestUserMapper extends BaseMapper<MasterTestUser> {
        /**
         * 自定义查询
         * @param wrapper 条件构造器
         */
        List<MasterTestUser> selectAll(@Param(Constants.WRAPPER)Wrapper<MasterTestUser> wrapper);
    }

slave 对应的 Mapper 与此类似

#### 多套 mapper xml 文件 ####

MyBatis Plus 的默认 mapper xml 文件路径为 classpath\*:/mapper/\*\*/\*.xml，即 resources/mapper 下，同样设置 master 及 slave 目录，分别存放对应的 mapper xml 文件。以下是 master 的自定义操作：

<mapper namespace="me.mason.demo.basicmultidatasource.mapper.master.MasterTestUserMapper">
        <select id="selectAll" resultType="masterTestUser">
            select * from test_user
            <if test="ew!=null">
              ${ew.customSqlSegment}
            </if>
        </select>
    </mapper>

### 多数据源使用 ###

经过上面的多套数据源配置，可知道，若需要操作哪个数据库，直接使用对应的 mapper 进行 CRUD 操作即可。如下为 Controller 中分别查询两个库，获取到的数据合在一起返回：

@RestController
    @RequestMapping("/user")
    publicclass TestUserController {
    
        @Autowired
        private MasterTestUserMapper masterTestUserMapper;
        @Autowired
        private SlaveTestUserMapper slaveTestUserMapper;
        /**
         * 查询全部
         */
        @GetMapping("/listall")
        public Object listAll() {
            //master库，自定义接口查询
            QueryWrapper<MasterTestUser> queryWrapper = new QueryWrapper<>();
            List<MasterTestUser> resultData = masterTestUserMapper.selectAll(queryWrapper.isNotNull("name"));
            //slave库，mp内置接口
            List<SlaveTestUser> resultDataSlave = slaveTestUserMapper.selectList(null);
            //返回
            Map<String, Object> result = new HashMap<>();
            result.put("master" , resultData);
            result.put("slave" , resultDataSlave);
            return ResponseResult.success(result);
        }
    
    }

*  使用 Autowired 注解注入对应的 mapper
 *  使用对应数据库的 mapper 进行业务操作
 *  根据业务在数据库中执行相应的操作，如主只做增删改操作、从只读操作

至此，多数据源的实现已完成，当前示例是两个同构的数据库，当然，若是异构的数据库，或者多于两个的数据库，处理方式是一样的，只不过是把数据源增加一套而已。

### 优缺点 ###

由上述说明，我们可以总结一下使用多套数据源的方法进行多数据库操作，它的优缺点是什么。

#### 优点 ####

*  简单、直接：一个库对应一套处理方式，很好理解。
 *  符合开闭原则（ OCP ）：开发的设计模式告诉我们，对扩展开放，对修改关闭，添加多一个数据库，原来的那一套不需要改动，只添加即可。

#### 缺点 ####

*  资源浪费：针对每一个数据源写一套操作，连接数据库的资源也是独立的，分别占用同样多的资源。\*\*SqlSessionFactory \*\*是一个工厂，建议是使用单例，完全可以重用，不需要建立多个，只需要更改数据源即可，跟多线程，使用线程池减少资源消耗是同一道理。
 *  代码冗余：在前面的多数据源配置中可以看出，其实 master 和 slave 的很多操作是一样的，只是改个名称而已，因此会造成代码冗余。
 *  缺乏灵活：所有需要使用的地方都需要引入对应的 mapper，对于很多操作，只是选择数据源的不一样，代码逻辑是一致的。另外，对于一主多从的情况，若需要对多个从库进行负载均衡，相对比较麻烦。

正因为有上述的缺点，所以还有改进的空间。于是就有了动态数据源，至于动态数据源如何实现，下回分解。

### 总结 ###

本文对多个数据库的操作进行了初步探讨，并对使用多套源的策略进行讲解，结合主从代码示例，搭建了 Spring Boot + MyBatis Plus 工程，配置多数据源及使用 Mapper 进行多数据源操作，最后对多套数据源的优缺点进行总结。希望小伙伴们可以对多数据源操作有个初步印象。

[39ab089455ad4b7280881fe1f9701a93.png]: https://img-blog.csdnimg.cn/39ab089455ad4b7280881fe1f9701a93.png