java多数据源的读写分离接入

布满荆棘的人生 2022-12-27 02:19 157阅读 0赞

# 现状 #

公司目前的现状是只有一个数据库支持所有的读写操作，但是随着公司的业务系统的用户量逐渐增大，数据库的负荷也会加大，有时候会出现某个查询请求速度过慢影响用户使用，为了减缓数据库的压力，最好弄一个从库，支持读写分离，把一些只做查询统计的业务场景，改成从从库查询，这样可以减少主库的压力。

# 接入姿势 #

我这边的业务系统的架构技术结构是 spring + springmvc+hibernate + msyql

hibernate都是比较早的数据,现在大部分都用mybatis居多，不过这个没有关系，接入的原理都都差不多，这里按照我这边的系统结构详细列举几个核心配置和代码逻辑

## 数据库从库配置 ##

找到项目中的数据库配置文件，添加从库的jdbc配置

slave.jdbc.url=jdbc:mysql://ip:port/hytto_test?useUnicode=true&characterEncoding=utf8&characterSetResults=utf8
    slave.jdbc.username=11
    slave.jdbc.password=22

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpb25neW91cWlhbmc_size_16_color_FFFFFF_t_70]

## Spring数据源配置修改 ##

### 从库数据源配置 ###

从id=dataSource 配置拷贝一份，从命名为slaveDataSource，修改对应的url，username,password 对应数据库配置文件中的从库配置  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpb25neW91cWlhbmc_size_16_color_FFFFFF_t_70 1]

### 多数据源bean配置 ###

<bean id="multipleDataSource" class="com.hytto.gfw.dao.multidatasource.MultipleDataSource">
 <property name="defaultTargetDataSource" ref="dataSource"/>
 <property name="targetDataSources">
 <map>
 <entry key="dataSource" value-ref="dataSource"/>
 <entry key="slaveDataSource" value-ref="slaveDataSource"/>
 </map>
 </property>
 </bean>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpb25neW91cWlhbmc_size_16_color_FFFFFF_t_70 2]

### 新增事务管理器配置 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpb25neW91cWlhbmc_size_16_color_FFFFFF_t_70 3]

### hibernate配置设置多数据源 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpb25neW91cWlhbmc_size_16_color_FFFFFF_t_70 4]

### 新增一个数据源类型注解 ###

import java.lang.annotation.*;
 
 /**** * * Project Name: gfw-base-common-dao * 官网系统自定义数据源类型注解，标志当前的类或者方法使用的数据源类型 * * @ClassName WebDataSourceType * @author youqiang.xiong * @date 2020年4月2日 下午6:35:48 * @version v1.0 * @since */
 @Target({ ElementType.TYPE,ElementType.METHOD})//本注解可以用于类名或者方法名层面
 @Retention(RetentionPolicy.RUNTIME)
 @Documented
 public @interface WebDataSourceType { 
 String value() default "dataSource"; //默认使用主库
 }

这个数据源类型注解 是业务系统所特有的，主要是因为各业务系统的数据源命名不一定是dataSource，所以各业务系统根据自己的数据源配置命名重写一个数据源类型注解

### 新增数据源切换Aop类 ###

package com.hytto.web.framework.aop;
 
 import java.lang.reflect.Method;
 
 import org.aspectj.lang.JoinPoint;
 import org.aspectj.lang.annotation.After;
 import org.aspectj.lang.annotation.Aspect;
 import org.aspectj.lang.annotation.Before;
 import org.aspectj.lang.reflect.MethodSignature;
 import org.slf4j.Logger;
 import org.slf4j.LoggerFactory;
 import org.springframework.core.annotation.Order;
 import org.springframework.stereotype.Component;
 
 import com.hytto.gfw.core.rpc.api.CommonSwitcher;
 import com.hytto.gfw.core.rpc.api.GeneralSwitcher;
 import com.hytto.gfw.dao.multidatasource.MultipleDataSource;
 import com.hytto.gfw.dao.multidatasource.WebDataSourceType;
 import com.hytto.gfw.util.proxy.ProxyUtil;
 
 
 /*** * * Project Name: web * 多数据源自动切换通知类（拦截com.hytto.data.dao中所有的类中的方法） * 首先判断当前类名或者方法名是否被@WebWebDataSourceType注解进行注释，如果没有采用默认的默认数据源配置； * 如果有，则读取注解中的value值，将数据源切到value指定的数据源 * * @ClassName MultipleDataSourceAop * @author youqiang.xiong * @date 2020年4月2日 下午6:37:59 * @version v1.0 * @since */
 @Component
 @Aspect
 @Order(0) // execute before @Transactional
 public class MultipleDataSourceAop { 
 
 	private final Logger logger = LoggerFactory.getLogger(getClass());
 	
 	public final static String MASTER_DATASOURCE_NAME = "dataSource"; 
 	public final static String SLAVE_DATASOURCE_NAME = "slaveDataSource"; 
 	
 
 	/**** * * Project: web * 拦截com.hytto.data.dao.中所有的方法，根据情况进行数据源切换 * * @param joinPoint * 连接点 * @throws Throwable * 抛出异常 * @author youqiang.xiong * @date 2020年4月2日 下午6:40:41 * @version v1.0 */
 // @Before("execution(* com.hytto.data.dao..*.*(..))") //切入dao包下面所有的子包的类和方法
 @Before(value="@annotation(com.hytto.gfw.dao.multidatasource.WebDataSourceType)")
 	public void changeDataSource(JoinPoint joinPoint) throws Throwable { 
 	
 	if(CommonSwitcher.ENABLE_READ_WRITE_SEPARATION.isOff()) { 
 	 if(GeneralSwitcher.JUST_4_TEST_DEBUG.isOn()) { 
 	 logger.info("[多数据源操作]读写分离开关关闭，默认采用主库" );
 	 }
 		return;
 	}
 	
 		// 拦截的实体类，就是当前正在执行的service
 		Object target = ProxyUtil.getTarget(joinPoint.getTarget());
 		if (target.getClass().isAnnotationPresent(WebDataSourceType.class)) { 
 			WebDataSourceType WebDataSourceType = target.getClass().getAnnotation(WebDataSourceType.class);
 			String type = WebDataSourceType.value();
 			logger.info("[多数据源操作]数据源切换至--->{}", type);
 			MultipleDataSource.setDataSourceKey(type);
 			return;
 		}
 		// 检查方法签名，是否有注解
 		MethodSignature signature = (MethodSignature) joinPoint.getSignature();
 		Method method = signature.getMethod();
 		
 		logger.info("[多数据源操作] Target:{}\t mehtonName:{}",target.getClass(),method.getName() );
 
 		Class<?>[] types = method.getParameterTypes();
 		Method m = target.getClass().getMethod(method.getName(), types);
 		
 		if (m != null && m.isAnnotationPresent(WebDataSourceType.class)) { 
 			WebDataSourceType WebDataSourceType = m.getAnnotation(WebDataSourceType.class);
 			String type = WebDataSourceType.value();
 			logger.info("[多数据源操作] 数据源切换至--->{}", type);
 			MultipleDataSource.setDataSourceKey(type);
 			return;
 		}else if(method.getName().startsWith("find") || method.getName().startsWith("select") || method.getName().startsWith("get")) { 
 // logger.info("[多数据源操作] 数据源切换至--->"+SLAVE_DATASOURCE_NAME);
 // MultipleDataSource.setDataSourceKey(SLAVE_DATASOURCE_NAME);
 			return;
 		}
 		if(GeneralSwitcher.JUST_4_TEST_DEBUG.isOn()) { 
 		 logger.debug("[多数据源操作] 不涉及数据切换操作，默认采用主库");
 		}
 	}
 
 
 /**** * * Project: web * 方法结束后 移除数据源 * * @throws Throwable * @author youqiang.xiong * @date 2020年4月2日 下午6:41:25 * @version v1.0 */
 // @After("execution(* com.hytto.data.dao..*.*(..))")
 @After(value="@annotation(com.hytto.gfw.dao.multidatasource.WebDataSourceType)")
 public void afterReturning() throws Throwable { 
 
 	MultipleDataSource.setDataSourceKey(MASTER_DATASOURCE_NAME);
 logger.info("执行完毕，数据源切换成默认主库");
 
 }
 }

## 业务接入 ##

以上准备就绪后，现在就来测试接入的效果，我这边挑选了我的订单列表接口接入从库进行测试，接入方式很简单，在需要接入从库的方法头部添加@WebDataSourceType 注解，并且注明 vlaue = 从库名称，如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpb25neW91cWlhbmc_size_16_color_FFFFFF_t_70 5]

## 测试主从延时 ##

通过linux命令登录从库中，几个常用的命令

stop slave;    // 停止同步
    start slave;   // 开始同步
    show slave status\G;  // 查看从库同步状态

show slave status 命令观察两个核心参数  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpb25neW91cWlhbmc_size_16_color_FFFFFF_t_70 6]

### 查看目前已经连接当前从库的应用 ###

命令

netstat -anp | grep --color 3306 | grep --color 192.168.1.5

把ip地址改成你当前连接从库的ip地址即可，这样就可以查看是否你的应用是否真正有初始化连接到当前从库，之前我犯了一个特别严重的失误，就是没有通过这个命令去查询，以为我的应用已经连接到从库

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpb25neW91cWlhbmc_size_16_color_FFFFFF_t_70 7]

### 测试步骤 ###

#### 执行命令stop slave;，停止同步 ####

主库的订单表中新增一条记录，可以通过手动插入，或者官网下单插入，这时候从库不会同步这条主库的记录

访问订单列表接口，观察是否可以把新增的订单查出来，如果能查不出来刚才新增的那条记录，说明读取的是从库，而非主库

##### 执行命令start slave;，开始同步 #####

过一会儿从库的订单表中也会出现主库的那条订单记录

同样访问订单列表接口，观察是否可以把新增的订单查出来，这时候可以查询到新增的那条记录

两个步骤观察，就可以判断你的接口是否有走从库读取数据

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpb25neW91cWlhbmc_size_16_color_FFFFFF_t_70]: /images/20221120/f422ff8076344fa29d988f90e9925906.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpb25neW91cWlhbmc_size_16_color_FFFFFF_t_70 1]: /images/20221120/599fa5edecb54e4498afde1410b6f174.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpb25neW91cWlhbmc_size_16_color_FFFFFF_t_70 2]: /images/20221120/bed65d7bdf5b486db4806ef100d41b15.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpb25neW91cWlhbmc_size_16_color_FFFFFF_t_70 3]: /images/20221120/98dad2cb20394744adeafd3939c4bb9d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpb25neW91cWlhbmc_size_16_color_FFFFFF_t_70 4]: /images/20221120/bb28a322d90d49eaab72dcec2b37690a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpb25neW91cWlhbmc_size_16_color_FFFFFF_t_70 5]: /images/20221120/0254030a5c9147f9bb8df507abd0fc69.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpb25neW91cWlhbmc_size_16_color_FFFFFF_t_70 6]: /images/20221120/6dbcfc8ca5c54220877a39c8403dc9b3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpb25neW91cWlhbmc_size_16_color_FFFFFF_t_70 7]: /images/20221120/6f25409226334778a663cfed2ee69197.png