Sharding JDBC教程之读写分离

￡神魔★判官ぃ 2022-10-18 04:58 137阅读 0赞

### 1 理解读写分离 ###

面对日益增加的系统访问量，数据库的吞吐量面临着巨大瓶颈。 对于同一时刻有大量并发读操作和较少写操作类型的应用系统来说，将数据库拆分为主库和从库，主库负责处理事务性的增删改操作，从库负责处理查询操作，能够有效的避免由数据更新导致的行锁，使得整个系统的查询性能得到极大的改善。

![1564730708262][]

通过一主多从的配置方式，可以将查询请求均匀的分散到多个数据副本，能够进一步的提升系统的处理能力。 使用多主多从的方式，不但能够提升系统的吞吐量，还能够提升系统的可用性，可以达到在任何一个数据库宕机，甚至磁盘物理损坏的情况下仍然不影响系统的正常运行。

![1564730724139][]

读写分离的数据节点中的数据内容是一致的，而水平分片的每个数据节点的数据内容却并不相同。将水平分片和读写分离联合使用，能够更加有效的提升系统的性能。

**Sharding-JDBC读写分离则是根据SQL语义的分析，将读操作和写操作分别路由至主库与从库**。它提供透明化读写分离，让使用方尽量像使用一个数据库一样使用主从数据库集群。

![1564999956511][]

Sharding-JDBC提供**一主多从**的读写分离配置，可独立使用，也可配合分库分表使用，同一线程且同一数据库连接内，如有写入操作，以后的读操作均从主库读取，用于保证数据一致性。**Sharding-JDBC不提供主从数据库的数据同步功能**，需要采用其他机制支持。

![1565052450587][]

接下来，咱们对上面例子中user\_db进行读写分离实现。为了实现Sharding-JDBC的读写分离，首先，要进行mysql的主从同步配置。

### 2.mysql主从同步(windows) ###

**一，新增mysql实例**

复制原有mysql如：D:\\mysql-5.7.25(作为主库) -> D:\\mysql-5.7.25-s1(作为从库)，并修改以下从库的my.ini：

[mysqld]
    #设置3307端口
    port = 3307
    # 设置mysql的安装目录
    basedir=D:\mysql-5.7.25-s1
    # 设置mysql数据库的数据的存放目录
    datadir=D:\mysql-5.7.25-s1\data

然后将从库安装为windows服务，注意配置文件位置：

D:\mysql-5.7.25-s1\bin>mysqld install mysqls1 --defaults-file="D:\mysql-5.7.25-s1\my.ini"

由于从库是从主库复制过来的，因此里面的数据完全一致，可使用原来的账号、密码登录。

二，修改主、从库的配置文件(my.ini)，新增内容如下：

主库：

[mysqld]
    #开启日志
    log-bin = mysql-bin
    #设置服务id，主从不能一致
    server-id = 1
    #设置需要同步的数据库
    binlog-do-db=user_db
    #屏蔽系统库同步
    binlog-ignore-db=mysql
    binlog-ignore-db=information_schema 
    binlog-ignore-db=performance_schema

从库：

[mysqld]
    #开启日志
    log-bin = mysql-bin
    #设置服务id，主从不能一致
    server-id = 2
    #设置需要同步的数据库
    replicate_wild_do_table=user_db.%
    #屏蔽系统库同步
    replicate_wild_ignore_table=mysql.%
    replicate_wild_ignore_table=information_schema.%
    replicate_wild_ignore_table=performance_schema.%

重启主库和从库：

net start [主库服务名]
    net start [从库服务名mysqls1]

**请注意，主从MySQL下的数据(data)目录下有个文件auto.cnf，文件中定义了uuid，要保证主从数据库实例的uuid不一样，建议直接删除掉，重启服务后将会重新生成。**

三，授权主从复制专用账号

#切换至主库bin目录，登录主库
    mysql -h localhost -uroot -p
    #授权主备复制专用账号
    GRANT REPLICATION SLAVE ON *.* TO 'db_sync'@'%' IDENTIFIED BY 'db_sync';
    #刷新权限
    FLUSH PRIVILEGES;
    #确认位点 记录下文件名以及位点
    show master status;

![1564846647990][]

四，设置从库向主库同步数据、并检查链路

#切换至从库bin目录，登录从库
    mysql -h localhost -P3307 -uroot -p
    #先停止同步
     STOP SLAVE; 
    #修改从库指向到主库，使用上一步记录的文件名以及位点
    CHANGE MASTER TO 
     master_host = 'localhost',
     master_user = 'db_sync',
     master_password = 'db_sync',
     master_log_file = 'mysql-bin.000002',
     master_log_pos = 154;
    #启动同步
    START SLAVE;
    #查看从库状态Slave_IO_Runing和Slave_SQL_Runing都为Yes说明同步成功，如果不为Yes，请检查error_log，然后排查相关异常。
    show slave status\G
    
    #注意 如果之前此备库已有主库指向 需要先执行以下命令清空
    STOP SLAVE IO_THREAD FOR CHANNEL '';
    reset slave all;

最后测试在主库修改数据库，看从库是否能够同步成功。

### 3.实现sharding-jdbc读写分离 ###

(1)在Sharding-JDBC规则中修改

# 增加数据源s0，使用上面主从同步配置的从库。
    spring.shardingsphere.datasource.names = m0,m1,m2,s0
    ...
    spring.shardingsphere.datasource.s0.type = com.alibaba.druid.pool.DruidDataSource
    spring.shardingsphere.datasource.s0.driver-class-name = com.mysql.jdbc.Driver
    spring.shardingsphere.datasource.s0.url = jdbc:mysql://localhost:3307/user_db?useUnicode=true
    spring.shardingsphere.datasource.s0.username = root
    spring.shardingsphere.datasource.s0.password = root
    
    ....
    
    # 主库从库逻辑数据源定义 ds0为user_db
    spring.shardingsphere.sharding.master-slave-rules.ds0.master-data-source-name=m0
    spring.shardingsphere.sharding.master-slave-rules.ds0.slave-data-source-names=s0
    
    # t_user分表策略，固定分配至ds0的t_user真实表
    spring.shardingsphere.sharding.tables.t_user.actual-data-nodes = ds0.t_user
    ....

(2)测试

执行testInsertUser单元测试：

![1566387302826][]

通过日志可以看出，所有写操作落入m0数据源。

执行testSelectUserbyIds单元测试：

![1566387409180][]

通过日志可以看出，所有写操作落入s0数据源，达到目标。

### 4 更多参考 ###

参考代码：[https://github.com/pbteach/PB-Sharding-JDBC][https_github.com_pbteach_PB-Sharding-JDBC]

Sharding-JDBC系列教程：[http://www.pbteach.com/java/java\_06\_04/index.html][http_www.pbteach.com_java_java_06_04_index.html]

[1564730708262]: /images/20221014/4cc732946ccc4719868e52500210e5b6.png
[1564730724139]: /images/20221014/a58c6cb511ea45e7ad1abd91768a2676.png
[1564999956511]: /images/20221014/ca2cdc5fe4c9454c95bc77b7f5284d76.png
[1565052450587]: /images/20221014/82787a1275134f198be0d2bfa8292c5a.png
[1564846647990]: /images/20221014/ca1b518c9205412c87f4d2ce4059de86.png
[1566387302826]: /images/20221014/6fad36e2f6ad4877ba28b93bae502d26.png
[1566387409180]: /images/20221014/5f9d51768b9c4840bebb324be4493119.png
[https_github.com_pbteach_PB-Sharding-JDBC]: http://img.pbteach.com/pbresource/image/course/sharding_jdbc/https://github.com/pbteach/PB-Sharding-JDBC
[http_www.pbteach.com_java_java_06_04_index.html]: http://www.pbteach.com/java/java_06_04/index.html