mysql 从主动复制主从延迟到分库分表

约定不等于承诺〃 2023-07-13 08:14 14阅读 0赞

为甚分库分表？  
先集群：主从，且读写分离。  
分表：数据量过大 查询慢 锁事物冲突。一般先垂直分，再考虑水平分  
分库：机器的写压力大，并发量数千级别，读压力大，太多slave    
分库分表后：降低磁盘使用率 单表数据量少 并发冲突低

主备延迟的原因： 机器性能不均衡 使用不均衡 大事物 没有开启并行同步 确实写入并发过大  
主从复制延迟解决：show status查看 Seconds\_Behind\_Master，可以看到从库复制主库的数据落后了几 ms  
8个方案：  
从库机器性能差，可以增加机器性能，或者多从  
打开MySQL的并行复制：多个库并行复制。某个库的写入并发就是特别高时无意义  
开启半同步复制：拉取binlog日志要是多线程的

业务：  
代码修改：业务控制，插入后不要立刻查询，等待后查询  
避免大事物：避免删除大量数据；建立合适的索引，减少冲突；  
使用不均衡，读多写少时，可以把部分读放到主库  
必须先插入，立马要求就查询到：对主查询设置直连主库

分库：一个主库拆分为多个主库，每个主库的写并发就减少了几倍，降低延迟

分库分表的技术方案，比如：  
mycat：中间件，代码无需修改。通过改写与转发sql，然后汇总结果后返回给客户端。  
shading-jdbc：jar包，代码需要修改。client层方案的优点在于不用部署，运维成本低，不需要代理层的二次转发请求，性能很高，升级的话需要修改系统。  
优缺点对比：mycat需要单独部署与运维。sharding-jdbc,需要修改代码。  
分库分表引入问题：  
1）分布式全局唯一id snowflake+mysqlIndex  
2）分库规则和策略  
3）跨库查询问题  
4）跨库事物问题，即分布式事务  
跨库join解决：  
1）全局表，表重复，需要开启全局表一致性检测，配置全局表。  
2）share join，简单的跨分片join；如mycat，自动sql拆分查询，并汇总结果  
3）ER join，子表的记录与所关联的父表记录存放在同一个数据分片上，从而解决跨库join的问题  
Federal引擎 或 带上库名  
mycat和shading-jdbc：https://www.cnblogs.com/leeSmall/p/9539370.html  
比较全的分库分表： https://blog.csdn.net/qq\_36625757/article/details/90477131  
mycat分页中的坑：LIMIT 1000100, 100;，他会查出所有取后几条，解决：先查id，再根据id查询具体记录

### 不同分表方式的查询 ###

sharding jdbc方式：  
按照订单hash分表  
按照订单查询：查询的时候直接按照hash查询对应表  
按照用户查询订单：建立订单号和用户的关系表，先根据用户获取对应的订单号，然后查询。

mycat方式  
mycat分表的实现：首先在mycat的scheme.xml中配置逻辑表，并且在配置中说明此表在哪几个物理库上。此逻辑表的名字与真实数据库中的名字一致！然后需要配置分片规则，即按照什么逻辑分库！  
推荐:通过改写与转发sql，然后汇总结果后返回给客户端。