MYSQL性能优化之数据库的分库分表

拼搏现实的明天。 2024-02-18 21:45 67阅读 0赞

数据库中的数据量不一定是可控的,在未进行分库分表的情况下,随着时间和业务的发展,库中的表会越来越多,表中的数据量也会越来越大,相应地,数据操作,增删改查的开销也会越来越大;另外,由于无法进行分布式式部署,而一台服务器的资源(CPU、磁盘、内存、IO等)是有限的,最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。
说白了,就是分担写负载

分库分表一

节点:mysql数据库一主多从的数据库集群(数据一致),所以用节点表示
重新对数据库连接进行配置就行
优点:数据库拆分比较简单,尤其适合没有跨库查询的情况下
缺点:如果写操作主要在订单表,那就分库分表的作用不是很大了

这里写图片描述

分库分表二

当表所在的服务器也达到瓶颈时,无法继续升级
这里写图片描述

分库分表三:水平拆分(分片->不同物理节点)

类似分区表(不同:一个节点:数据库),分片很容易出现问题,难以维护,慎重
这里写图片描述

分片前准备

这里写图片描述
这里写图片描述
- 不经常更新的表
- 数据量不大,字典列表
- 使用多写的方式维护一致性(表更新时,同时更新所有分片的表操作)
- 定期检查(防止业务逻辑问题)
- 第二种方式优点是数据没有冗余问题,查询效率差一些,因为要关联,合并

这里写图片描述

这里写图片描述

数据量和访问量的平均,结合业务做分析
- 第一种:分区键并不总是数值,所有要用模来转换成数值性数据
- 优点:可以比较平均的分配数据
- 缺点:很难人为控制哪个数据分配到哪个分片中
- 第二种:常用于分区键是日期类型或者是数据类型的情况
- 优点:很清楚知道数据在哪个分片中
- 缺点:数据(访问量)分配不平均
- 第三种:
- 灵活对数据在哪些分片进行控制
- 映射表会产生很大的服务压力,可以使用缓存(否则很可能成为系统的瓶颈)

这里写图片描述

  • auto_increment_increment(总分片数) auto_increment_offset(不同的值)

    • 只适用于一个节点保存一套分区表
  • 全局节点ID->建表使用auto_increment属性,生成自增ID->性能瓶颈
  • 类似第二种

演示

这里写图片描述

分片工具(演示,不是很完美)

这里写图片描述

三个节点:节点1(服务器节点),节点2(分片数据库节点),节点3(oneProxy节点)

节点1,节点2添加oneProxy连接用户
这里写图片描述

  1. demo.sh 启动脚本
  • 1

这里写图片描述

  • 修改配置

    • 添加分片节点
    • 通过oneProxy客户端获取加密字符串密码 ./demo.sh
    • mysql -P4041 -uadmin -pOneProxy -h127.0.0.1;
    • passwd “123456” (获取密码)
    • 修改proxy-user-list 用户/加密密码@数据库名
    • peoxy-part-template 分片方式地址
    • remote-address 远程管理地址
    • 这里写图片描述

设置分片方式

订单表,订单商品表,相互关联,分片键一致
- 表名
- 分片键
- 键类型
- 分片方式
- 分片方式(分片)
- suffix后缀
- 分片组

这里写图片描述

这里写图片描述

建表

节点1
这里写图片描述
节点2
这里写图片描述
这里写图片描述
节点3

  1. ps -ef | grep oneproxy
  2. 重启oneProxy
  3. kill -9 1164
  4. ./demo.sh
  5. mysql -P4041 -uadmin -pOneProxy -h127.0.0.1;
  6. list backend;
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

这里写图片描述
这里写图片描述

测试

这里写图片描述

通过oneproxy连接
mysql -utest -p123456 -h127.0.0.1 -p3306

这里写图片描述

节点1:
这里写图片描述
节点2:
这里写图片描述

发表评论

表情:
评论列表 (有 0 条评论,67人围观)

还没有评论,来说两句吧...

相关阅读

    相关 MySql分库

    数据库瓶颈 不管是IO瓶颈还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载的活跃连接数的阈值。在业务service来看, 就是可用数据库连接

    相关 数据库分库

    经常会听说数据库的分库分表,工作后更是发现这是一个基本必备的知识,由于自己对这块了解不是很好,所以就最近在关注学习,下面把学习到的东西总结一下,如有错误,请大家帮忙纠正! 从

    相关 MySql分库

    数据库瓶颈 不管是IO瓶颈还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载的活跃连接数的阈值。在业务service来看, 就是可用数据库连

    相关 mysql数据库分库

    一、分库分表前的问题 1、用户请求量太大 因为单服务器TPS,内存,IO都是有限的。 解决方法:分散请求到多个服务器上; 其实用户请求和执行一个sql查询是本质是一样的