分库分表场景--单表转分库分表

我会带着你远行 2022-10-31 00:38 336阅读 0赞

原文网址:分库分表场景—单表转分库分表_IT利刃出鞘的博客-CSDN博客

方案1:sharding-proxy + sharding-scaling

其他网址

sharding-proxy + sharding-scaling实现不停服分库分表数据迁移_HTslide的博客-CSDN博客
ShardingJdbc分库分表实战案例解析(下)-mb5fd8692eb1f28的博客-51CTO博客

简介

方案2:手动操作

其他网址

现在有一个未分库分表的系统,未来要分库分表,如何设计才可以让系统从未分库分表**动态切换**到分库分表上? - 简书
ShardingJdbc分库分表实战案例解析(下)-mb5fd8692eb1f28的博客-51CTO博客

停机迁移方案

format_png

大家伙儿凌晨 12 点开始运维,网站或者 app 挂个公告,说 0 点到早上 6 点进行运维,无法访问。

接着到 0 点停机,系统停掉,没有流量写入了,此时老的单库单表数据库静止了。然后你之前得写好一个导数的一次性工具,此时直接跑起来,然后将单库单表的数据哗哗哗读出来,写到分库分表里面去。

导数完了之后,就 ok 了,修改系统的数据库连接配置啥的,包括可能代码和 SQL 也许有修改,那你就用最新的代码,然后直接启动连到新的分库分表上去。

验证一下,ok了即可。

双写迁移方案(不停机)

format_png 1

常用的一种迁移方案,比较靠谱一些,不用停机,不用看凌晨 4 点的风景。

简单来说,就是在线上系统里面,之前所有写库的地方,增删改操作,除了对老库增删改,都加上对新库的增删改,这就是所谓的双写,同时写俩库,老库和新库。

然后系统部署之后,新库数据差太远,用之前说的导数据工具,跑起来读老库数据写新库,写的时候要根据 gmt_modified 这类字段判断这条数据最后修改的时间,除非是读出来的数据在新库里没有,或者是比新库的数据新才会写。简单来说,就是不允许用老数据覆盖新数据。

导完一轮之后,有可能数据还是存在不一致,那么就程序自动做一轮校验,比对新老库每个表的每条数据,接着如果有不一样的,就针对那些不一样的,从老库读数据再次写。反复循环,直到两个库每个表的数据都完全一致为止。

接着当数据完全一致了,就 ok 了,基于仅仅使用分库分表的最新代码,重新部署一次,不就仅仅基于分库分表在操作了么,还没有几个小时的停机时间,很稳。

发表评论

表情:
评论列表 (有 0 条评论,336人围观)

还没有评论,来说两句吧...

相关阅读

    相关 分库

    分库,降低了单点机器的负载;分表,提高了数据操作的效率,尤其是Write操作的效率。 (1)切分的方式主要有两种,水平切分和垂直切分。 1、水平切分 简单的说就是,

    相关 分库

    常用的切分方案 数据的切分(Sharding)根据其切分规则的类型,可以分为两种切分模式。 一种是按照不同的表(或者Schema)来切分到不同的数据库(主机)之上,这种

    相关 分库

    分库分表 为什么分库分表 在高并发和海量数据的场景下,通过使用分库分表的手段,能够解决单机或者单库单表的性能瓶颈和压力,突破IO、连接数、硬件资源的瓶颈。当然,投入

    相关 分库

    一. 数据切分 关系型数据库本身比较容易成为系统瓶颈,单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后,由于查询维度较多,即使添加从库、优

    相关 分库

    一、常见面试题 1、为什么分表分库? 2、分表分库中间件有哪些?分别有什么特点? 3、垂直拆分还是水平拆分?有什么区别? 二、问题分析 1、由于用户数量增长,