Java B2B2C多用户商城架构篇之——分库分表

Myth丶恋晨 2024-02-18 19:22 51阅读 0赞

**目前公司数据量已经上来，单表最大已经5千万，之前使用分区表，用起来有很多需要注意的地方，以及坑等。**

**所以就在年后准备做分库分表，筛选了N多中间件、框架，似乎都不满足。主要在以下几点。**

**比如用阿里的myCat，需要学习、研究，因为我们目前有点急，需要安排人去研究，而且需要深入研究，结果就是搞了几天没啥头绪。但是原理就是做代理，这个了解透了。**

**在看当当网提供的sharding-jdbc分库分表案例，也是同样问题，没那么多时间研究，而且这几家提供的东西，居然官网都是英文/中文，中文文档也是按照老外风格写，尽量给你增加门槛！！！**

**于是乎就萌生自己写分库分表。**

**废话不多说。**

**1、首先是老数据问题，这个是网上所有文章没有提到的，没有提到这个问题的文章，可以说99.99%没玩过分库分表。**

**对于5000万的数据量，做切分，一张表控制在100万，你手动去复制粘贴？？？，每隔一段时间手动建库？？？**

**据说当当是手动，应该是写的程序手动的。。。。伤不伤？？？**

**其实很简单，我用JDBC写的，查到老库所有表名，create table newTableName like oldTableName;这样可以把表结构**、索引结构都拷贝过来到新库，但是不会拷贝数据，网上有另一条SQL，我想大家已经玩过了，那个索引、主键不会拷贝。。

**2、如何做数据分散存储**

**很多人肯定看过文章，ID取模呀。那如果数据量又达到瓶颈咋搞？阿里的单表12年就已经100亿了。。。。**

**所以说ID取模并不是仅仅这么简单，还需要数据量控制，我这里有个更好办法，其实就是简单数据量控制。**

**达到100万就Next，ID是自增的，出去100万，余数为0则Next。当然ID取模这么流行的方法都是阿里、58、京东这些架构师出来讲培训说的，其实你实际去操作，有其他N多方法，没有必要照搬。。。。**

**3、多表、关联关系如何建立？**

**你怎么知道User表包含哪些Order表呢？，如果一个user出的订单既有在N库，也有在N+1、N+2库里面呢？**

**通过user\_id查询order。一般单库做关联查询，其实多库也可以，只是索引会失效而已了。然后2千万\*5千万扫描。。。。**

**我看过唯品会的解决方案，他们是Order\_id中间一段是user\_id，完美不，很完美。。。。**

**但是，我们已经有5000万数据了，人家唯品会有的是钱，拉500人团队搞呗。。。2个月搞完。**

**我们几个人？就是我一个人。。。。伤不伤吧。。**

**所以这个方案不行，唯品会文章中丢弃的一个方案就是建立中间对应关系。**

**就是user\_id和order\_联合加上order\_id所在库。他们丢弃的原因是中间表会巨大，确实。**

**但是如果放在redis缓存中就没有这个问题了，redis缓存只要空间足够大，性能2~3个亿没问题。**

**redis缓存还可以做切分啊，也算是完美符合我们这种小公司了吧。**

**4、如何取数据？**

**对于一对一查询，以前关联查询、子查询，现在都用子查询，分为两次查询。这个时间上只是毫秒差异。不用联合多库查询。（题外话，做互联网公司项目，几乎不会需要用外键、关联查询的。。。一般都是分多次查询，或者通过缓存系统拿空间换时间，怎么玩？比如微博一个用户发文章，不做文章表，所有文章放在user的下面，每个user下面都是自己的，那么查询起来就是查user就OK。）**

**对于一对多查询，就是2里面提到的，已经知道库了，那么具体查询方案我们还是多次查询。**

**对于多对多，更简单了，中间关系建立好，比以前多对多查询更简单了。这会还是一对多查询。**

**以上就是我们对于分库分表的解决方案。其实分库分表非常简单。我一个人搞了一个月吧。。。**

**其实有N多解决方案，最好是团队讨论，更方便沟通，文章也不能全部说出来，我写的过程遇到过N多有意思的事情以及各个框架急需提供对于扩展大数据量的问题。。。**

发表评论取消回复

表情：

评论列表（有 0 条评论，51人围观）

还没有评论，来说两句吧...

相关阅读

相关 SpringBoot b2b2c 多用户商城系统

由于业务量与日俱增，在今年产品业务线表已经有2000多张，可以想象业务之复杂。以及工程之多。几乎每周都有新项目需要成立，原来的ssm、ssh架构搭建太繁琐，于是转换到Spr

た入场券/ 2024年02月18日 22:20/ 0 赞/ 49 阅读

相关 Java B2B2C多用户商城架构篇之——分库分表

目前公司数据量已经上来，单表最大已经5千万，之前使用分区表，用起来有很多需要注意的地方，以及坑等。所以就在年后准备做分库分表，筛选了N多中间件、框架，似乎都不满足。主要在以

Myth丶恋晨/ 2024年02月18日 19:22/ 0 赞/ 52 阅读

相关 Java多用户商城系统B2B2C源码

最近公司要搞商城，让我多方咨询，最后看了很多，要不就是代码、表字段注释不全，要不就是bug多，要么就是文档缺少，最后决定自己开发一套商城。下面是开发的一些心得体会，权且记录

逃离我推掉我的手/ 2024年02月17日 19:03/ 0 赞/ 35 阅读

相关 Java springcloud B2B2C o2o多用户商城 springcloud架构（四）SpringBoot 整合JPA

JPA全称Java Persistence API.JPA通过JDK 5.0注解或XML描述对象－关系表的映射关系，并将运行期的实体对象持久化到数据库中。 JPA 的目标之一

「爱情、让人受尽委屈。」/ 2022年10月01日 11:56/ 0 赞/ 115 阅读

相关 JAVA 多用户商城系统b2b2c- 服务消费者（rest+ribbon）

一、ribbon简介 Ribbon is a client side load balancer which gives you a lot of control over

曾经终败给现在/ 2022年10月01日 06:42/ 0 赞/ 106 阅读

相关 Java springcloud B2B2C o2o多用户商城 springcloud架构（十七）上传文件

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 这篇文章主要介绍，如何在springboot工程作为服务

谁践踏了优雅/ 2022年01月13日 10:47/ 0 赞/ 208 阅读

相关（十七）Java springcloud B2B2C o2o多用户商城 springcloud架构-上传文件

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 这篇文章主要介绍，如何在springboot工程作为服务

矫情吗；*/ 2022年01月13日 09:57/ 0 赞/ 184 阅读

相关 springcloud B2B2C o2o多用户商城－springboot集成spring cache

接着上一篇文章讲过的SpringBoot整合kafka和storm，续继介绍上篇内容编写。好了，编写完了kafka和storm相关的代码之后，我们再来进行和SpringBoot

超、凢脫俗/ 2021年06月22日 15:36/ 0 赞/ 393 阅读

相关 Java B2B2C多用户商城springboot架构——springcloud整合bus

bus的使用主要是配合springcloud config部分来一起使用，并没有单独使用首先建立服务端： <dependency> <grou

￡神魔★判官ぃ/ 2021年06月22日 15:36/ 0 赞/ 332 阅读

相关 Java B2B2C多用户商城springboot配置深入－配置环境属性

在之前已经基本上了解了整个springboot运行机制，但是也需要清除的认识到以下的问题，在实际的项目开发之中，尤其是Java的mvc版的项目里面，所有的项目都一定需要满足如下

浅浅的花香味﹌/ 2021年05月20日 20:36/ 0 赞/ 476 阅读