数据库切分技巧

蔚落 2021-12-19 00:51 219阅读 0赞

1、垂直切分

（1）按照功能模块进行切分

例如：一个购物网站有以下常见的功能模块：订单、购物车、查询、支付。

（2）按照表进行拆分

一个表中某些列很常用，另外一些不常用，则可以进行垂直分割，把主码和一些列放到一个表，然后把主码和另外的列放到另外一个表。

这样做的好处在于：数据行数会变小，一个数据页就能存放更多的数据，在查询时，会减少IO次数。

缺点在于：需要管理冗余列，查询所以数据需要join操作。

垂直切分优缺点：

优点：

（1）数据库拆分简单明了，拆分规则明确。

（2）应用程序模块清晰明确，整合容易。

（3）数据维护方便易行，容易定位。

缺点：

（1）部分表关联无法在数据库级别完成，需要在程序中完成。

（2）对于访问极其频繁并且数据量超级大的表仍然存在性能瓶颈，不一定能满足要求。

（3）事务处理相对更为复杂。

（4）切分达到一定程度之后，扩展性（维护性）会遇到限制。

（5）过多切分可能带来系统过度复杂而难以维护。

2、水平切分

单表数据量过大，访问速度过慢，维护比较麻烦，需要对表进行拆分。

常规拆分规则：

按照实际用的字段进行拆分。

（1）按照范围进行拆分，orderid：1-10000,10001-20000......

（2）按照订单创建时间进行拆分，createdate

（3）按照orderid取模，orderid%N

（4）按照枚举值进行拆分，areacode

水平切分的优缺点：

优点：

（1）表关联基本能在数据库端全部完成。

（2）不存在某些超大型数据量和高负载的表遇到瓶颈的问题。

（3）应用程序端整体架构改动相对较少。

（4）事务处理相对简单。

（5）只要切分规则能够定义好，基本上较难遇到扩展性限制。

缺点：

（1）切分规则相对较为复杂，很难抽象出一个能够满足整个数据库的切分规则。

（2）后期数据的维护难度有所增加，人为手工定位数据更困难。

（3）应用系统各模块耦合度较高，可能会对后面数据的迁移拆分造成一定的困难。

3、联合切分

联合切分的优点：

（1）可以充分利用垂直切分和水平切分各自的优势而避免各自的缺陷。

（2）让系统扩展性得到最大化提升。

联合切分的缺点：

（1）数据库系统架构比较复杂，维护难度更大。

（2）应用程序架构也相对更复杂。

4、解决思路

总的来说存在两种解决思路：

（1）在每个应用程序木块中配置管理自己需要的一个（或多个）数据源，直接访问各个数据库，在模块内完成数据的整合。

（2）通过中间代理层来统一管理所有的数据源，后端数据库集群对前端应用程序透明。

5、数据库中间件

常见的数据库中间件：

TDDL处于停滞状态

Amoeba处于停滞状态

Cobar处于停滞状态

MyCAT社区非常活跃

MyCAT又是在Cobar基础上发展的版本，两个显著点是：后端由BIO（同步阻塞IO）改为NIO（同步非阻塞IO），并发量有大幅提高增加了对order by、group by、limit等聚合功能的支持（虽然Cobar也可以支持order by、group by、limit语法，但是结果没有进行聚合，只是简单返回给前端，聚合功能还是需要业务系统自己完成）。

发表评论取消回复

表情：

评论列表（有 0 条评论，219人围观）

还没有评论，来说两句吧...

相关阅读

相关数据库水平切分举例

分表策略：使用user表来进行取余分布这里拿商品表进行举例： 1、首先需要判断一个用户的商品表大概会有多少数据，比如一个表的最大限度是100万

向右看齐/ 2022年09月19日 12:09/ 0 赞/ 137 阅读

相关数据库水平切分方法

转：[http://www.cnblogs.com/codebean/archive/2011/06/02/2068768.html][http_www.cnblogs.com

╰+攻爆jí腚メ/ 2022年09月19日 01:53/ 0 赞/ 142 阅读

相关数据库Sharding的基本思想和切分策略

本文着重介绍sharding的基本思想和理论上的切分策略，关于更加细致的实施策略和参考事例请参考我的另一篇博文：[数据库分库分表(sharding)系列(一) 拆分实施策略和示

客官°小女子只卖身不卖艺/ 2022年08月03日 14:50/ 0 赞/ 116 阅读

相关数据库切分(3)之数据库切分实施策略和示例演示

本文原文连接: [ http://blog.csdn.net/bluishglc/article/details/7696085][http_blog.csdn.net_blu

港控/mmm°/ 2022年06月10日 13:47/ 0 赞/ 124 阅读

相关数据库切分(2)之垂直切分的粒度

垂直切分的粒度指的是在做垂直切分时允许几级的关联表放在一个shard里．这个问题对应用程序和sharding实现有着很大的影响．关联

骑猪看日落/ 2022年06月10日 10:49/ 0 赞/ 159 阅读

相关数据库切分(1)之基本思想和切分策略

一、基本思想 Sharding（切分）的基本思想就要把一个[数据库][Link 1]切分成多个部分放到不同的数据库(server)上，从而缓解单一数据库

清疚/ 2022年06月10日 10:44/ 0 赞/ 162 阅读

相关【Mycat】数据库性能提升利器（二）——Mycat水平切分数据库

一、前言在上一篇博客中，小编向大家介绍了一下mycat和数据库切分的一些知识，具体实践还是要亲手实践，在项目中体验才会有感觉，所以在这一片博客中，小编给大家

男娘i/ 2022年06月04日 09:48/ 0 赞/ 187 阅读

相关数据库的切分和优化

1.引言随着互联网应用的普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿pv无疑对数据库造成了相当高的负载。对于系统的稳

梦里梦外;/ 2022年05月27日 06:28/ 0 赞/ 124 阅读

相关数据库切分技巧

1、垂直切分（1）按照功能模块进行切分例如：一个购物网站有以下常见的功能模块：订单、购物车、查询、支付。（2）按照表进行拆分一个表中某些列很常用

蔚落/ 2021年12月19日 00:51/ 0 赞/ 220 阅读

相关关于数据库的水平切分和垂直切分的一些概念（转）

[http://www.cnblogs.com/zr520/p/5449748.html][http_www.cnblogs.com_zr520_p_5449748.html]

旧城等待，/ 2021年06月10日 20:42/ 0 赞/ 313 阅读