mycat数据库中间件之--概述作用与使用场景(一)

落日映苍穹つ 2021-11-23 00:56 307阅读 0赞

## **1、 mycat概述** ##

前身是阿里的cobar，MyCat是一个开源的分布式数据库系统，是一个实现了MySQL协议的服务器，前端用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令行访问，而其后端可以用MySQL原生协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为N个小表，存储在后端MySQL服务器里或者其他数据库里。

MyCat发展到目前的版本，已经不是一个单纯的MySQL代理了，它的后端可以支持MySQL、SQL Server、Oracle、DB2、PostgreSQL等主流数据库，也支持MongoDB这种新型NoSQL方式的存储，未来还会支持更多类型的存储。而在最终用户看来，无论是那种存储方式，在MyCat里，都是一个传统的数据库表，支持标准的SQL语句进行数据的操作，这样一来，对前端业务系统来说，可以大幅降低开发难度，提升开发速度。

### **2、 中间件mycat的作用** ###

目前虽然传统关系数据库存在一些列的先天弊端，但NoSQL数据库又将其替代，但是如果传统数据库易于扩展和分拆就可以极大的避免单机单库在数据增删改查方面的缺陷。MyCat就是为了解决数据库的分拆和扩展而生的开源分布式数据库系统。其最终的目标就是低成本地将现有的单机数据库和应用平滑迁移到“云”端，解决数据存储和业务规模迅速增长情况下的数据瓶颈问题。

举个简单的例子：

如果你只是开一个小卖铺（小项目） ，那么你一个人（数据库）就可以了，但是如果你开一个大型购物中心（大项目），如果不分部门的话，人员（数据）就很难管理，所以按人员不同分了很多部门（数据库），但是光有部门，没有一个统一的管理者（mycat），那么各个部门的配合和协调能力就大大降低了，超市的健康运营就会受到影响。而mycat就是这个管理者，它是对数据库层做一个抽象，来管理这些数据库，而最上面的应用只需要面对一个数据库层的抽象或者说数据库中间件就好了，这就是Mycat的核心作用。

所以可以这样理解：数据库是对底层存储文件的抽象，而Mycat是对数据库的抽象。

**1)、 ****读写分离**

![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NjE4MjM4LTA2ZjVlOGRmOGFlYjdlYWMuanBnP2ltYWdlTW9ncjIvYXV0by1vcmllbnQvc3RyaXAlN0NpbWFnZVZpZXcyLzIvdy8xMDAwL2Zvcm1hdC93ZWJw][]

![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NjE4MjM4LTQxNjMyNzhiYjEyZWNlZDQucG5nP2ltYWdlTW9ncjIvYXV0by1vcmllbnQvc3RyaXAlN0NpbWFnZVZpZXcyLzIvdy82MTAvZm9ybWF0L3dlYnA][]

![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NjE4MjM4LWEyMGY5YzMzNmZlNjJjM2IucG5nP2ltYWdlTW9ncjIvYXV0by1vcmllbnQvc3RyaXAlN0NpbWFnZVZpZXcyLzIvdy84ODcvZm9ybWF0L3dlYnA][]

**2)、 ****数据分片**

垂直拆分

垂直拆分就是要把表按模块划分到不同**数据库**表中（当然原则还是不破坏第三范式），这种拆分在大型网站的演变过程中是很常见的。当一个网站还在很小的时候，只有小量的人来开发和维护，各模块和表都在一起，当网站不断丰富和壮大的时候，也会变成多个子系统来支撑，这时就有按模块和功能把表划分出来的需求。其实，相对于垂直切分更进一步的是服务化改造，说得简单就是要把原来强耦合的系统拆分成多个弱耦合的服务，通过服务间的调用来满足业务需求看，因此表拆出来后要通过服务的形式暴露出去，而不是直接调用不同模块的表，淘宝在架构不断演变过程，最重要的一环就是服务化改造，把用户、交易、店铺、宝贝这些核心的概念抽取成独立的服务，也非常有利于进行局部的优化和治理，保障核心模块的稳定性

垂直拆分：单表大数据量依然存在性能瓶颈

水平拆分

上面谈到垂直切分只是把表按模块划分到不同数据库，但没有解决单表大数据量的问题，而水平切分就是要把一个表按照某种规则把数据划分到不同表或数据库里。例如像计费系统，通过按时间来划分表就比较合适，因为系统都是处理某一时间段的数据。而像SaaS应用，通过按用户维度来划分数据比较合适，因为用户与用户之间的隔离的，一般不存在处理多个用户数据的情况，简单的按user\_id范围来水平切分

通俗理解：水平拆分行，行数据拆分到不同表中， 垂直拆分列，表数据拆分到不同表中

垂直与水平联合切分

由上面可知垂直切分能更清晰化模块划分，区分治理，水平切分能解决大数据量性能瓶颈问题，因此常常就会把两者结合使用，这在大型网站里是种常见的策略

案例：

以mysql为例，简单购物系统暂设涉及如下表：

1.产品表（数据量10w，稳定）

2.订单表（数据量200w，且有增长趋势）

3.用户表 （数据量100w，且有增长趋势）

以mysql为例讲述下水平拆分和垂直拆分，mysql能容忍的数量级在百万静态数据可以到千万

**垂直拆分：**

解决问题：表与表之间的io竞争

产生问题：单表中数据量增长出现的压力

方案：

把产品表和用户表放到一个**server**上

订单表单独放到一个server上

**　水平拆分：**

解决问题： 单表中数据量增长出现的压力

产生问题： 表与表之间的io争夺

方案：

用户表通过性别拆分为男用户表和女用户表

订单表通过已完成和完成中拆分为已完成订单和未完成订单

产品表 未完成订单放一个server上

已完成订单表盒男用户表放一个server上

女用户表放一个server上(女的爱购物)

[![aHR0cDovL3d3dy41MXRlc3RpbmcuY29tL2F0dGFjaG1lbnRzLzIwMTUvMDgvMTQ5ODI2NzJfMjAxNTA4MTQwOTMzMTgxNHMwaS5qcGc][]][aHR0cDovL3d3dy41MXRlc3RpbmcuY29tL2F0dGFjaG1lbnRzLzIwMTUvMDgvMTQ5ODI2NzJfMjAxNTA4MTQwOTMzMTgxNHMwaS5qcGc 1]

### **3、 mycat的工作****原理** ###

![aHR0cDovL3d3dy5hdGd1aWd1LmNvbS93cC1jb250ZW50L3VwbG9hZHMvMjAxOS8wMy8lRTUlOUIlQkUlRTclODklODcxLTEyLnBuZw][]

Mycat 的原理中最重要的一个动词是“拦截”，它拦截了用户发送过来的 SQL 语句，首先对 SQL 语句做了

一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此 SQL 发往后端的真实数据库，

并将返回的结果做适当的处理，最终再返回给用户![aHR0cDovL3d3dy5hdGd1aWd1LmNvbS93cC1jb250ZW50L3VwbG9hZHMvMjAxOS8wMy8lRTUlOUIlQkUlRTclODklODcyLTEwLnBuZw][]

这种方式把数据库的分布式从代码中解耦出来，程序员察觉不出来后台使用mycat还是mysql。

### 4、mycat对比其他途径 ###

![70][]

**如有披露或问题欢迎留言或者入群探讨**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDcwNzMz_size_16_color_FFFFFF_t_70][]

[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NjE4MjM4LTA2ZjVlOGRmOGFlYjdlYWMuanBnP2ltYWdlTW9ncjIvYXV0by1vcmllbnQvc3RyaXAlN0NpbWFnZVZpZXcyLzIvdy8xMDAwL2Zvcm1hdC93ZWJw]: /images/20211122/12164c701bef42ee85253741cff4f2c8.png
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NjE4MjM4LTQxNjMyNzhiYjEyZWNlZDQucG5nP2ltYWdlTW9ncjIvYXV0by1vcmllbnQvc3RyaXAlN0NpbWFnZVZpZXcyLzIvdy82MTAvZm9ybWF0L3dlYnA]: /images/20211122/6aef9ee656ba48dc82a03a0ecccae592.png
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NjE4MjM4LWEyMGY5YzMzNmZlNjJjM2IucG5nP2ltYWdlTW9ncjIvYXV0by1vcmllbnQvc3RyaXAlN0NpbWFnZVZpZXcyLzIvdy84ODcvZm9ybWF0L3dlYnA]: /images/20211122/95092d35268743049125f95eca8f62f6.png
[aHR0cDovL3d3dy41MXRlc3RpbmcuY29tL2F0dGFjaG1lbnRzLzIwMTUvMDgvMTQ5ODI2NzJfMjAxNTA4MTQwOTMzMTgxNHMwaS5qcGc]: /images/20211122/4cfeacde43124be195fbacbddf484a09.png
[aHR0cDovL3d3dy41MXRlc3RpbmcuY29tL2F0dGFjaG1lbnRzLzIwMTUvMDgvMTQ5ODI2NzJfMjAxNTA4MTQwOTMzMTgxNHMwaS5qcGc 1]: http://www.51testing.com/batch.download.php?aid=54540
[aHR0cDovL3d3dy5hdGd1aWd1LmNvbS93cC1jb250ZW50L3VwbG9hZHMvMjAxOS8wMy8lRTUlOUIlQkUlRTclODklODcxLTEyLnBuZw]: /images/20211122/3d8b3dbd9dac44c0848c22ebf4c96dd1.png
[aHR0cDovL3d3dy5hdGd1aWd1LmNvbS93cC1jb250ZW50L3VwbG9hZHMvMjAxOS8wMy8lRTUlOUIlQkUlRTclODklODcyLTEwLnBuZw]: /images/20211122/0aec8eb34b66404b8659c3f027d00baa.png
[70]: /images/20211122/823e4b016203460ea700948e323f2698.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDcwNzMz_size_16_color_FFFFFF_t_70]: /images/20211122/af0c758bcb3f4404be4354ba2fe11482.png