数据切分——Atlas读写分离Mysql集群的搭建

谁践踏了优雅 2022-08-05 15:05 134阅读 0赞

关于数据切分的原理可以参见博客：

[ http://blog.csdn.net/jhq0113/article/details/44226789][http_blog.csdn.net_jhq0113_article_details_44226789]

关于Atlas的介绍可以参见博客：

[ http://blog.csdn.net/jhq0113/article/details/44239823][http_blog.csdn.net_jhq0113_article_details_44239823]

Atlas源代码用C语言编写，它对于Web Server相当于是DB,相对于DB相当于是Client,如果把Atlas的逻辑放到Web Server程序里去处理，这样会大大增加Web Server程序的复杂度，同时Web Server和DB之间的耦合度也相当高，因为只要DB增加/减少服务，Web Server就有可能要发生代码改变，若代码不改变，就得通过中间关系表与心跳机制来维护Server之间的关系，这样会带来性能的损耗，而Atlas是架设在Web Server与DB之间的一个中间件，Web Server与DB之间的耦合关系放到了Atlas来处理，既做到了灵活也保留了性能，这也是Atlas存在的价值。

Atlas支持表的水平切分，支持读写分离，对数据实时性要求较高的项目可以在select语句前增加/\*master\*/强制读主库，主从MySql数据库之间数据的同步需要自己配置，主从MySql数据库数据主从复制的配置方法参见博客：

[ http://blog.csdn.net/jhq0113/article/details/44263367][http_blog.csdn.net_jhq0113_article_details_44263367]

1.安装

注意：只能安装在64位的Linux操作系统上，CentOS官方建议rpm安装方式

获取地址：[https://github.com/Qihoo360/Atlas/releases][https_github.com_Qihoo360_Atlas_releases]

目前最新的版本为：

Atlas-2.2.1.el5.x86\_64.rpm                      CentOS 5.\*  版本

Atlas-2.2.1.el6.x86\_64.rpm                      CentOS 6.\*  版本

我的环境是CentOS 6.6 Basic Server x86\_64

安装命令：

\[root@jhq0229 src\]\# rpm -i Atlas-2.2.1.el6.x86\_64.rpm

安装位置：

/usr/local/mysql-proxy

配置文件：

/usr/local/mysql-proxy/conf/test.cnf

重要配置文件详解：

>          (1)线程数
> 
>          event-threads项设置，过小无法充分发挥多核CPU的性能，过大造成不必要的线程切换开销，推荐设置为CPU的核数。
> 
>       (2)最小空闲连接数(2.x以上版本不需要该项，1.x版本需要)
> 
>          min-idle-connections项设置，过小则在高并发下会有报错，过大虽然不报错但在测试时不容易看出读写分离效果，推荐设置为比客户端的并发峰值稍大，详见《配置参数详解》。上面的配置范例是针对Atlas 2.X版本，没有该选项。对于Atlas 1.X版本的配置文件，需要加入该配置选项
> 
>       (3)Atlas的工作端口
> 
>          proxy-address项配置，例如proxy-address = 0.0.0.0:1234代表客户端应该使用1234这个端口连接Atlas来发送SQL请求。
> 
>      (4)Atlas的管理端口
> 
>          admin-address项配置，例如admin-address = 0.0.0.0:2345代表DBA应该使用2345这个端口连接Atlas来执行运维管理操作。
> 
>     (5)管理接口的用户名和密码
> 
>         admin-username项和admin-password项设置，这两项是用来进入Atlas的管理界面的，与后端连接的MySQL没有关系，所以可以任意设置，不需要MySQL在配置上做任何改动。
> 
>    (6)日志级别
> 
>         以log-level项配置，分为message、warning、critical、error、debug五个级别。
> 
>    (7)日志路径
> 
>        以log-path项配置，如log-path = /usr/local/mysql-proxy/log。
> 
>    (8)主库的IP和端口
> 
>        proxy-backend-addresses = 192.168.0.12:3306
> 
>    (9)从库的IP和端口，@后面的数字代表权重，用来作负载均衡，若省略则默认为1，可设置多项，用逗号分隔。如果想让主库也能分担读请求的话，只需要将主库信息加入到下面的配置项中。
> 
>        proxy-read-only-backend-addresses = 192.168.0.13:3306,192.168.0.14:3306
> 
>    (10)用户名与其对应的加密过的MySQL密码，密码使用PREFIX/bin目录下的加密程序encrypt加密，用户名与密码之间用冒号分隔。主从数据库上需要先创建该用户并设置密码（用户名和密码在主从数据库上要一致）。比如用户名为myuser，密码为mypwd，执行./encrypt mypwd结果为HJBoxfRsjeI=。如果有多个用户用逗号分隔即可。则设置如下行所示：
> 
>       pwds = myuser: HJBoxfRsjeI=,myuser2:HJBoxfRsjeI=
> 
>  (11)分表设置，此例中person为库名，mt为表名，id为分表字段，3为子表数量，可设置多项，以逗号分隔，若不分表则不需要设置该项，子表需要事先建好，子表名称为表名\_数字，数字范围为\[0,子表数-1\]，如本例里，子表名称为mt\_0、mt\_1、mt\_2
> 
>     tables = person.mt.id.3
> 
>   
> 
> 
>    我的配置：
> 
>     
> 
>     [mysql-proxy]
>     
>     #管理接口的用户名
>     admin-username = user
>     
>     #管理接口的密码
>     admin-password = pwd
>     
>     #Atlas后端连接的MySQL主库的IP和端口，可设置多项，用逗号分隔
>     proxy-backend-addresses = 192.168.1.18:3306
>     
>     #从库
>     proxy-read-only-backend-addresses = 192.168.1.16:3306@1
>     #用户名和密码配置项，需要和主从复制配置的用户名和密码配置一样
>     #pwds = user1:+jKsgB3YAG8=, user2:GS+tr4TPgqc=
>     pwds = mastt:/iZxz+0GRoA=
>     
>     #后台运行
>     daemon = true
>     
>     keepalive = true
>     
>     #工作线程数，对Atlas的性能有很大影响，可根据情况适当设置
>     event-threads = 8
>     
>     #日志级别，分为message、warning、critical、error、debug五个级别
>     log-level = message
>     
>     #日志存放的路径
>     log-path = /usr/local/mysql-proxy/log
>     
>     #SQL日志的开关，可设置为OFF、ON、REALTIME，OFF代表不记录SQL日志，ON代表记录SQL日志，REALTIME代表记录SQL日>志且实时写入磁盘，默认为OFF
>     #sql-log = OFF
>     
>     #慢日志输出设置。当设置了该参数时，则日志只输出执行时间超过sql-log-slow（单位：ms)的日志记录。不设置该参数
>     则输出全部日志。
>     #sql-log-slow = 10
>     
>     #实例名称，用于同一台机器上多个Atlas实例间的区分
>     #instance = test
>     
>     #Atlas监听的工作接口IP和端口
>     proxy-address = 192.168.1.18:8060
>     
>     #Atlas监听的管理接口IP和端口
>     admin-address = 192.168.1.18:2345
>     
>     #分表设置，此例中person为库名，mt为表名，id为分表字段，3为子表数量，可设置多项，以逗号分隔，若不分表则不需
>     要设置该项
>     #tables = person.mt.id.3
>     tables=orders.my_orders.year.2015
>     
>     #默认字符集，设置该项后客户端不再需要执行SET NAMES语句
>     charset = utf8
>     
>     #允许连接Atlas的客户端的IP，可以是精确IP，也可以是IP段，以逗号分隔，若不设置该项则允许所有IP连接，否则只允
>     许列表中的IP连接
>     #client-ips = 127.0.0.1, 192.168.1
>     
>     #Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP)，若有LVS且设置了client-ips则此项必须设置，否则可以不设置
>     #lvs-ips = 192.168.1.1
> 
>   
> 
> 
> 从以上配置可以清楚看到：
> 
> 主库：192.168.1.18:3306
> 
> 从库：192.168.1.16：3306    权重为1
> 
> 注意：主从复制需要自行配置。
> 
>  
> 
> Atlas Proxy的ip和端口为：192.168.1.18:8060
> 
> 主从复制的用户和密码为：mastt     123456,以上的pwds的密码是经过加密处理的
> 
> 若用Navicat登陆，就用Atlas Proxy的ip和端口，用户名和密码用主从复制的，主从复制的账户需要设置可以在Navicat上登陆。
> 
>   
> 
> 
> 分表配置项：  
> 
> 
>     tables=orders.my_orders.year.2015
> 
>   
> 
> 
> 我的主从库名称是orders,里有三张表，分别是my\_orders\_0,my\_orders\_1,my\_orders\_2,按year字段进行分表，虽然分了2015张表，但是你的数据库里不一定有这么多张表，这里的2015只是取模的一个基数，按照此规律去找到相应的表，例如year=2015，数据请求会发送到my\_orders\_0表。
> 
>   
> 
> 
> 编写简单Atlas的启动脚本：
> 
> \[root@jhq0229 ~\]\# vim /etc/init.d/atlas  
> 
> 
>   
> 
> 
> 内容如下：
> 
>     #!/bin/sh
>     #
>     #atlas:    Atlas Daemon
>     #
>     # chkconfig:    - 90 25
>     # description:  Atlas Daemon
>     #
>     # Source function library.
>     start()
>     {
>             echo -n $"Starting atlas: "
>             /usr/local/mysql-proxy/bin/mysql-proxyd test start
>             echo 
>     }
>     stop()
>     {
>             echo -n $"Shutting down atlas: "
>             /usr/local/mysql-proxy/bin/mysql-proxyd test stop
>             echo
>     }
>     ATLAS="/usr/local/mysql-proxy/bin/mysql-proxyd"
>     [ -f $ATLAS ] || exit 1
>     # See how we were called.
>     case "$1" in
>             start)
>                     start
>                     ;;
>             stop)
>                     stop
>                     ;;
>             restart)
>                     stop
>                     sleep 3
>                     start
>                     ;;
>             *)
>                     echo $"Usage: $0 {start|stop|restart}"
>                     exit 1
>     esac
>     exit 0
> 
>   
> 授权并加入开机启动
> 
> \[root@jhq0229 ~\]\# chmod +x /etc/init.d/atlas  
> \[root@jhq0229 ~\]\# chkconfig atlas on
> 
>   
> 
> 
> 启动atlas服务
> 
> \[root@jhq0229 ~\]\# service atlas start
> 
>   
> 
> 
> 2.功能测试：
> 
> 1）.利用mastt用户123456密码Navicat登陆到192.168.1.18:8060查看数据库表，开始数据库中没有数据。
> 
> 表结构如下：
> 
>     CREATE TABLE `my_orders_0` (
>       `id` int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT '表主键',
>       `pid` int(10) unsigned NOT NULL COMMENT '产品ID',
>       `price` decimal(15,2) NOT NULL COMMENT '单价',
>       `num` int(11) NOT NULL COMMENT '购买数量',
>       `person` varchar(255) NOT NULL COMMENT '客户姓名',
>       `atime` int(10) unsigned NOT NULL COMMENT '下单时间',
>       `utime` int(10) unsigned NOT NULL COMMENT '修改时间',
>       `isdel` tinyint(4) NOT NULL DEFAULT '0' COMMENT '软删除标识',
>       `year` smallint(5) unsigned NOT NULL COMMENT '年',
>       PRIMARY KEY (`id`)
>     ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
> 
>   
> 插入数据
> 
>     INSERT INTO `my_orders`(`pid`,`price`,`num`,`person`,`atime`,`utime`,`year`) VALUES ('1', '123.54', '1', '周润发', '1426335606', '1426335606','2015');
>     INSERT INTO `my_orders`(`pid`,`price`,`num`,`person`,`atime`,`utime`,`year`) VALUES ('3', '13.67', '4', '周迅', '1426338765', '1426338765', '2016');
>     INSERT INTO `my_orders`(`pid`,`price`,`num`,`person`,`atime`,`utime`,`year`) VALUES ('4', '44.44', '4', '郭敬明', '1426754324', '1426754324','2017');
> 
>   
> 此时我们会看到my\_orders\_0，1，2表中分别有一条数据，15年的在0表，16年在1表，17年的在2表。
> 
>   
> 
> 
> 查询测试，如果不指定表的全名，查询时需要year字段作为where条件，否则不会通过，测试结果如下图：
> 
>        ![SouthEast][]  
> 
> 
>   
> 
> 
> 读写分离测试,为了达到测试效果，我们在从库的my\_orders\_0表手动添加一条数据，语句如下：
> 
>     INSERT INTO `my_orders_0`(`pid`,`price`,`num`,`person`,`atime`,`utime`,`year`) VALUES ('2', '212.54', '1', '梁朝伟', '1426335606', '1426335606','2015');
> 
>   
> 此时，主库的0表只有一条数据，从表里有两条数据，如果我们执行查询语句
> 
> SELECT \* FROM my\_orders WHERE \`year\`=2015出现一条结果，则都的是主库，若出现两条则为从库，结果如下图：
> 
>         ![SouthEast 1][]
> 
>   
> 
> 
> 证明已经读的是从库。
> 
>   
> 
> 
> 测试强制读主库，若执行语句/\*master\*/ SELECT \* FROM my\_orders WHERE \`year\`=2015有两条记录则读的是从库，如果是一条记录都的是主库，测试结果只有周润发一条记录。
> 
>   
> 
> 
> 至此，Atlas的配置完毕，如果将Atlas与Mysql表的分区联合使用可以大大提高大数据的处理能力，希望可以帮助到你。  
> 
> 
>   
>

[http_blog.csdn.net_jhq0113_article_details_44226789]: http://blog.csdn.net/jhq0113/article/details/44226789
[http_blog.csdn.net_jhq0113_article_details_44239823]: http://blog.csdn.net/jhq0113/article/details/44239823
[http_blog.csdn.net_jhq0113_article_details_44263367]: http://blog.csdn.net/jhq0113/article/details/44263367
[https_github.com_Qihoo360_Atlas_releases]: https://github.com/Qihoo360/Atlas/releases
[SouthEast]: /images/20220805/acb01fcfc9a5450eb85475accc782605.png
[SouthEast 1]: /images/20220805/669c7123d0344bd9955771a4c2758d32.png