MySQL docker PXC集群搭建笔记

今天药忘吃喽~ 2022-05-14 00:19 300阅读 0赞

\--------------------------------------------------------------------------------------------------------------------------------------------------------------------

9.28笔记重构更新：

离记录这个笔记的时间也差不多有一个月了，在此之间反复记录和使用让我对整个过程有了更深的理解；

本次数据库集群的搭建，由于没有这么多的真实的电脑当作服务器来进行模拟搭建环境，采用虚拟机+docker的形式模拟多个服务器运行。

本次采用的配置：

8G内存+i5CPU

虚拟机配置：

2G内存+1核CPU+网络桥接模式

软件配置：

centos 7.4+ docker

具体虚拟机和docker安装不做过多记录。网络连接模式采用桥接的目的是为了在其他电脑上也能访问虚拟机，相关ip配置方法不做记录。

\-------------------------------------------------------------------------------------------------------------------------------------------------------------------------

操作步骤：

1、更新yum:

yum -y update

2、下载docker

yum install -y docker

3、docker配置加速器--网络好的可以忽略这步

4、docker pxc-cluster集群镜像下载

docker pull percona/percona-xtradb-cluster

5、docker服务网段的创建

docker network create --subnet=172.20.0.0/24 net1
    
    
    
    ########################################################
    --docker服务网段的创建：--docker network create net1   docker创建的网段默认内置是172.17.0.$$，逐步增加，再次创建就是：172.18.0.$$
    docker network inspect net1  查看网段信息   docker network rm net1 删除网段  subnet指定一个网段

6、创建docker券

docker volume create --name d1   创建冷热备份的券：docker volume create backup

7、运行容器

docker run -d -p 3306:3306 --name=node1 -v d1:/var/lib/mysql -v backup:/data -e MYSQL_ROOT_PASSWORD=TT123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PACSSWORD=TT123456 --privileged  --net=net1 --ip 172.20.0.2 pxc
    
    
    #########################################################################
    翻译：
    后台运行docker，宿主机3306端口映射到docker pxc服务的3306端口，取名这个服务为node1，将本地d1卷目录映射到docker-pxc服务保证数据持久化，映射backup卷目录作为数据备份目录，启动pxc的root密码，指定集群名称为PXC，指定加入集群的密码，给与最高权限，定义node1服务网段是net1，具体网段ip是.0.2 ,运行镜像是pxc

8、运行node2、3、4、等节点容器

docker run -d -p 3307:3306 --name=node2 -v d2:/var/lib/mysql -v backup:/data -e MYSQL_ROOT_PASSWORD=TT123456 -e CLUSTER_NAME=PXC -e CLUSTER_JOIN=node1 -e XTRABACKUP_PACSSWORD=TT123456 --privileged  --net=net1 --ip 172.20.0.3 pxc
    
    
    ############################################################################
    于第一个节点创建不同点：
    1、端口不能冲突，所以指定宿主机3307端口映射到node2的3306
    2、name取名不能冲突，所以取名node2
    3、需要加入第一个节点组，所以多了cluster_join
    4、ip不能冲突，所以定义的.0.3地址

9、检测-----新建完成后通过navicat链接服务，测试集群成功性

[root@centos7 ~]# docker ps -a
    CONTAINER ID        IMAGE               COMMAND             CREATED              STATUS              PORTS                                   NAMES
    2f579d9179c2        pxc                 "/entrypoint.sh "   About a minute ago   Up 10 seconds       4567-4568/tcp, 0.0.0.0:3310->3306/tcp   node5
    3afd8fb077f2        pxc                 "/entrypoint.sh "   About a minute ago   Up About a minute   4567-4568/tcp, 0.0.0.0:3309->3306/tcp   node4
    6bfa8db7dfd3        pxc                 "/entrypoint.sh "   2 minutes ago        Up About a minute   4567-4568/tcp, 0.0.0.0:3308->3306/tcp   node3
    fe55c409f1fe        pxc                 "/entrypoint.sh "   15 minutes ago       Up 15 minutes       4567-4568/tcp, 0.0.0.0:3307->3306/tcp   node2
    888b24dfff8e        pxc                 "/entrypoint.sh "   48 minutes ago       Up 48 minutes       0.0.0.0:3306->3306/tcp, 4567-4568/tcp   node1
    [root@centos7 ~]# 
    发现全部成功在跑，最后通过navicat链接服务进行数据同步测试

\--------------------------------------------------------------------------------------------------------------------------------------------------------------------

docker常用操作和一些操作原理：

启动docker服务: --service docker start     --关闭命令--service docker stop    --重启命令  --service docker restart
    
    
    
    
    容器服务：
    --docker-file  已在的程序打包成镜像：build     仓库下载docker镜像：pull  把镜像上传到仓库：push   查看仓库有哪些镜像：search
    --docker-file  物理复制，把一个主机上的镜像赋值到另一个主机上   把镜像导出到宿主机上：save/export   
    通过宿主机ftp形式传递给新宿主机   通过导入的形式给到新docker服务 ：load/import
    
    
    --docker 创建docker服务：run   宿主机进入到已创建的docker服务：  exec     链接到docker服务（不进入docker）： attach
    
    
    --已在运行的docker镜像管理：  暂停：pause    停止：stop    运行：start
    
    
    
    问题：
    1、为什么要映射目录？2、为什么要用卷？3、卷目录映射和宿主机目录映射区别？
    答案:
    1、由于Docker 采用 AFUS 分层文件系统时，文件系统的改动都是发生在最上面的容器层。
    在容器的生命周期内，它是持续的，包括容器在被停止后。但是，当容器被删除后，该数据层也随之被删除。目录映射是为了保证数据的持久化，在宿主机上新建的目录映射到docker中，保证docker内服务运行时的数据能够在宿主机上保留使用。
    2、卷是容器中绕过 Union 文件系统的一个特定的目录。它被设计用来保存数据，而不管容器的生命周期。当删除docker时不会删除卷文件夹
    3、docker卷映射和宿主机本地目录映射区别：docker卷是创建的一个属于docker的宿主机文件夹，他的文件夹属性属于docker而不是属于宿主机。
    在部分docker程序服务中，有的程序只允许数据写入到docker服务的文件夹，如pxc集群。而本地文件夹属性是属于宿主机，那么如果我本地新建目录映射到docker pxc服务，则pxc服务会报无法写入的错误。这时候想解决pxc集群数据持久化的问题，我们要使用docker卷文件夹
    
    必须了解的两点：
    容器内的数据是临时性的，它会随着容器生命周期的结束而消失
    默认的 Docker volume （driver = ‘loclal’）不管是哪种形式，本质上都是将容器所在的主机上的一个目录 映射 到容器内的一个目录，因此，它不具备可移植性
    
    --当删除docker服务时，服务如果有映射宿主机文件夹，那么该服务的文件不会被docker所删除，这时候我们如果再用该文件夹重新映射创建服务的时候，报错已存在服务文件
    所以对于这种已经删除docker服务的孤卷，如果没有保留必要，我们再次使用该文件夹之前，需要删除孤卷。
    
    
    查看docker创建的数据券详情
    --docker volume inspect d1
    
    删除孤券
    --查看孤券：docker volume ls -qf dangling=true    删除孤券：docker volume rm $(docker volume ls -qf dangling=true)   查看删除后结果：docker volume ls
    
    
    docker容器运行日志查看最近1000条，根据报错再去查资料会比较有目的性：
    docker logs --tail=1000 node1
    
    运行容器：
    docker run -it(交互界面前台运行)/-d(后台运行)

PXC创建问题：

每个节点执行创建后等待1分钟后再创建下一个节点，虽然前端创建显示完成，实际MySQL集群服务的创建需要时间，在未完成前一节点创建下一个节点服务时，会启动闪退

--------------------

2018.10.11更新

今天模拟灾难突发：

在容器运行正常的情况下直接重启docker服务，模拟机器断电或者是服务故障导致docker不可使用时的数据库恢复；

直接重启docker，所有的docker服务都会被停掉，包括hapeoxy，pxc各个节点通过命令查看全市exit状态；

直接通过重启docker命令进行容器重启：

docker start haproxy01 haproxy02 node1 node2 node3 node
    4 node5

发现haproxy容器能正常启动，pxc节点有部分启动状态，或无法启动（闪关闭）；

通过navicat打开启动成功的节点发现，navicat无法打开，打开haproxy进入pxc发现无法打开haproxy

原因：

查看启动报错节点日志，如node1节点：

docker logs --tail=1000 node1

发现error报错日志：

2018-10-11T10:45:18.905663Z 0 [Note] WSREP: Setting initial position to 00000000-0000-0000-0000-000000000000:-1
    2018-10-11T10:45:18.905668Z 0 [ERROR] WSREP: It may not be safe to bootstrap the cluster from this node. It was not the last one to leave the cluster and may not contain all the updates. To force cluster bootstrap with this node, edit the grastate.dat file manually and set safe_to_bootstrap to 1 .
    2018-10-11T10:45:18.905672Z 0 [ERROR] WSREP: Provider/Node (gcomm://) failed to establish connection with cluster (reason: 7)

这里日志显示该节点不是最后关闭节点，无法直接启动，需要启动请进入配置文件设置启动参数为1；

查询配置文件：

find .  -name 'grastate.dat'
    
    找到很多配置文件，只需要修改需要进入的那个就行了
    find: ‘./run/user/1000/gvfs’: 权限不够
    ./var/lib/docker/volumes/d1/_data/grastate.dat
    ./var/lib/docker/volumes/d3/_data/grastate.dat
    ./var/lib/docker/volumes/d4/_data/grastate.dat
    ./var/lib/docker/volumes/d5/_data/grastate.dat
    ./var/lib/docker/volumes/d2/_data/grastate.dat
    
    
    编辑配置文件：
    safe_to_bootstrap: 1
    
    把参数改为1

接下来有两种方案能让pxc节点恢复：

1、删除所有docker-pxc节点重新安装
    顺序是配置文件更改的那个卷目录对应的节点作为第一节点进行安装，其他节点正常加入即可
    
    
    2、直接启动这个节点：
    如果挂掉的节点是第一节点，则启动的时候，由于有其他节点在运行，所以再次启动第一节点的时候需要cluster——join到其他节点
    如果是其他节点直接加入集群即可

推荐方式是：重新安装pxc集群；

步骤：

1、删除所有pxc节点
    docker rm node1 node2 node3 node4 node5
    
    2、修改node1配置文件启动方式为1
    
    3、重新安装node1 node2 node3.。。。
    docker run -d -p 3306:3306 --name=node1 -v d1:/var/lib/mysql -v backup:/data -e MYSQL_ROOT_PASSWORD=TT123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PACSSWORD=TT123456 --privileged  --net=net1 --ip 172.20.0.2 pxc
    
    
    
    
    docker run -d -p 3307:3306 --name=node2 -v d2:/var/lib/mysql -v backup:/data -e MYSQL_ROOT_PASSWORD=TT123456 -e CLUSTER_NAME=PXC -e CLUSTER_JOIN=node1 -e XTRABACKUP_PACSSWORD=TT123456 --privileged  --net=net1 --ip 172.20.0.3 pxc
    
    
    。。。。。。。。

进入pxc集群，由于之前做了卷目录映射，发现数据都在。数据库运行恢复正常。

--------------------

2019.4更新

今天突发奇想的想测试mycat中间件，之前的pxc集群早就删了，所以又开始重新搭建了一套。

与之前不同的事，经过公司上的一些磨练，发现企业跑dockers基本都是docker集群上跑的，要么k8s，要么swarm，所以这次我在自己的测试机上做了docker-swarm集群上的mysql-pxc集群搭建。

由于我这有一台服务器，所以swarm虽说是集群，实际上就一个节点。不过并不妨碍我对swarm的使用

大体安装和之前的差不多，docker-swarm些许区别在于以下：

1、docker需要初始化swarm

初始化
    docker swarm init
    
    赋予docker-swarm管理角色
    docker swarm join-token manager

2、由于swarm集群自带overlay的网络通信模式，所以我们自需要建立一个swarm的网络，不需要指定IP给各个pxc节点，swarm会自动分配网络ip地址给到pxc，所以需要操作两步：

创建swarm网段
    docker network create -d overlay --attachable pxc
    
    启动容器命令：
    
     docker run -d -p 33061:3306 -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=123456 -v v1:/var/lib/mysql -v backup:/data --privileged --name=pxc1 --net=pxc pxc
    
    
    docker run -d -p 33062:3306 -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC  -e CLUSTER_JOIN=pxc1 -e XTRABACKUP_PASSWORD=123456 -v v2:/var/lib/mysql -v backup2:/data --privileged --name=pxc2 --net=pxc pxc

其他的都和之前的一样，实际生产或者运维的docker几乎都是集群的形式，所以练手单机的同时也要强化集群。