kubernetes中部署mysql集群并持久化存储

我就是我 2022-01-17 03:35 423阅读 0赞

环境

主节点：172.19.2.50
    从节点：
    172.19.2.51
    172.19.2.140

部署完成后通过各节点的30336端口访问mysql

账号root，密码abcd1234
    如：
    mysql -h 172.19.2.50 -P 30336 -uroot -pabcd1234

部署完成后通过galera可以让集群3个节点间的数据一致

容器内访问mysql时，可以通过所有k8s节点的30336端口访问，也可以使用k8s服务中的内部入口访问，如mysql.mysql:3306，dns会自动解析mysql.mysql到对应的服务集群

# 一、在主节点创建目录 #

mkdir -pv /mysql_data/datadir-mariadb-0
    mkdir -pv /mysql_data/datadir-mariadb-1
    mkdir -pv /mysql_data/datadir-mariadb-2

# 二、修改部署文件 #

cd /opt/kubernetes-mysql-cluster

命名空间部署文件

vim 00namespace.yml
    ---
    apiVersion: v1
    kind: Namespace
    metadata:
      name: mysql

pvc部署文件

vim 10pvc.yml
    ---
    kind: PersistentVolumeClaim
    apiVersion: v1
    metadata:
      name: mysql-mariadb-0
      namespace: mysql
    spec:
      accessModes:
    	- ReadWriteOnce		#这里为pvc的访问模式
      resources:
    	requests:
    	  storage: 10Gi		#这里调整要挂载的pvc大小
      selector:
    	matchLabels:		#这里要和pv的标签对应
    	  app: mariadb
    	  podindex: "0"
    ---
    kind: PersistentVolumeClaim
    apiVersion: v1
    metadata:
      name: mysql-mariadb-1
      namespace: mysql
    spec:
      accessModes:
    	- ReadWriteOnce
      resources:
    	requests:
    	  storage: 10Gi
      selector:
    	matchLabels:
    	  app: mariadb
    	  podindex: "1"
    ---
    kind: PersistentVolumeClaim
    apiVersion: v1
    metadata:
      name: mysql-mariadb-2
      namespace: mysql
    spec:
      accessModes:
    	- ReadWriteOnce
      resources:
    	requests:
    	  storage: 10Gi
      selector:
    	matchLabels:
    	  app: mariadb
    	  podindex: "2"

mariadb服务文件

vim 20mariadb-service.yml
    # the "Headless Service, used to control the network domain"
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: mariadb
      namespace: mysql
    spec:
      clusterIP: None
      selector:
    	app: mariadb
      ports:
    	- port: 3306
    	  name: mysql
    	- port: 4444
    	  name: sst
    	- port: 4567
    	  name: replication
    	- protocol: UDP
    	  port: 4567
    	  name: replicationudp
    	- port: 4568
    	  name: ist

mysql服务文件

vim 30mysql-service.yml
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: mysql
      namespace: mysql
    spec:
      ports:
      - port: 3306
    	name: mysql
    	targetPort: 3306
    	nodePort: 30336		#这里为porxy映射端口
      selector:
    	app: mariadb
      type: NodePort

载入配置文件

vim 40configmap.sh
    #!/bin/bash
    DIR=`dirname "$BASH_SOURCE"`
    kubectl create configmap "conf-d" --from-file="$DIR/conf-d/" --namespace=mysql

输入mysql初始密码文件

vim 41secret.sh
    #!/bin/bash
    echo -n Please enter mysql root password for upload to k8s secret:
    read -s rootpw
    echo
    kubectl create secret generic mysql-secret --namespace=mysql --from-literal=rootpw=$rootpw

部署有状态集群文件

vim 50mariadb.yml
    apiVersion: apps/v1beta1
    kind: StatefulSet
    metadata:
      name: mariadb
      namespace: mysql
    spec:
      serviceName: "mariadb"
      replicas: 1		#这里是要启动的节点的数量
      template:
    	metadata:
    	  labels:
    		app: mariadb
    	spec:
    	  terminationGracePeriodSeconds: 10
    	  containers:
    		- name: mariadb
    		  image: mariadb:10.1.22	#这里修改使用的镜像文件
    		  ports:
    			- containerPort: 3306
    			  name: mysql
    			- containerPort: 4444
    			  name: sst
    			- containerPort: 4567
    			  name: replication
    			- containerPort: 4567
    			  protocol: UDP
    			  name: replicationudp
    			- containerPort: 4568
    			  name: ist
    		  env:
    			- name: MYSQL_ROOT_PASSWORD
    			  valueFrom:
    				secretKeyRef:
    				  name: mysql-secret
    				  key: rootpw
    			- name: MYSQL_INITDB_SKIP_TZINFO
    			  value: "yes"
    		  args:
    			- --character-set-server=utf8mb4
    			- --collation-server=utf8mb4_unicode_ci
    			# Remove after first replicas=1 create
    			- --wsrep-new-cluster	#这里在执行的时候代表会创建新集群，新增节点的时候要注释掉
    		  volumeMounts:
    			- name: mysql
    			  mountPath: /var/lib/mysql
    			- name: conf
    			  mountPath: /etc/mysql/conf.d
    			- name: initdb
    			  mountPath: /docker-entrypoint-initdb.d
    	  volumes:
    		- name: conf
    		  configMap:
    			name: conf-d
    		- name: initdb
    		  emptyDir: {}
      volumeClaimTemplates:
      - metadata:
    	  name: mysql
    	spec:
    	  accessModes: [ "ReadWriteOnce" ]
    	  resources:
    		requests:
    		  storage: 10Gi

调整集群节点到3个的文件

vim 70unbootstrap.sh
    #!/bin/bash
    DIR=`dirname "$BASH_SOURCE"`
    set -e
    set -x
    cp "$DIR/50mariadb.yml" "$DIR/50mariadb.yml.unbootstrap.yml"
    sed -i 's/replicas: 1/replicas: 3/' "$DIR/50mariadb.yml.unbootstrap.yml"
    sed -i 's/- --wsrep-new-cluster/#- --wsrep-new-cluster/' "$DIR/50mariadb.yml.unbootstrap.yml"
    kubectl apply -f "$DIR/50mariadb.yml.unbootstrap.yml"
    rm "$DIR/50mariadb.yml.unbootstrap.yml"

创建目录

mkdir -pv bootstrap conf-d

创建pv脚本

vim bootstrap/pv.sh
    #!/bin/bash
    echo "Note that in for example GKE a PetSet will have PersistentVolume(s) and PersistentVolumeClaim(s) created for it automatically"
    dir="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && cd .. && pwd )"
    path="$dir/data"
    echo "Please enter a path where to store data during local testing: ($path)"
    read newpath
    [ -n "$newpath" ] && path=$newpath
    cat bootstrap/pv-template.yml | sed "s|/tmp/k8s-data|$path|" | kubectl create -f -

创建挂载pv文件

vim bootstrap/pv-template.yml
    ---
    apiVersion: v1
    kind: PersistentVolume
    metadata:
      name: datadir-mariadb-0
      labels:				#这里的标签要和pvc的matchLabels对应
    	app: mariadb
    	podindex: "0"
    spec:
      accessModes:
      - ReadWriteOnce		#这里是pv的访问模式，必须要与pvc相同
      capacity:
    	storage: 10Gi		#这里是要创建的pv的大小
      hostPath:
    	path: /mysql_data/datadir-mariadb-0		#这里为挂载到本地的路径
    ---
    apiVersion: v1
    kind: PersistentVolume
    metadata:
      name: datadir-mariadb-1
      labels:
    	app: mariadb
    	podindex: "1"
    spec:
      accessModes:
      - ReadWriteOnce
      capacity:
    	storage: 10Gi
      hostPath:
    	path: /mysql_data/datadir-mariadb-1
    ---
    apiVersion: v1
    kind: PersistentVolume
    metadata:
      name: datadir-mariadb-2
      labels:
    	app: mariadb
    	podindex: "2"
    spec:
      accessModes:
      - ReadWriteOnce
      capacity:
    	storage: 10Gi
      hostPath:
    	path: /mysql_data/datadir-mariadb-2

删除pv脚本

vim bootstrap/rm.sh
    #!/bin/bash
    echo "Note that in for example GKE a PetSet will have PersistentVolume(s) and PersistentVolumeClaim(s) created for it automatically"
    dir="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && cd .. && pwd )"
    path="$dir/data"
    echo "Please enter a path where to store data during local testing: ($path)"
    read newpath
    [ -n "$newpath" ] && path=$newpath
    cat bootstrap/pv-template.yml | sed "s|/tmp/k8s-data|$path|" | kubectl delete -f -

集群同步galera的配置文件

vim conf-d/galera.cnf
    [server]
    [mysqld]
    [galera]
    wsrep_on=ON
    wsrep_provider="/usr/lib/galera/libgalera_smm.so"
    wsrep_cluster_address="gcomm://mariadb-0.mariadb,mariadb-1.mariadb,mariadb-2.mariadb"
    binlog_format=ROW
    default_storage_engine=InnoDB
    innodb_autoinc_lock_mode=2
    wsrep-sst-method=rsync
    bind-address=0.0.0.0
    [embedded]
    [mariadb]
    [mariadb-10.1]

# 三、在kubernetes上部署mariadb集群 #

kubernetes所有节点执行

docker pull mariadb:10.1.22

主节点执行

cd /opt/kubernetes-mysql-cluster
    sh bootstrap/pv.sh
    kubectl create -f 00namespace.yml
    kubectl create -f 10pvc.yml
    ./40configmap.sh
    ./41secret.sh
    设置数据库root密码为abcd1234
    kubectl create -f 20mariadb-service.yml
    kubectl create -f 30mysql-service.yml
    kubectl create -f 50mariadb.yml

# 四、增加集群节点至3个 #

./70unbootstrap.sh

# 五、清理kubernetes上的mysql集群 #

主节点上执行

cd /opt/kubernetes-mysql-cluster
    kubectl delete -f ./
    sh bootstrap/rm.sh

所有节点执行

rm -rf /mysql_data/datadir-mariadb-0/*
    rm -rf /mysql_data/datadir-mariadb-1/*
    rm -rf /mysql_data/datadir-mariadb-2/*

转载于:https://blog.51cto.com/5165807/2376043