实战操作-ETCD备份和还原

叁歲伎倆 2022-09-04 03:49 290阅读 0赞

# 2-实战操作-ETCD备份和还原 #

接上一篇： 《[实战操作-介绍 ETCD 部署两种形式][-_ ETCD]》

保障线上业务持续稳定运行。有备份才有恢复的可能，所以建议平时注意备份，可以使用shell脚本加 crontab 对 etcd 数据目录进行备份。当集群节点都不可用时，我们可以通过备份来进行恢复操作。

# 1. ETCD备份 #

## 1.1 二进制部署版 ##

假设二进制安装，可以利用主机 crontab 进行备份。

参考脚本

#mkdir -p /data/etcd-backup
    #vim etcd_bk.sh
    #!/bin/bash
    # etcd 备份脚本
    BACKUP_DIR="/data/etcd-backup"
    export ETCDCTL_API=3
    etcdctl --endpoints="https://127.0.0.1:2379" \
    --cert=/etc/etcd/cert/etcd.pem \
    --key=/etc/etcd/cert/etcd-key.pem \
    --cacert=/etc/kubernetes/cert/ca.pem snapshot save $BACKUP_DIR/`hostname`-etcd_`date +%Y%m%d%H%M`.db
    if [ -d $BACKUP_DIR ]; then
    cd ${BACKUP_DIR} && find . -mtime +30 |xargs rm -f {} \;
    fi

在etcd 集群节点中，设置 crontab

0 3 * * * /etc/etcd/etcd_bk.sh & >> /etc/etcd/etcd_bk.log

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70][]

## 1.2 容器部署版 ##

假设容器化安装，可以利用 k8s 的 CronJob 任务完成。

\#创建证书配置文件

#kubectl create secret generic etcd-certs --from-file=/etc/kubernetes/cert/ca.pem --from-file=/etc/etcd/cert/etcd-key.pem --from-file=/etc/etcd/cert/etcd.pem

\#vim etcd-cronjob.yaml

apiVersion: batch/v1beta1
    kind: CronJob
    metadata:
      name: etcd-snapshot
    spec:
      schedule: "0 3 * * *"
      concurrencyPolicy: Allow
      failedJobsHistoryLimit: 3
      successfulJobsHistoryLimit: 3
      jobTemplate:
        spec:
          template:
            spec:
              containers:
                - name: etcd-snapshot
                   imagePullPolicy: IfNotPresent
                   image: registry.aliyuncs.com/google_containers/etcd:3.3.15
                   env:
                   - name: ENDPOINTS
                      value: "https://<etcd-1-IP>:2379,https://<etcd-2-IP>:2379,https://<etcd-3-IP>:2379"
                command:
                  - /bin/bash
                  - -c
                  - |
                    set -ex
                    ETCDCTL_API=3 /opt/etcd/etcdctl \
                        --endpoints=$ENDPOINTS \
                        --cert=/certs/server.crt \
                        --cacert=/certs/ca.crt \
                        --key=/certs/server.key \
                       snapshot save /data/backup/snapshot-$(date +"%Y%m%d%H%M").db
               volumeMounts:
                 - name: etcd-backup
                    mountPath: /data/backup
                  - name: etcd-certs
                    mountPath: /certs
              restartPolicy: OnFailure
              volumes:
                - name: etcd-backup
               persistentVolumeClaim:
                 claimName: etcd-pvc
               - name: etcd-certs
                 secret:
                   secretName: etcd-certs

上述使用的 pv 和 pvc 需要提前创建，可以正常使用。

#kubectl apply -f etcd-cronjob.yaml

![20210810194326703.png][]

![20210810194337509.png][]

CronJob完成后，查看 pv 存储是否正确保存备份文件。

![20210810194347840.png][]

# 2. 数据还原 #

Kubernetes 使用高可用架构， etcd 集群三台节点最多允许一台同时出现故障。极端情况下，仍有可能需要通过备份恢复数据。

应当注意生产环境下，恢复数据操作也需谨慎。尤其涉及覆盖操作，需要注意操作前的备份。

进行上述备份后，假设 etcd 集群需要恢复备份数据，并通过使用备份文件进行数据恢复。

#etcdctl --endpoints="https://127.0.0.1:2379" --cert=/etc/etcd/cert/etcd.pem --key=/etc/etcd/cert/etcd-key.pem --cacert=/etc/kubernetes/cert/ca.pem put /test/v1 ok

![20210810194417176.png][]

插入一条数据测试。

\#删除 etcd 数据

![20210810194425916.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70 1][]

此时，etcd 因数据异常。服务已经出错。

## 2.1 **恢复操作一** ##

\#停止etcd1 服务

#systemctl  stop etcd

\#在 etcd1 节点执行

#ETCDCTL_API=3 etcdctl --name=etcd1 --endpoints="https://10.16.11.180:2379" --cert=/etc/etcd/cert/etcd.pem --key=/etc/etcd/cert/etcd-key.pem --cacert=/etc/kubernetes/cert/ca.pem --initial-cluster-token=etcd-cluster-token --initial-advertise-peer-urls=https://10.16.11.180:2380 --initial-cluster=etcd1=https://10.16.11.180:2380,etcd2=https://10.16.11.182:2380,etcd3=https://10.16.11.181:2380 --data-dir=/data/k8s/etcd/data snapshot restore /tmp/etcd.db

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70 2][]

\#停止etcd2 服务

#systemctl  stop etcd

\#在 etcd2 节点执行

#ETCDCTL_API=3 etcdctl --name=etcd1 --endpoints="https://10.16.11.181:2379" --cert=/etc/etcd/cert/etcd.pem --key=/etc/etcd/cert/etcd-key.pem --cacert=/etc/kubernetes/cert/ca.pem --initial-cluster-token=etcd-cluster-token --initial-advertise-peer-urls=https://10.16.11.180:2380 --initial-cluster=etcd1=https://10.16.11.180:2380,etcd2=https://10.16.11.182:2380,etcd3=https://10.16.11.181:2380 --data-dir=/data/k8s/etcd/data snapshot restore /tmp/etcd.db

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70 3][]

\#停止etcd3 服务

#systemctl   stop etcd

\#在 etcd3 节点执行

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70 4][]

说明：

*  上述操作需要在各 etcd 节点中执行。
 *  使用Etcd API v2备份数据时，存在 v3 的数据则恢复失败。使用Etcd v3 备份数据时存在 v2 的数据则不影响恢复。
 *  Etcd V2和V3之间的数据结构完全不同，互不兼容，也就是说使用V2版本的API创建的数据只能使用V2的API访问，V3的版本的API创建的数据只能使用V3的API访问。
 *  Kubernetes 操作 etcd 使用 v3 的API。

## **2.2 恢复操作二** ##

假设集群有一台数据正常。可以直接拷贝文件：

#scp   /data/k8s/etcd/data/member/snap/db etcd-1.db

利用 etcd-1.db 执行上述 restore 操作。

说明：

*  如果使用此方法，etcdctl snapshot restore 时需要设置 —skip-hash-check=true。
 *  从数据目录复制而来，没有完整性hash，因此它只能通过使用 —skip-hash-check 来恢复。

请

加个关注不迷路……

[-_ ETCD]: https://blog.csdn.net/guofangsky/article/details/119577558?spm=1001.2014.3001.5502
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70]: /images/20220829/a711aeb732ac4fe785106970cee50667.png
[20210810194326703.png]: /images/20220829/d1af49ce1841416a99152953da428224.png
[20210810194337509.png]: /images/20220829/4fa26525f9d44e0cb4f3668890b354e6.png
[20210810194347840.png]: /images/20220829/d1651b60d536409d96eef62bc8153723.png
[20210810194417176.png]: /images/20220829/6da27cf30ab64b5aaa7859a9003e256a.png
[20210810194425916.png]: /images/20220829/3af29271f02f4f88b0c1fb7284afe463.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70 1]: /images/20220829/f5a52bc8197547fcab73e8f50cb85c13.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70 2]: /images/20220829/fcd41d1817924ed6922909b38d86c4a4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70 3]: /images/20220829/198e9f08728c4b598d9a139f15cf983e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b2Zhbmdza3k_size_16_color_FFFFFF_t_70 4]: /images/20220829/b4b8623e0dcc4b3f8a9c2857d2781909.png