Kubernetes 数据库 Etcd 日常运维及技巧

刺骨的言语ヽ痛彻心扉 2022-12-08 06:32 265阅读 0赞

## 微信公众号搜索 DevOps和k8s全栈技术 ，或者扫描文章最后的二维码，即可关注公众号，每天会分享技术文章供大家阅读参考哈~ ##

## 正文 ##

etcd 是基于 raft算法的分布式键值数据库，生来就为集群化而设计的，由于Raft算法在做决策时需要超半数节点的投票，所以etcd集群一般推荐奇数节点，如3、5或者7个节点构成一个集群。

以上是etcd集群部署的共识，但是还需要注意以下问题：

### **一、Etcd选主过程** ###

etcd 是高可用的，允许部分机器故障，以标准的3 节点etcd 集群，容忍1台机器宕机，下面以最简单的leader宕机来演示raft 的投票逻辑，以实际的运行日志来验证并理解。更多的场景可以看之前的原理解析

场景：正常运行的三台etcd：100、101、102。当前任期为 7，leader 为 101机器。使101 宕机

宕机前：101 为 leader，3 个 member

![format_png][]

宕机后：102 成为新 leader，2 个 member

![format_png 1][]

**选举过程：**

将 101 机器的 etcd 停止，此时只剩 2 台，但总数为 3。

1、101停止etcd 的运行

2、102(91d63231b87fadda) 收到消息，发现101(8a4bb0af2f19bd46)心跳超时，于是发起了新一轮选举，任期为 7+1=8

91d63231b87fadda [term 7] received MsgTimeoutNow from 8a4bb0af2f19bd46 and starts an election to get leadership.

3、102(91d63231b87fadda)成为新一任的候选人，然后自己投给了自己，获得 1 票；

91d63231b87fadda became candidate at term 8
    91d63231b87fadda received MsgVoteResp from 91d63231b87fadda at term 8

4、102(91d63231b87fadda)发送给 挂掉的101 和 另一个100，希望他们也投给自己；

91d63231b87fadda [logterm: 7, index: 4340153] sent MsgVote request to 8a4bb0af2f19bd46 at term 8
    
    
    91d63231b87fadda [logterm: 7, index: 4340153] sent MsgVote request to 9feab580a25dd270 at term 8

5、102 肯定收不到 101 的回应，因为 101 已经挂掉；

etcd[24203]: lost the TCP streaming connection with peer 8a4bb0af2f19bd46 (stream MsgApp v2 reader)

6、100 (9feab580a25dd270)收到了 102 的拉票消息，因为任期 8 大于当前100机器所处的 7，于是知道是发起了新的一轮选举，因此回应 101，我给你投票。这里任期term是关键，也就是说，100 和 102 谁先感受到 101 宕机，发起投票，谁就是新的 leader，这个也和进程初始的启动时间有关。

9feab580a25dd270 [term: 7] received a MsgVote message with higher term from 91d63231b87fadda [term: 8]
    
    
    9feab580a25dd270 became follower at term 8
    
    
    9feab580a25dd270 [logterm: 7, index: 4340153, vote: 0] cast MsgVote for 91d63231b8
    
    
    9feab580a25dd270 elected leader 91d63231b87fadda at term 8

7、102 获得了 2 票，一票是自己，一票是 100，超过半数，成为新的 leader。任期为 8；

91d63231b87fadda elected leader 91d63231b87fadda at term 8

*  更换完成。

### **二、Etcd集群必须是奇数节点吗？** ###

etcd官方推荐3、5、7个节点，虽然raft算法也是半数以上投票才能有 leader，但奇数只是推荐，其实偶数也是可以的。如 2、4、8个节点。分情况说明：

*  1 个节点：就是单实例，没有集群概念，不做讨论；
 *  2 个节点：是集群，但没人会这么配，这里说点废话：双节点的etcd能启动，启动时也能有主，可以正常提供服务，但是一台挂掉之后，就选不出主了，因为他只能拿到1票，剩下的那台也无法提供服务，也就是双节点无容错能力，不要使用。

2节点正常运行：  
![format_png 2][]

1台宕机后：  
![format_png 3][]

*  3 节点：标准的3 节点etcd 集群只能容忍1台机器宕机，挂掉 1 台的逻辑上边已经演示过，如果再挂 1 台，就和 2节点的情形一致了，一直选，一直增加任期，但就是选不出来，服务也就不可用了；
 *  4 节点：最大容忍1 台
 *  5 节点：最大容忍 2 台
 *  6 节点：最大容忍 2 台

![format_png 4][]

你会发现偶数节点虽然多了一台机器，但是容错能力是一样的，也就是说，你可以设置偶数节点，但没增加什么能力，还浪费了一台机器。同时etcd 是通过复制数据给所有节点来达到一致性，因此偶数的多一台机器增加不了性能，反而会拉低写入速度。

### 三、Etcd集群机器越多越好吗？ ###

etcd 集群是一个 Raft Group，没有 shared。所以它的极限有两部分，一是单机的容量限制，内存和磁盘；二是网络开销，每次 Raft 操作需要所有节点参与，每一次写操作需要集群中大多数节点将日志落盘成功后，Leader 节点才能修改内部状态机，并将结果返回给客户端。因此节点越多性能越低，所以扩展很多 etcd 节点是没有意义的，一般是 3、5、7， 7 个也足够了。

在 k8s 中一般是3\*master机器做高可用，也就是 3节点的 etcd。也有人将 etcd独立于 k8s集群之外，来更好地扩展 etcd 集群，或者根据 k8s 的资源来拆分 etcd，如 events 放在单独的 etcd 集群中。不同的副本数视业务规模而定，3，5，7 都可以。

### 四、Etcd有脑裂问题吗？ ###

集群化的软件总会提到脑裂问题，如ElasticSearch、Zookeeper集群，脑裂就是同一个集群中的不同节点，对于集群的状态有了不一样的理解。

etcd 中有没有脑裂问题？答案是：没有

The majority side becomes the available cluster and the minority side is unavailable; there is no “split-brain” in etcd.

以网络分区导致脑裂为例，一开始有5个节点, Node 5 为 Leader。

![format_png 5][]

由于出现网络故障，124 成为一个分区，35 成为一个分区， Node 5 的 leader 任期还没结束的一段时间内，仍然认为自己是当前leader，但是此时另外一边的分区，因为124无法连接 5，于是选出了新的leader 1，网络分区形成。

![format_png 6][]

35分区是否可用？如果写入了1而读取了 5，是否会读取旧数据(stale read)?

答：35分区属于少数派，被认为是异常节点，无法执行写操作。写入 1 的可以成功，并在网络分区恢复后，35 因为任期旧，会自动成为 follower，异常期间的新数据也会从 1 同步给 35。

而 5 的读请求也会失败，etcd 通过ReadIndex、Lease read保证线性一致读，即节点5在处理读请求时，首先需要与集群多数节点确认自己依然是Leader并查询 commit index，5做不到多数节点确认，因此读失败。

因此 etcd 不存在脑裂问题。线性一致读的内容下面会提到。

### 五、Etcd是强一致性吗？ ###

是强一致性，读和写都可以保证线性一致，关于一致性的分析可以看 这篇文章

#### 线性一致读 ####

线性一致性读需要在所有节点走一遍确认，查询速度会有所降低，要开启线性一致性读，在不同的 client是有所区别的:

*  v2 版本：通过 sdk访问时，quorum=true 的时候读取是线性一致的，通过etcdctl访问时，该参数默认为true。
 *  v3 版本：通过 sdk访问时，WithSerializable=true 的时候读取是线性一致的，通过etcdctl访问时consistency=“l”表示线性（默认为 l，非线性为 s）

为了保证线性一致性读，早期的 etcd（\_etcd v3.0 \_）对所有的读写请求都会走一遍 Raft 协议来满足强一致性。然而通常在现实使用中，读请求占了 etcd 所有请求中的绝大部分，如果每次读请求都要走一遍 raft 协议落盘，etcd 性能将非常差。

因此在 etcd v3.1 版本中优化了读请求（PR\#6275），使用的方法满足一个简单的策略：每次读操作时记录此时集群的 commit index，当状态机的 apply index 大于或者等于 commit index 时即可返回数据。由于此时状态机已经把读请求所要读的 commit index 对应的日志进行了 apply 操作，符合线性一致读的要求，便可返回此时读到的结果。

## 六、Etcd集群部署 ##

简单介绍下 etcd 的安装过程。下载 etcd3.4 的 release 包。

### 1、生成证书 ###

1.1 ca-config.json

创建用来生成 CA 文件的 JSON 配置文件，这个文件后面会被各种组件使用，包括了证书过期时间的配置，expiry字段：

{
      "signing": {
        "default": {
          "expiry": "87600h"
        },
        "profiles": {
          "demo": {
            "usages": [
                "signing",
                "key encipherment",
                "server auth",
                "client auth"
            ],
            "expiry": "87600h"
          }
        }
      }
    }

1.2 ca-csr.json

创建用来生成 CA 证书签名请求（CSR）的 JSON 配置文件：

{
      "CN": "demo",
      "key": {
        "algo": "rsa",
        "size": 2048
      },
      "names": [
        {
          "C": "CN",
          "ST": "BeiJing",
          "L": "BeiJing",
          "O": "demo",
          "OU": "cloudnative"
        }
      ]
    }

1.3 生成基础 ca 证书

cfssl gencert -initca ca-csr.json | cfssljson -bare ca

执行后会生成三个文件：

*  ca.csr：证书签名请求，一般用于提供给证书颁发机构，自签就不需要了
 *  ca.pem：证书，公共证书
 *  ca-key.pem：CA密钥

1.4 生成 etcd 证书

增加etcd-csr.json文件，ip 需要填写三台 etcd 机器的 ip：

{
        "CN": "demo",
        "hosts": [
            "127.0.0.1",
            "ip1","ip2","ip3"
        ],
        "key": {
            "algo": "rsa",
            "size": 2048
        },
        "names": [
            {
                "C": "CN",
                "ST": "BeiJing",
                "L": "BeiJing",
                "O": "demo",
                "OU": "cloudnative"
            }
        ]
    }

这里的hosts字段中指定了授权使用该证书的IP和域名列表，因为现在要生成的证书需要被etcd集群各个节点使用，所以这里指定了各个节点的IP。

生成证书:

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=jpaas etcd-csr.json | cfssljson -bare etcd

创建etcd 的 CA 证书：这里需要4 个文件

*  etcd-csr.json：etcd的证书配置
 *  ca.pem：基础公钥
 *  ca-key.pem：基础私钥
 *  ca-config.json：配置文件，如过期时间

执行后会生成三个文件：

*  etcd.csr
 *  etcd.pem
 *  etcd-key.pem

在一台机器上做证书生成，生成后将这三个文件拷贝到其他几台机器。

### 2、部署集群 ###

etcd 启动配置示例：

./etcd \
    --name=etcd-0 \
    --client-cert-auth=true \
    --cert-file=/etc/etcd/ssl/etcd.pem \
    --key-file=/etc/etcd/ssl/etcd-key.pem \
    --peer-cert-file=/etc/etcd/ssl/etcd.pem \
    --peer-key-file=/etc/etcd/ssl/etcd-key.pem \
    --trusted-ca-file=/etc/etcd/ssl/ca.pem \
    --peer-trusted-ca-file=/etc/etcd/ssl/ca.pem \
    --initial-advertise-peer-urls https://100.0.0.0:2380 \
    --listen-peer-urls https://100.0.0.0:2380 \
    --listen-client-urls https://100.0.0.0:2379,https://127.0.0.1:2379 \
    --advertise-client-urls https://100.0.0.0:2379 \
    --initial-cluster-token etcd-cluster \
    --initial-cluster etcd-0=https://100.0.0.0:2380,etcd-1=https://100.0.0.1:2380,etcd-2=https://100.0.0.2:2380 \
    --initial-cluster-state new \
    --quota-backend-bytes=8589934592 \
    --auto-compaction-retention=10 \
    --enable-pprof=true \
    --data-dir=/var/lib/etcd

## 3、etcdctl命令 ##

因为etcd配置了证书，所以所有的命令都要带上证书访问，如：

ETCDCTL_API=3 ./etcdctl --endpoints=https://0:2379,https://1:2379,https://2:2379 --cacert /etc/etcd/ssl/ca.pem --cert /etc/etcd/ssl/etcd.pem --key /etc/etcd/ssl/etcd-key.pem endpoint status --write-out=table

*  version: 查看版本
 *  member list: 查看节点
 *  endpoint status: 节点状态，leader 情况
 *  endpoint health: 健康状态与耗时
 *  set app demo: 写入
 *  get app: 获取
 *  update app demo1:更新
 *  rm app: 删除
 *  mkdir demo 创建文件夹
 *  rmdir dir 删除文件夹
 *  backup 备份
 *  watch key 监测 key 变化
 *  get / –prefix –keys-only: 查看所有 key

**- END -**

往期精彩文章

[kubernetes全栈技术+企业案例演示【带你快速掌握和使用k8s】][kubernetes_k8s]

[突破运维和开发瓶颈、Python、k8s、DevOps转型一网打尽！][Python_k8s_DevOps]

[python运维开发实战-基础篇  
][python_-_]

[python运维和开发实战-高级篇][python_-]

[python运维和开发实战-安装和创建Django项目][python_-_Django]

[谈谈我的IT发展之路][IT]

[Prometheus+Grafana+Alertmanager搭建全方位的监控告警系统-超详细文档][Prometheus_Grafana_Alertmanager_-]

[k8s1.18多master节点高可用集群安装-超详细中文官方文档][k8s1.18_master_-]

[linux面试题汇总][linux]

[python运维和开发实战-安装和创建Django项目][python_-_Django]

[Docker公司禁止被列入美国"实体名单"的国家、企业使用][Docker]

[Jenkis pipeline构建项目实践-编写podTemplate实现和k8s对接][Jenkis pipeline_-_podTemplate_k8s]

[安装kubernetes集群-灵活安装k8s各个版本高可用集群][kubernetes_-_k8s]

[Kubernetes v1.19 正式发布  
][Kubernetes v1.19 _]

[高效的Nginx负载均衡器][Nginx]

[5个维度对 Kubernetes 集群优化][5_ Kubernetes]

[什么是架构师？][Link 1]

[QPS、TPS、并发用户数、吞吐量关系][QPS_TPS]

[kubernetes面试题汇总][kubernetes]

[DevOps视频和资料免费领取][DevOps]

[kubernetes技术分享-可用于企业内部培训][kubernetes_-]

[谈谈我的IT发展之路][IT]

[kubernetes系列文章第一篇-k8s基本介绍][kubernetes_-k8s]

[kubernetes系列文章第二篇-kubectl][kubernetes_-kubectl]

[了解pod和pod的生命周期-这一篇文章就够了  
][pod_pod_-_]

[Kubernetes中部署MySQL高可用集群][Kubernetes_MySQL]

[k8s中蓝绿部署、金丝雀发布、滚动更新汇总][k8s]

[运维常见问题汇总-tomcat篇][-tomcat]

[关于linux内核参数的调优，你需要知道][linux 1]

[kubernetes挂载ceph rbd和cephfs][kubernetes_ceph rbd_cephfs]

[报警神器Alertmanager发送报警到多个渠道][Alertmanager]

[jenkins+kubernetes+harbor+gitlab构建企业级devops平台][jenkins_kubernetes_harbor_gitlab_devops]

[kubernetes网络插件-flannel篇][kubernetes_-flannel]

[kubernetes网络插件-calico篇][kubernetes_-calico]

[kubernetes认证、授权、准入控制][kubernetes 1]

[限制不同的用户操作k8s资源][k8s 1]

[面试真题&技术资料免费领取-覆盖面超全~][-]

[Prometheus监控MySQL][Prometheus_MySQL]

[Prometheus监控Nginx][Prometheus_Nginx]

[Prometheus监控Tomcat][Prometheus_Tomcat]

[linux面试题汇总][linux]

[测试通过storageclass动态生成pv][storageclass_pv]

[通过编写k8s的资源清单yaml文件部署gitlab服务][k8s_yaml_gitlab]

[helm安装和使用-通过helm部署k8s应用][helm_-_helm_k8s]

[k8s基于Ingress-nginx实现灰度发布][k8s_Ingress-nginx]

[k8s的Pod安全策略][k8s_Pod]

[Prometheus Operator-上篇-安装和使用篇][Prometheus Operator-_-]

[Prometheus Operator-下篇  
][Prometheus Operator-_]

[通过kubeconfig登陆k8s的dashboard ui界面][kubeconfig_k8s_dashboard ui]

[通过token令牌登陆k8s dashboard ui界面][token_k8s dashboard ui]

[kubernetes集群的etcd数据库详细介绍][kubernetes_etcd]

[Linux网络流量监控工具][Linux]

[kubernetes搭建EFK日志管理系统][kubernetes_EFK]

[prometheus operator监控k8s集群之外的haproxy组件][prometheus operator_k8s_haproxy]

[kubernetes ConfigMap存储卷][kubernetes ConfigMap]

[Python采集linux服务器数据在Django Web界面展示][Python_linux_Django Web]

[基于Kubernetes的GPU类型调度实现][Kubernetes_GPU]

[容器日志管理的最佳实践][Link 2]

## 技术交流 ##

学无止境，了解更多关于kubernetes/docker/devops/openstack/openshift/linux/IaaS/PaaS相关内容，想要获取更多资料和免费视频，可按如下方式进入技术交流群

![format_png 7][]

**微信：**luckylucky421302

按如下指纹可关注

![format_png 8][]

> 作者：徐亚松
> 
> 地址：http://www.xuyasong.com/?p=1983

[format_png]: /images/20221123/57a88c41ad4e4f6f958c5b81514c23a5.png
[format_png 1]: /images/20221123/9b1068b40c9740f59ab7f1dbc05ea0ce.png
[format_png 2]: /images/20221123/9f4bfc542ac9442087ae3ed983c89299.png
[format_png 3]: /images/20221123/c7af6967e25e4431bccf9fab9eb937b5.png
[format_png 4]: /images/20221123/37937980887f465da68278bbf3f7b17b.png
[format_png 5]: /images/20221123/af49e9c7b6ca408aa290b13856ddbed1.png
[format_png 6]: /images/20221123/494a26ce9d054687828b64b70fdce67e.png
[kubernetes_k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638a31cc14032772d778f1a8fa5dc73f9aba6c99546c9ab25d9f91f706be3cff34572f0c1a&idx=1&mid=2247484708&scene=21&sn=2a7230ade0ce0bd9059e92752e03ba18#wechat_redirect
[Python_k8s_DevOps]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638455cc140d43dd091b09efc0c744b82f32d905c78ce9be71aae8c6d324d625f110fa1093&idx=1&mid=2247486272&scene=21&sn=e993bc259db899b79922863859d24bb2#wechat_redirect
[python_-_]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63855acc140c4cf0346cc3433bc874e7cd37a5b17cf5254147a1b20b538cf70158f2234b0f&idx=1&mid=2247486031&scene=21&sn=58003addbf36f2858f7d0dfbf887bb2a#wechat_redirect
[python_-]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6385eccc140cfa90bef6759c768c94ac2ca904c827fb2dcd969858ba46b818145e76e09c62&idx=1&mid=2247486201&scene=21&sn=0d45a2660a7480d73cf72ba67fe52f3a#wechat_redirect
[python_-_Django]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638417cc140d011a058d7cf83795bf75cfc327acbb3727c968058ff2807874a26f87843080&idx=1&mid=2247486210&scene=21&sn=078e172a34c22e5db1f57b17c21b2efe#wechat_redirect
[IT]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c29cc14053fafcb62be244f5a279052b8d159c9c530e73495cfd8ab97205988780d4aaa&idx=1&mid=2247484220&scene=21&sn=72ae437836108fbecbeb86752aad888c#wechat_redirect
[Prometheus_Grafana_Alertmanager_-]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638b08cc14021e5e025f2f0b89d18ec5ef19f9dec4429a56f356e8b596d01095e313dab3e3&idx=1&mid=2247484445&scene=21&sn=bf8928e7aae815b8e7f9ac56a67289ce#wechat_redirect
[k8s1.18_master_-]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c7dcc14056b9f0261e05e4d36a057c4511fb5806222f71b7965c3573fed86672b2c93b7&idx=1&mid=2247484264&scene=21&sn=4d74de0cb117c07ba7c73ea21c42bf94#wechat_redirect
[linux]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c0dede5f49c878898e04329f08d8adf554397476283aaa3f2554f71a8bf20986755fbcc9&idx=1&mid=2247483668&scene=21&sn=a7d0768b7eb034ef2e2f23e25b1b1845#wechat_redirect
[Docker]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63841ecc140d08e72aa244da69b776d4470aac79f3d03610c5fec827ac24a2048178204bf0&idx=1&mid=2247486219&scene=21&sn=31fe60b84f327ac1cc24bdb98ccba6a6#wechat_redirect
[Jenkis pipeline_-_podTemplate_k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638472cc140d64ef12e6fff56dfa0aea54e016940494de9293f6727a8a39e61c427e206c35&idx=1&mid=2247486311&scene=21&sn=eb4be92fc95162e7a4d44c08521c7631#wechat_redirect
[kubernetes_-_k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6384b8cc140dae0e6efba75100e29549cc440a010a5c7976bdd313e9c6139569b197e20a8f&idx=1&mid=2247486381&scene=21&sn=f07ae730cdc3ca2442462e0c7f2caed1#wechat_redirect
[Kubernetes v1.19 _]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6384a2cc140db49957616305e55d7abb842f0a46aa7344b1d1801acfba73adbb0b389a8200&idx=1&mid=2247486391&scene=21&sn=692b1e9d5df3afe2ea639ae969c5e091#wechat_redirect
[Nginx]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6383bccc140aaa8e044e9b56c8cd5ca63c1470b7d88625b8d6d8c1828f16a42f7c61e9e6c9&idx=1&mid=2247486633&scene=21&sn=317a4a096e4a17491d8b5fa1eeb5d7d2#wechat_redirect
[5_ Kubernetes]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6383aecc140ab8050df002d52f6063e85ad2777f4ec0941c9d40ea49c50c11f23542f43dfc&idx=1&mid=2247486651&scene=21&sn=2fe1be9d4a335077757c46a36cb1aea2#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6383decc140ac88ab1c9da0818ba89b627a96fb5a097a3ec10165c4b41e7f43f6ac562d063&idx=1&mid=2247486667&scene=21&sn=4996d3c4b5653a757256587597709c3d#wechat_redirect
[QPS_TPS]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6383d7cc140ac1dc83e4076b5677ea33f6686129dc9154034a41a37f14be2372e89caf3b87&idx=1&mid=2247486658&scene=21&sn=ce78d0e98a572089326043db7e25af9b#wechat_redirect
[kubernetes]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638b9ccc14028a3220533e5e05f81b5b434cdc14f1cb4be6771a8afdb943f7f5f940704c61&idx=1&mid=2247484553&scene=21&sn=141700cdd2e13b87d5b756f8965a30c2#wechat_redirect
[DevOps]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638b81cc140297e292675f1e8ea21d3a9f05e01e488e642bcc1113d69d06d0afbd40446c0e&idx=1&mid=2247484564&scene=21&sn=3ec4b58056aec30acf82e84cfd9daa52#wechat_redirect
[kubernetes_-]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638b4acc14025c10c5b87f75ff8e95c89c97036f1f73250a64e2a829df191c95c34ed5b8b3&idx=1&mid=2247484511&scene=21&sn=7900c5a4eac3535be97315797d42d64b#wechat_redirect
[kubernetes_-k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c42cc1405547ea583833c46878b6c120f5f39fb3746f89a8d2e515d432422b3019ded64&idx=1&mid=2247484247&scene=21&sn=c8986ed491e6c48cb6faab087fe8472c#wechat_redirect
[kubernetes_-kubectl]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638cbacc1405ac390b6c0fc7535e1cc805877a408c5f4a94a7148a47c186a57ff4f0c8ea32&idx=3&mid=2247484335&scene=21&sn=7e5ae586dae2016f6c0f5fcb60dd7317#wechat_redirect
[pod_pod_-_]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c30cc1405263cbd23e3fbe23f9ca9e83c1eb1800216a0e4e26e7c27d4234598def46bb1&idx=1&mid=2247484197&scene=21&sn=36ece95b266609bd769cf6a1fcf9d723#wechat_redirect
[Kubernetes_MySQL]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c73cc1405657ed02b3126423259cb8563c18d268fa7ffd4a516327cd35148ef61d8d762&idx=1&mid=2247484262&scene=21&sn=de970288426cdca05cf6ca0f5df4ff4c#wechat_redirect
[k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c36cc140520e6905db5923afe163d7babb5d9eb6c5e8045a795c37b33a2a2e5541e3efd&idx=1&mid=2247484195&scene=21&sn=b841f2ea305acfa2996a667d4ff4d99e#wechat_redirect
[-tomcat]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c21cc140537d10eeb8b4eb37e1451392123dd74513d704af00506c0576ba11da9907735&idx=1&mid=2247484212&scene=21&sn=923b044e9d2b4e5a612ac7c1307d166c#wechat_redirect
[linux 1]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c5ecc14054862495a8f77d58d7483c34310839ea3ed93d8b44875a1685b3412d381f23a&idx=1&mid=2247484235&scene=21&sn=12e2e80187dbf217efff6c59da778f7c#wechat_redirect
[kubernetes_ceph rbd_cephfs]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638a07cc140311e6e111b9bb89e3613c495a26b6b496fe97c838787568c72dd1bb23088520&idx=1&mid=2247484690&scene=21&sn=32deb33cef9d91518cd8dea47da073c5#wechat_redirect
[Alertmanager]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638ab7cc1403a1f6b07cbe682548595fe683f1ffdf56d2b4d31382003907a41da1e03c1408&idx=1&mid=2247484834&scene=21&sn=7f407f5a27b03b4757c8892f1b5d6234#wechat_redirect
[jenkins_kubernetes_harbor_gitlab_devops]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638d2fcc14043990967471ba8a2aaf389ab483594fd81395b5afda1c23a9eff4371df6bca4&idx=1&mid=2247483962&scene=21&sn=595eac335f7fb523bbb60cbbede109ca#wechat_redirect
[kubernetes_-flannel]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c005de5f4913b3e81d32cf98dc4f237be04b0c19e02f615650538a9aa0aabdc025604918&idx=1&mid=2247483855&scene=21&sn=26587a359cca53d129ab7e8a7fa394e0#wechat_redirect
[kubernetes_-calico]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c073de5f49658fdaed40affb1a9ea3f059e7df3cc90ae24b194a8698a7f73089d3964cab&idx=1&mid=2247483833&scene=21&sn=c00c2b69db7d06eacaf6206805d2955a#wechat_redirect
[kubernetes 1]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c05fde5f494917570591168d9e71f507c2d124312c51dfdb6cfb30eb03eb48b73a3e0d9b&idx=1&mid=2247483797&scene=21&sn=bc208ee075c41b81ffabaefe509538ba#wechat_redirect
[k8s 1]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c0b4de5f49a2eef8cc91afa81095b71eb093e94dce6eddbc7059583e819b1ac51c596ebb&idx=1&mid=2247483774&scene=21&sn=dfc3babde045fe99da9fa168cc9f0595#wechat_redirect
[-]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c0bfde5f49a9990c672e4434f5ae7b74004dc1982cc44801c524b58067d9b245e5ba5b71&idx=1&mid=2247483765&scene=21&sn=b8444e82a93535425349b509ded4e4b6#wechat_redirect
[Prometheus_MySQL]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c0aade5f49bc7df29ecb2280ab9e1a8aa905b31e36856bf8dc19b05ef60c5e7be0333b88&idx=1&mid=2247483744&scene=21&sn=1035d73f8cf39caf8534766435497590#wechat_redirect
[Prometheus_Nginx]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c095de5f4983c249b1b556fa6f8f60a0bb6991d2872079a9d5c28ce2ee17b8fc407eeb2c&idx=1&mid=2247483743&scene=21&sn=3ad15cd693685479dc7bf5dd628796d2#wechat_redirect
[Prometheus_Tomcat]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c086de5f499011eb542c6da8ead32b538c0bf06340ebe56ad439e2649e0b63efbcb4a611&idx=1&mid=2247483724&scene=21&sn=dd390f05270c6ac7a9c2b51fdc22f0ee#wechat_redirect
[storageclass_pv]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638837cc140121578456f6a5d679ae481421f2f3f1d5099bb7f2c56d00174fe61b2016061d&idx=1&mid=2247485218&scene=21&sn=ba698d444a029a2659091bfd81133697#wechat_redirect
[k8s_yaml_gitlab]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638814cc1401028c7ab321d2ac6579f5c6d2b029fadc5687874e41470bf95aa09c01c33d45&idx=1&mid=2247485185&scene=21&sn=2b5646119a008d69948c5a84d3724c95#wechat_redirect
[helm_-_helm_k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638bbbcc1402ad16d4b65b3db26cbd324c85819934077caa41969f0c9d573b71b21e2c51ff&idx=1&mid=2247484590&scene=21&sn=2c23098269c5df1e793aa47198a7b1e6#wechat_redirect
[k8s_Ingress-nginx]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6385fdcc140ceb4a5cf902d24499ce3480f91aa97e0e0c7a1fb12a466865ff2f8dedc8be0c&idx=1&mid=2247486184&scene=21&sn=cccb2bc67ca74a01be7b4f79e05f8bec#wechat_redirect
[k8s_Pod]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6385c3cc140cd57c41dcdd267f2bc0f0f6476d3a56e1fa88b23a7ad3f82799bad72cbdde93&idx=1&mid=2247486166&scene=21&sn=a40899007709d1a1f3e7b5be79ed6e49#wechat_redirect
[Prometheus Operator-_-]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638626cc140f30c8d35e45239e6b559f7369b8c58bacd157a24e7b62313c826baec75f299f&idx=2&mid=2247485747&scene=21&sn=3da14a91d75f745b26c3aa8d10361d23#wechat_redirect
[Prometheus Operator-_]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63865bcc140f4d8966d1c3745c8f69c6384337c43a1a8eda6e1ae488bd78f08e44c9553b19&idx=1&mid=2247485774&scene=21&sn=1b0301dadc4b737e19b1066219813db7#wechat_redirect
[kubeconfig_k8s_dashboard ui]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638679cc140f6f4e024f2e7739b995fc235b6f4e97983a583bc9c7e82da88cf0fbf8736fe7&idx=1&mid=2247485804&scene=21&sn=c157f0596f130bd97ec745b278546c50#wechat_redirect
[token_k8s dashboard ui]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638687cc140f918f04ca60ed188da26cd3ab37a79e6fdbf64531efd11ae60dac0a77788f7c&idx=2&mid=2247485842&scene=21&sn=163174142218e8dca3bb9a94ed173694#wechat_redirect
[kubernetes_etcd]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63853bcc140c2d4c4da1b59a4865c193383392d92075cee80530866892d8a2a365e2b4e565&idx=1&mid=2247485998&scene=21&sn=9889882d1820ac005e5512eccb67c0f1#wechat_redirect
[Linux]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638538cc140c2e581b8c673a9c529359042a2262ec112f8c3476c7408f25e04856f0b37bbd&idx=2&mid=2247485997&scene=21&sn=ac694beaf60cbf18d133eb6ebbc7a345#wechat_redirect
[kubernetes_EFK]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63851fcc140c09d17fe6e270524da6c3ec3c5f3969f6f4f61a54c54724168801d93b2cda9d&idx=1&mid=2247485962&scene=21&sn=87dfde054f2ff489a1ffd28dfe02a435#wechat_redirect
[prometheus operator_k8s_haproxy]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6386f0cc140fe6dea923cb07c2164db1c894c87d8c85d828aa269cdf4ae2d92eeb201adb67&idx=1&mid=2247485925&scene=21&sn=5ae9bc969963775e347c3a1f279d541c#wechat_redirect
[kubernetes ConfigMap]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63853acc140c2ca1dc3ca813b133ca7158c34df5cfe59cebf7621851ead91490eaabc74a1b&idx=1&mid=2247485999&scene=21&sn=f6b03745426149e498a8c7065b060e24#wechat_redirect
[Python_linux_Django Web]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6383e6cc140af0af9c2a453a58136f4388d9ba5c919adac3dee007ba407a8b28828928f37e&idx=1&mid=2247486707&scene=21&sn=d5ce76030b250c465e273708ace5792f#wechat_redirect
[Kubernetes_GPU]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6383c6cc140ad0da77716ce494f5e22c64d7702476fc2da4cfe1e020dd7f1740b720a43112&idx=1&mid=2247486675&scene=21&sn=6068f91ac5c527db28b98ebd0faf8bff#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638219cc140b0fbcd0337952428804a328eff8e65bbe32804ba81793ee54c7224f04ddfaab&idx=1&mid=2247486732&scene=21&sn=05d84ed332ea0750cd7e2f9fa342ec85#wechat_redirect
[format_png 7]: /images/20221123/5088bf9e74f04ab18241437532576c41.png
[format_png 8]: /images/20221123/5d8393b7d0f44f50ac876b38ade8c532.png