用K8s实践部署可扩容缩减的项目实战

客官°小女子只卖身不卖艺 2022-12-09 11:55 34阅读 0赞

> 这边用一个清洗项目来做一个简单的部署例子，这个项目的功能是，启动一个消费rabbitmq 的项目，mq中存储的是数据队列，容器消费mq ，获取数据，进行实体识别，对数据进行清洗处理，下面分别创建4个服务，扩容和缩减

### 创建 ###

这里由于我的registry是放在阿里云上的，所以需要先添加 secret docker-registry，否则在 k8s 中 pull images 会出现 以下这种错误：

Failed to pull image "registry.cn-hangzhou.aliyuncs.com/leon0204/xxxx": rpc error: code = Unknow

解决办法如下：

kubectl create secret docker-registry cleansecret \
    --docker-server=registry.cn-hangzhou.aliyuncs.com \
    --docker-username=你的name \
    --docker-password=你的密码

查看创建的密钥  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center]

yml文件加入密钥参数

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 1]

这样就可以在 创建中 免密拉取镜像了 ～

kubectl create -f clean.yaml

容器创建中，第一次你还可能看到这样的橙色过渡，之后如果更新，或者删除重新创建，都是很快创建完成，因为第一次是从registry 拉取镜像，之后本地有镜像缓存，即使是更新也会很快创建

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 2]  
容器创建完成

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 3]

通过 rabbitmq 的 queue 页面 可以看到有4个消费者![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 4]  
去 Node 节点上查看创建的容器

Node1 节点![在这里插入图片描述][2020092214122534.png_pic_center]  
Node2 节点![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 5]  
可以看到这里 两个 Node 节点 分别启动了 2个 正在运行的 容器 和 2个 pause 容器

### k8 调整 Deployment 的副本数 ###

# 上面，我们创建了4个容器 此时有4个服务在进行清洗，如果我们想扩容到10个，怎么操作呢？
    
    [root@ecs-ca42 sc]# kubectl get pods -o wide
    NAME                         READY   STATUS    RESTARTS   AGE   IP            NODE        NOMINATED NODE
    clean-pod-6c79ccd7d5-4lcsb   1/1     Running   1          4h    10.244.7.5    k8s-node1   <none>
    clean-pod-6c79ccd7d5-pdt47   1/1     Running   0          4h    10.244.4.14   k8s-node2   <none>
    clean-pod-6c79ccd7d5-sm5z2   1/1     Running   0          4h    10.244.7.4    k8s-node1   <none>
    clean-pod-6c79ccd7d5-x7275   1/1     Running   0          4h    10.244.4.13   k8s-node2   <none>
    
    # 非常的简单，kubectl scale deployment pod-name --replicas=n
    
    [root@ecs-ca42 sc]# kubectl scale deployment clean-pod --replicas=10
    deployment.extensions/clean-pod scaled
    
    
    # 查看扩容后的 数量 
    [root@ecs-ca42 sc]# kubectl get pods -o wide
    NAME                         READY   STATUS    RESTARTS   AGE   IP            NODE        NOMINATED NODE
    clean-pod-6c79ccd7d5-2x84m   1/1     Running   0          4s    10.244.7.7    k8s-node1   <none>
    clean-pod-6c79ccd7d5-4lcsb   1/1     Running   1          4h    10.244.7.5    k8s-node1   <none>
    clean-pod-6c79ccd7d5-97db5   1/1     Running   0          4s    10.244.4.16   k8s-node2   <none>
    clean-pod-6c79ccd7d5-c4vsn   1/1     Running   0          4s    10.244.7.8    k8s-node1   <none>
    clean-pod-6c79ccd7d5-hjpxf   1/1     Running   0          4s    10.244.4.15   k8s-node2   <none>
    clean-pod-6c79ccd7d5-pdt47   1/1     Running   0          4h    10.244.4.14   k8s-node2   <none>
    clean-pod-6c79ccd7d5-pdxvc   1/1     Running   0          4s    10.244.4.17   k8s-node2   <none>
    clean-pod-6c79ccd7d5-qnshk   1/1     Running   0          4s    10.244.7.6    k8s-node1   <none>
    clean-pod-6c79ccd7d5-sm5z2   1/1     Running   0          4h    10.244.7.4    k8s-node1   <none>
    clean-pod-6c79ccd7d5-x7275   1/1     Running   0          4h    10.244.4.13   k8s-node2   <none>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 6]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 7]  
可以看到 已经扩容到 10个服务，同样的 如果想要缩减

[root@ecs-ca42 sc]# kubectl scale deployment clean-pod --replicas=5
    deployment.extensions/clean-pod scaled
    [root@ecs-ca42 sc]# kubectl get pods -o wide
    NAME                         READY   STATUS        RESTARTS   AGE   IP            NODE        NOMINATED NODE
    clean-pod-6c79ccd7d5-2x84m   1/1     Terminating   0          9m    10.244.7.7    k8s-node1   <none>
    clean-pod-6c79ccd7d5-4lcsb   1/1     Running       1          4h    10.244.7.5    k8s-node1   <none>
    clean-pod-6c79ccd7d5-97db5   1/1     Terminating   0          9m    10.244.4.16   k8s-node2   <none>
    clean-pod-6c79ccd7d5-c4vsn   1/1     Terminating   0          9m    10.244.7.8    k8s-node1   <none>
    clean-pod-6c79ccd7d5-hjpxf   1/1     Running       0          9m    10.244.4.15   k8s-node2   <none>
    clean-pod-6c79ccd7d5-pdt47   1/1     Running       0          4h    10.244.4.14   k8s-node2   <none>
    clean-pod-6c79ccd7d5-pdxvc   1/1     Terminating   0          9m    10.244.4.17   k8s-node2   <none>
    clean-pod-6c79ccd7d5-qnshk   1/1     Terminating   0          9m    10.244.7.6    k8s-node1   <none>
    clean-pod-6c79ccd7d5-sm5z2   1/1     Running       0          4h    10.244.7.4    k8s-node1   <none>
    clean-pod-6c79ccd7d5-x7275   1/1     Running       0          4h    10.244.4.13   k8s-node2   <none>

### 错误处理 ###

Failed create pod sandbox: rpc error: code = Unknown desc = failed to set up sandbox container "168640f2c2cea768f3734d6dc7858816f2bdf310c71acf31b35dfd03c367e327" network for pod "clean-pod-6c79ccd7d5-cqgzh": NetworkPlugin cni failed to set up pod "clean-pod-6c79ccd7d5-cqgzh_default" network: failed to set bridge addr: "cni0" already has an IP address different from 10.244.3.1/24
    
    # 解决办法
    #在node（非master）节点上
    kubeadm reset
    systemctl stop kubelet
    systemctl stop docker
    rm -rf /var/lib/cni/
    rm -rf /var/lib/kubelet/*
    rm -rf /etc/cni/
    ifconfig cni0 down
    ifconfig flannel.1 down
    ifconfig docker0 down
    ip link delete cni0
    ip link delete flannel.1
    ##重启kubelet
    systemctl restart kubelet
    ##重启docker
    systemctl restart docker
    再次 kubeadm join

2 pause-amd64 pull error

从docker.io把pause-amd64镜像取下来
    
    docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause-amd64:3.0
    docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause-amd64:3.0 gcr.io/google_containers/pause-amd64:3.0

3 如何重新生成 kubeadm join 的 token

kubeadm token create
    
    > 1xxxx1
    
    
    openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
    > xxxxx2 
    
    kubeadm join 172.16.0.100:6443 --token 1xxxx1 --discovery-token-ca-cert-hash sha256:xxxxx2

4 Failed to get system container stats for “/system.slice/kubelet.service”: failed to get cgroup stats for "/system.slice/kubelet.service

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 8]

### gcr.io/google\_containers/pause-amd64 的作用 ###

当我们stop一个 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 9]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 10]  
看看官网对这个容器的解释

> it’s part of the infrastructure. This container is started first in all Pods to setup the network for the Pod.

> pause-amd64是Kubernetes基础设施的一部分，Kubernetes管理的所有pod里，pause-amd64容器是第一个启动的，用于实现Kubernetes集群里pod之间的网络通讯。

这句话怎么理解呢？  
我们知道，两个container 共享网络的方式可以在运行容器的时候 指定 --net=container:目标容器名 这个参数就可以了，那么Pod 在启动管理一组容器的时候，没法保证容器组的先后顺序，如何实现呢？难道要依次把每个启动的容器加入到前一个？又或者是加入第一个启动的容器？

这就是 Infra 容器 的作用，作为一个网络通讯的中间件，一个Pod 组首先启动 Infra 容器 ，然后Pod组中的容器全部加入这个 Infra 容器 ，这样就实现了 Network Namespace 共享的作用。Infra 容器 镜像基于 `k8s.gcr.io/pause:3.1`，这个地址会被墙，所以在 [kubernetes 集群搭建1.11.3+dashboard][kubernetes _1.11.3_dashboard] 中 需要 `# 先替换镜像（装墙镜像的常规操作）` ，这也是为什么当启动时，因为墙的原因，首先报错的是，`k8s.gcr.io/pause:3.1` 这个镜像 `pullbackFalse`

pause-amd64，-- Infra 容器，是 一对一容器的父进程， 在 [pause容器源码][pause] 上可以看到 这个容器是用 C 去写的，pause容器大部分时间都在沉睡，等待有信号将其唤醒。当容器 kill 的时候，pause 捕捉到这个信号，作出控制

pause dockerFile

FROM scratch
    ARG ARCH
    ADD bin/pause-${ARCH} /pause
    ENTRYPOINT ["/pause"]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/0a9a77d0c5e242bdb7d13d1e55c3f791.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/9a220582f43048be8d71205a1742bfa5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/2cbd797cf871498185923de1cccd5008.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/d7816f9d1fb44487acc1fe95b514ed72.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/5fdcf70904574633815a13269ec3d949.png
[2020092214122534.png_pic_center]: /images/20221123/19e74d025eb046c78a574e9de399d0b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/771b56a122784b469d144a52a8736528.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/ce9d2dabac134e949375e3ae5fff0187.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221123/35be61a988cb475d936d42dbad204727.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221123/330048bb30cc4f389df2e20780e01603.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221123/70b1a6df08a24f06b91bd145fe2985e4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4MDE4Mjgz_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221123/ade5258d62bc4dde9c7ada1b0f71bcb7.png
[kubernetes _1.11.3_dashboard]: https://blog.csdn.net/qq_28018283/article/details/108698211
[pause]: https://www.ianlewis.org/en/almighty-pause-container