《Kubernetes故障篇：Kubernetes Node节点DiskPressure异常处理》

ゝ一纸荒年。 2022-09-15 11:48 409阅读 0赞

### 文章目录 ###

*  一、问题背景
 *  二、问题分析
 *   *  2.1、查看问题pod日志信息
     *  2.2、查看节点磁盘容量信息
     *  2.3、查看系统日志信息
 *  三、解决方案
 *   *  3.1、方案一
     *  3.2、方案二
 *  总结：整理不易，如果对你有帮助，可否点赞关注一下？

--------------------

# 一、问题背景 #

**当前kubernetes环境为单节点kubernetes，master节点或worker节点为同一主机，查询该节点上所有业务系统pod发现都处于pending状态，无法正常工作。且kube-flannel-ds-amd64-864q5这个pod处于Evicted（驱逐）状态。**

**如下图所示：**  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Lic5Z-O57ud56We_size_20_color_FFFFFF_t_70_g_se_x_16]

--------------------

# 二、问题分析 #

## 2.1、查看问题pod日志信息 ##

kubectl describe pods kube-flannel-ds-amd64-864q5 -n kube-system

**如下图所示：**  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Lic5Z-O57ud56We_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
**说明：根据pod日志报错信息表示改节点资源不足，disk是磁盘的意思。**

--------------------

## 2.2、查看节点磁盘容量信息 ##

**说明：上述日志信息表示磁盘容量不足，df -h查看当前节点磁盘容量使用信息。如下图所示：**  
![在这里插入图片描述][286e267047834e05bd11c7da00e0490c.png]  
**当前磁盘使用率为88%，并没有达到100%,是不是很奇怪为什么k8s会报错提示磁盘资源不足呢？请继续往下看！**

--------------------

## 2.3、查看系统日志信息 ##

**说明：查看系统日志信息，捕捉与disk有关的关键信息。**

grep -i  disk  /var/log/messages | head -10

**如下图所示：**  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Lic5Z-O57ud56We_size_20_color_FFFFFF_t_70_g_se_x_16 2]  
**说明：上述途中红色标记部分大概的意思是：镜像文件系统的磁盘占用率为88%，超过了高阈值(85%)。 尝试将80476641689字节释放到低阈值(80%)。也就是说node节点低于15%的时候，该节点上讲会执行eviction（驱逐）操作，由于磁盘已经达到了88%,在怎么驱逐也无法正常启动就会一直重启，Pod状态也是pending中。[同时你会发现被驱逐pod的镜像也会在磁盘资源不足时删除][pod]**

**使用如下命令可发现，fannel的镜像被删除**

docker images | grep flannel

--------------------

# 三、解决方案 #

## 3.1、方案一 ##

**1、清理磁盘空间，将磁盘使用率降到80%以下**  
**2、重启kubelet服务**

systemctl daemon-reload
    systemctl restart kubelet

**3、由于之前flannel镜像被删除，需要重新导入镜像**

docker load -i flannel-v0.12.0-amd64.tar.gz
    kubectl apply -f kube-flannel.yml

**4、查看所有pod状态，如下所示则表示正常**  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Lic5Z-O57ud56We_size_20_color_FFFFFF_t_70_g_se_x_16 3]

--------------------

## 3.2、方案二 ##

**1、修改配置文件前查看系统日志**  
![在这里插入图片描述][b1ddab630c284c9f831527b449b315b3.png]  
**2、修改配置文件增加传参数,添加此配置项–eviction-hard=nodefs.available<5%**

#1、备份原先配置文件
    cp /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf.bak
    
    #2、修改配置文件,在Environment中增加--eviction-hard=nodefs.available<5%
    vim /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf
    # Note: This dropin only works with kubeadm and kubelet v1.11+
    [Service]
    Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --eviction-hard=nodefs.available<5%"
    Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
    # This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically
    EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
    # This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use
    # the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file.
    EnvironmentFile=-/etc/sysconfig/kubelet
    ExecStart=
    ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS
    
    #3、重启kubelet服务
    systemctl daemon-reload
    systemctl restart kubelet

**3、修改配置文件后查看系统日志**  
![在这里插入图片描述][0c7683ff78a2466683dd1247bfde2314.png]  
**说明：最新日志，已经是0.05 也就是剩余5%,才会出现驱逐的情况。**

**4、清理磁盘空间，降低磁盘空间使用率**

**5、kubelet 将驱逐信号映射到节点条件**  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Lic5Z-O57ud56We_size_20_color_FFFFFF_t_70_g_se_x_16 4]

--------------------

# 总结：整理不易，如果对你有帮助，可否点赞关注一下？ #

更多详细内容请参考：[企业级K8s集群运维实战][K8s]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Lic5Z-O57ud56We_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/15c00ff749c24842b2398515c61e6fd1.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Lic5Z-O57ud56We_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/4a9074bc9691458b9318e0d37875fcbc.png
[286e267047834e05bd11c7da00e0490c.png]: /images/20220828/2482e235589f46a9869008da6119c2b2.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Lic5Z-O57ud56We_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/070dd74ec1c54d4c80b26c94d5b81c0c.png
[pod]: https://kubernetes.io/docs/concepts/scheduling-eviction/node-pressure-eviction/
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Lic5Z-O57ud56We_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/d6302be3a25444fe9ddfcc90a1aeb4ad.png
[b1ddab630c284c9f831527b449b315b3.png]: /images/20220828/67ba193ebcaa4cd6a187522b58cd1d4f.png
[0c7683ff78a2466683dd1247bfde2314.png]: /images/20220828/31ff39cf2bc94119a7e6d0ed17a79f79.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Lic5Z-O57ud56We_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/344ae87b1660480f91578c9c4e0a2a1c.png
[K8s]: https://blog.csdn.net/m0_37814112/category_10856504.html?spm=1001.2014.3001.5482