[问题已处理]-kubernetes的pod状态更新延迟比较久

た入场券 2022-11-09 12:33 172阅读 0赞

导语：不知道我这样形容恰不恰当，其实就是describe 查看pod发现明明镜像都下好了，pod已经start了，但是get pods的时候发现pod还在containercreating状态，并且最终到达running的时间也是其他环境的好几倍。如图

现象出问题的环境containercreating持续40s以上，更新为running的话可能需要10分钟，正常环境containercreating持续7-8s，删除pod的时候 明明deployment已经删除了，但是pod还存在，需要使用–grace-period=0 删除才可以。

异常情况

![9a206080f08f3c17dc311eb06dd8e237.png][]

![c13ec1408b3ebd707e324e35ea118fe1.png][]

正常环境

![0729ec273dfcc1d3effe1093cae3302c.png][]

同样5台机子 铲掉重装之后就正常了 诡异～

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>原故障集群参数</th> 
   <th>正常集群参数</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>kubeadm版本</td> 
   <td>1.18.4</td> 
   <td>1.18.2</td> 
  </tr> 
  <tr> 
   <td>kubelet版本</td> 
   <td>1.18.4</td> 
   <td>1.18.2</td> 
  </tr> 
  <tr> 
   <td>kubectl版本</td> 
   <td>1.18.4或者1.20.0</td> 
   <td>1.18.2</td> 
  </tr> 
  <tr> 
   <td>flannel版本</td> 
   <td>比较旧 apiVersion是extensions/v1beta1</td> 
   <td>目前最新apiVersion: apps/v1</td> 
  </tr> 
  <tr> 
   <td>coredns</td> 
   <td>应该是coredns:1.6.7</td> 
   <td>coredns:1.6.7</td> 
  </tr> 
  <tr> 
   <td>ECS系统</td> 
   <td>centos7.6</td> 
   <td>centos7.8</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

就集群在安装完成之后 访问svc 的cluster ip 很慢 添加了一条命令`ethtool -K flannel.1 tx-checksum-ip-generic off` 但是应该不影响。新集群不用跑这个命令返回就很快，不知道是不是flannel版本的问题。

查看各个组件的报错 kubelet报错PLEG is not healthy 出现这个问题的原因比较多 就没有细细排查 直接铲掉了。

结论：铲掉换版本就没有问题了 说明和机子本身无关。怀疑是网络插件和kubelet的问题。安装的flannel可能不适合1.18.4版本，导致kubelet上报有问题。

暂时做个笔记 后续再出现问题时仔细排查。

[9a206080f08f3c17dc311eb06dd8e237.png]: /images/20221023/3ccd91a4341d4fe585f57703f24a08a6.png
[c13ec1408b3ebd707e324e35ea118fe1.png]: /images/20221023/7683a21b53dc4e33ad405be81d1ba96e.png
[0729ec273dfcc1d3effe1093cae3302c.png]: /images/20221023/b9399771c2234279976859bd5140a4e8.png