Kubernetes troubleshooting 常见问题解决思路和方法

﹏ヽ暗。殇╰゛Y 2023-01-10 14:38 164阅读 0赞

### 文章目录 ###

*  Kubernetes troubleshooting 常见问题解决思路和方法
 *   *  前言
     *  Kubernetes troubleshooting流程图
     *  流程图详解
     *   *  Pod为Pending状态
         *  Pod为ImagePullBackOff状态
         *  Pod为CrashLoopBackOff状态
         *  Pod没有Ready
         *  Pod状态正常，但是通过Service不能访问到Pod
         *  通过Service能访问Pod，但是集群外不能访问Pod
     *  Troubleshooting命令小结
     *  参考文档

# Kubernetes troubleshooting 常见问题解决思路和方法 #

## 前言 ##

本文基于learnk8s的Kubernetes troubleshooting流程图，说明了Kubernetes常见问题解决思路和方法。

## Kubernetes troubleshooting流程图 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25rbGluc2lydWk_size_16_color_FFFFFF_t_70_pic_center]

## 流程图详解 ##

使用[kubens][] 来切换namespace，让`kubectl` 命令更加简单。

如果使用OpenShift，直接用`oc`命令替换下面的`kubectl`命令。

另外，可以安装[jq][] 命令行工具来方便对[Kubernetes jsonpath][]进行解析。

查看Pod状态：

kubectl get pods

### Pod为Pending状态 ###

Pod为Pending状态的可能原因包括：

*  集群资源不够，无法分配资源给新的Pod。
 *  资源配额限制（ResourceQuota）。
 *  需要通过PVC绑定PV存储资源，但是没有可用的PV。
 *  指定了专门的调度策略，比如要调度到特定节点上，但是不满足调度条件。

先查看Pod events来定位问题原因：

kubectl describe pod <pod-name>

查看Pod被调度到哪个节点上：

kubectl get pods -o wide

查看Pod的labels：

kubectl get pods --show-labels

### Pod为ImagePullBackOff状态 ###

Pod为ImagePullBackOff状态的可能原因包括：

*  Image name不正确。
 *  Image tag不正确。
 *  如果是从外网拉取镜像，需要检查：
    
     *  网络是否正常。
     *  否正确配置了代理。
     *  是否将外网镜像仓库加入了白名单。
 *  如果是从私有镜像仓库（private image registry），需要检查：
    
     *  私有镜像仓库的地址是否正确，特别是地址中包含的项目名称是否一致。
     *  私有镜像仓库是否工作正常。
     *  是否因为私有镜像仓库重启导致之前的镜像丢失。
     *  网络是否正常。
     *  用来拉取镜像的账号是否正确，且有权限。

先查看Pod events来定位问题原因：

kubectl describe pod <pod-name>

### Pod为CrashLoopBackOff状态 ###

Pod为CrashLoopBackOff状态的可能原因：

*  程序错误，导致不断重启。
 *  Dockerfile中没有配置程序入口。
 *  Pod健康检查配置错误，比如配置了错误的健康检查端点或方式。

先查看Pod events来定位问题原因：

kubectl describe pod <pod-name>

查看Pod日志：

kubectl logs <pod-name>

如果容器死的太快来不及查看日志，可以查看上一个容器的日志：

kubectl logs <pod-name> --previous

### Pod没有Ready ###

Pod没有Ready的可能原因包括：

*  程序错误，没有完全启动成功。
 *  Readiness探针配置错误。

先查看Pod events来定位问题原因：

kubectl describe pod <pod-name>

查看Pod日志：

kubectl logs <pod-name>

### Pod状态正常，但是通过Service不能访问到Pod ###

通过Service不能访问到Pod的可能原因包括：

*  Service的`.spec.selector`和Pod的`.metadata.label`不匹配。
 *  Service的端口和Pod的端口不匹配。

查看Service配置：

kubectl get svc <service-name> -o yaml

查看Service的selector：

kubectl get svc customer -o jsonpath='{.spec.selector}'
    
    # or use jq to format
    kubectl get svc customer -o jsonpath='{.spec.selector}' | jq

查看Service关联的Pod：

# replace service_name as yours
    service_name=customer
    sel=${ $(kubectl get svc $service_name --output=json | jq -j '.spec.selector | to_entries | .[] | "\(.key)=\(.value),"')%?}
    echo $(kubectl get pods --selector=$sel --output=jsonpath={ .items..metadata.name})

查看Pod的labels：

kubectl get pods --show-labels | grep <pod-name-prefix>

### 通过Service能访问Pod，但是集群外不能访问Pod ###

如果是Kubernetes，则检查是否正确配置了Ingress。

如果是OpenShift，则检查是否正确配置了Route。

如果使用Service Mesh，还需要检查是否正确配置Ingress Gateway和VirtualService。

## Troubleshooting命令小结 ##

命令小结：

# 列出namespaces
    kubens
    
    # 切换namespace
    kubens <ns-name>
    
    # 列出当前namespace
    kubens -c
    
    # 查看Pod
    kubectl get pods
    
    # 查看Pod的labels
    kubectl get pods --show-labels
    
    # 查看Pod被调度到哪个节点上
    kubectl get pods -o wide
    
    # 查看Pod配置
    kubectl get pod <pod-name> -o yaml
    
    # 获取Pod的某个属性
    kubectl get pod <pod-name> -o jsonpath='{.root.parent.sub}' | jq
    
    # 查看Pod的Events和详情
    kubectl describe pod <pod-name>
    
    # 查看Pod日志
    kubectl logs <pod-name>
    
    # 查看前一个容器的日志
    kubectl logs <pod-name> --previous

搜索指令小结：

# search in stackoverflow
    keyword site:stackoverflow.com

在Kubernetes GitHub issues中搜索：

*  [https://github.com/kubernetes/kubernetes/issues][https_github.com_kubernetes_kubernetes_issues]

## 参考文档 ##

*  [https://kubernetes.io/docs/reference/kubectl/jsonpath/][Kubernetes jsonpath]
 *  [https://kubernetes.io/docs/reference/kubectl/cheatsheet/][https_kubernetes.io_docs_reference_kubectl_cheatsheet]
 *  [https://stedolan.github.io/jq/][jq]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25rbGluc2lydWk_size_16_color_FFFFFF_t_70_pic_center]: /images/20221119/5d38c1eb49d143c3b393fd711b741bfc.png
[kubens]: https://github.com/ahmetb/kubectx
[jq]: https://stedolan.github.io/jq/
[Kubernetes jsonpath]: https://kubernetes.io/docs/reference/kubectl/jsonpath/
[https_github.com_kubernetes_kubernetes_issues]: https://github.com/kubernetes/kubernetes/issues
[https_kubernetes.io_docs_reference_kubectl_cheatsheet]: https://kubernetes.io/docs/reference/kubectl/cheatsheet/