【kubernetes/k8s概念】kubelet启动参数

逃离我推掉我的手 2022-04-02 17:12 631阅读 0赞

kubernetes version: v1.12.1

# Desc #

The kubelet is the primary "node agent" that runs on each node. The kubelet works in terms of a PodSpec. A PodSpec is a YAML or JSON object that describes a pod. The kubelet takes a set of PodSpecs that are provided through various mechanisms (primarily through the apiserver) and ensures that the containers described in those PodSpecs are running and healthy. The kubelet doesn't manage containers which were not created by Kubernetes.

Other than from an PodSpec from the apiserver, there are three ways that a container manifest can be provided to the Kubelet.

*  File: Path passed as a flag on the command line. Files under this path will be monitored periodically for updates. The monitoring period is 20s by default and is configurable via a flag.
 *  HTTP endpoint: HTTP endpoint passed as a parameter on the command line. This endpoint is checked every 20 seconds (also configurable with a flag).
 *  HTTP server: The kubelet can also listen for HTTP and respond to a simple API (underspec'd currently) to submit a new manifest.

# 启动命令行如下： #

/usr/bin/kubelet \
 --address=10.12.51.171 \
 --hostname-override=10.12.51.171 \
 --pod-infra-container-image=harbor.local.com/images/pause-amd64:3.0 \
 --experimental-bootstrap-kubeconfig=/etc/kubernetes/bootstrap.kubeconfig \
 --kubeconfig=/etc/kubernetes/kubelet.kubeconfig \
 --cert-dir=/etc/kubernetes/ssl \
 --network-plugin=cni \
 --cni-conf-dir=/etc/cni/net.d \
 --cni-bin-dir=/usr/bin \
 --cluster-dns=10.254.0.2 \
 --cluster-domain=zqdlk8s.local. \
 --hairpin-mode hairpin-veth \
 --allow-privileged=true \
 --fail-swap-on=false \
 --logtostderr=true \
 --log-dir=/var/log/kubernetes/kubelet \
 --v=4 \
 --eviction-hard=memory.available<1024Mi,nodefs.available<10%,nodefs.inodesFree<5 \
 --system-reserved cpu=0.5,memory=1G

# Kubelet启动参数详解 #

Usage:  
  kubelet \[flags\]

<table> 
 <tbody> 
 <tr> 
 <td style="width:506px;">--allow-privileged=true</td> 
 <td>允许容器请求特权模式</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--anonymous-auth=false</td> 
 <td> 允许匿名请求到 kubelet 服务。未被另一个身份验证方法拒绝的请求被视为匿名请求。匿名请求包含系统的用户名: anonymous ，以及系统的组名: unauthenticated （默认 true ） </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--application-metrics-count-limit int</td> 
 <td>每一个容器store最大application metrics（default 100）</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--authentication-token-webhook-cache-ttl&nbsp;duration</td> 
 <td> webhook 令牌身份验证缓存响应时间 (2m0s) </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--authorization-mode string</td> 
 <td> 授权模式（AlwaysAllow/ Webhook），Webhook 模式使用 SubjectAccessReview API 来确定授权 </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--authorization-webhook-cache-authorized-ttl duration</td> 
 <td> webhook 模式认证响应缓存时间(default 5m0s) </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--authorization-webhook-cache-unauthorized-ttl duration</td> 
 <td>webhook 模式认证未响应缓存时间(default 30s)</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--authentication-token-webhook=true</td> 
 <td>使用 TokenReview API 来确定不记名令牌的身份验证</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--bootstrap-kubeconfig string</td> 
 <td> kubelet 客户端证书的kubeconfig 文件路径，如果指定的文件不存在，将 使用 bootstrap kubeconfig 从 API 服务器请求一个客户端证书，成功后生成证书文件和密钥的 kubeconfig 将被写入指定的文件，客户端证书和密钥将被保存在 --cert-dir 指定的目录 </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--cadvisor-port=0</td> 
 <td>cAdvisor 端口（默认 4194）</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">&nbsp;--cert-dir string</td> 
 <td>客户端证书和密钥将被保存在 --cert-dir 指定的目录</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--cgroup-driver=cgroupfs</td> 
 <td>可选值有cgroupfs和systemd（默认cgroupfs）与docker驱动一致</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--cgroup-root string</td> 
 <td> 对于 pods 的可选root cgroup </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--cgroups-per-qos</td> 
 <td> 开启创建 QoS cgroup 层级， true 意味着创建顶级 QoS 和pod cgroups （默认 true） </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--client-ca-file=/etc/kubernetes/ssl/ca.pem</td> 
 <td>集群ca证书</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--cluster-dns=10.10.10.10</td> 
 <td>DNS 服务器的IP列表，逗号分隔</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--cluster-domain=xxx.xxx</td> 
 <td>集群域名, kubelet 将配置所有容器除了主机搜索域还将搜索当前域</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--cni-bin-dir=/opt/cni/bin</td> 
 <td>CNI插件二进制文件路径</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--cni-conf-dir=/etc/cni/net.d</td> 
 <td>CNI插件配置文件的完整路径</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--container-runtime string</td> 
 <td> 容器运行时engine（docker&nbsp;/ rkt） </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">&nbsp;--cpu-cfs-quota</td> 
 <td> 开启cpu cfs配额来对容器指定cpu限制(默认 true) </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--cpu-cfs-quota-period duration</td> 
 <td>设置cpu cfs配置周期值，cpu.cfs_period_us（default 100ms）</td> 
 </tr> 
 <tr> 
 <td style="width:506px;"> --enable-controller-attach-detach </td> 
 <td>开启attach detach controller来管理调度到该节点上的volume</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--enforce-node-allocatable strings&nbsp;</td> 
 <td>默认为pods，要为kube组件和System进程预留资源，则需要设置为pods,kube-reserved,system-reserve</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--event-burst int32</td> 
 <td> 突发事件记录的最大值 </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--eviction-hard&nbsp;mapStringString</td> 
 <td>驱逐阈值的集合，达到该阈值将触发一次容器驱逐(default imagefs.available&lt;15%,memory.available&lt;100Mi,nodefs.available&lt;10%,nodefs.inodesFree&lt;5%)</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--eviction-max-pod-grace-period int32</td> 
 <td>当满足软驱逐阈值而终止pod时所允许的最长宽限期（秒）如果为负数，则推迟到pod指定的值</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--eviction-minimum-reclaim=memory.available=0Mi,nodefs.available=500Mi,imagefs.available=2Gi</td> 
 <td>kubelet 压力较大时 ，执行 pod 驱逐回收的资源最小值</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--eviction-soft=memory.available&lt;1.5Gi</td> 
 <td>驱逐阈值的集合，如果达到一个清理周期将触发一次容器驱逐</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--eviction-soft-grace-period=memory.available=300s,nodefs.available=300s,nodefs.inodesFree=300s</td> 
 <td>驱逐周期的集合，在触发一个容器清理之前一个软清理阈值需要保持多久</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--fail-swap-on</td> 
 <td>如果设置为true则启动kubelet失败(default true)</td> 
 </tr> 
 <tr> 
 <td style="width:506px;"> --hairpin-mode string&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;（符合值为promiscuous-bridge / hairpin-veth） </td> 
 <td>nat hairpin也可以叫端口回流或者NAT回环(default "promiscuous-bridge")</td> 
 </tr> 
 <tr> 
 <td style="width:506px;"> --healthz-bind-address ip </td> 
 <td> 健康检查服务的IP地址（默认 127.0.0.1 ） </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--healthz-port int32</td> 
 <td> 本地健康检查服务的端口号（默认 10248 ） </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--host-ipc-sources strings</td> 
 <td> 允许 pod 使用宿主机&nbsp;ipc 命名空间列表(default [*]) </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--host-network-sources strings</td> 
 <td>允许 pod 使用宿主机&nbsp;net 命名空间列表(default [*])</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--host-pid-sources strings</td> 
 <td>允许 pod 使用宿主机&nbsp;pid 命名空间列表(default [*])</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--hostname-override=xxx</td> 
 <td>cluster中的node name</td> 
 </tr> 
 <tr> 
 <td style="width:506px;"> --http-check-frequency duration </td> 
 <td> 通过 http 检查新数据的周期（default 20s） </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--image-gc-high-threshold int32</td> 
 <td> 磁盘使用率最大值，超过此值将执行镜像垃圾回收(default 85) </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--image-gc-low-threshold int32</td> 
 <td>磁盘使用率最大值， 低于此值将停止镜像垃圾回收 (default 80)</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--image-pull-progress-deadline=10m</td> 
 <td>镜像拉取进度最大时间，如果在这段时间拉取镜像没有任何进展，将取消拉取（默认 1m0s）</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">&nbsp;--iptables-drop-bit int32</td> 
 <td> 用于标记丢弃数据包的 fwmark&nbsp; bit，取值范围[0，31](default 15) </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--iptables-masquerade-bit int32</td> 
 <td> 标记 SNAT 数据包的 fwmark bit，取值范围[0，31]，此参数与 kube-proxy 中的相应参数匹配(default 14) </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--kube-api-burst=30</td> 
 <td>与 kubernetes apiserver 会话时的并发数（默认 10）</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--kube-api-qps=15</td> 
 <td>与 kubernetes apiserver 会话时的 QPS （默认 15）</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--kube-reserved mapStringString</td> 
 <td> 资源预留量，（例如cpu=200m,memory=500Mi, storage=1Gi ），针对 kubernetes 系统组件 &nbsp; </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--kubeconfig=/etc/kubernetes/kubelet.kubeconfig</td> 
 <td>用来指定如何连接到 API server</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--log-dir=/var/log/kubernetes</td> 
 <td>日志文件路径</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--logtostderr=false</td> 
 <td>日志信息输出到stderr 而不是文件</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--max-pods=300</td> 
 <td>可以运行的容器组数目（默认 110）</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--network-plugin=cni</td> 
 <td>使用cni插件</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--node-ip=10.x.x.x</td> 
 <td>节点的IP地址,kubelet 将使用这个地址作为节点ip地址，主要针对多网卡</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--node-labels=env=test</td> 
 <td>加入集群时贴上标签</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--pod-infra-container-image=</td> 
 <td>每个 pod 中的 network/ipc 命名空间容器将使用的pause镜像</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--pod-manifest-path=/etc/kubernetes/manifests</td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--register-with-taints=env=test:NoSchedule</td> 
 <td>加入集群时自带的taint，用于防止node刚加入集群时会有容器调度到新机器上</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--root-dir=/var/lib/k8s/kubelet</td> 
 <td>kubelet 的工作目录</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--registry-burst=10</td> 
 <td>拉取镜像的最大并发数，允许同时拉取的镜像数，不能超过 registry-qps ，仅当 --registry-qps 大于 0 时使用(默认 10)</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--serialize-image-pulls=false</td> 
 <td>禁止一次只拉取一个镜像</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--stderrthreshold=3</td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--system-reserved=cpu=4,memory=5Gi</td> 
 <td>系统预留资源</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--tls-cert-file=/etc/kubernetes/pki/kubelet.crt</td> 
 <td>用于 https 服务的 x509 证书的文件 (中间证书，如果有，在服务器认证后使用)。如果没有提供 --tls-cert-file 和 --tls-private-key-file ， 将会生产一个自签名的证书及密钥给公开地址使用，并将其保存在 --cert-dir 指定的目录。</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--tls-private-key-file=/etc/kubernetes/pki/kubelet.key</td> 
 <td>包含 x509 私钥匹配的文件</td> 
 </tr> 
 <tr> 
 <td style="width:506px;">--v=4</td> 
 <td>日志级别</td> 
 </tr> 
 <tr> 
 <td style="width:506px;"> --address&nbsp;0.0.0.0 </td> 
 <td> 服务监听的IP地址（默认 0.0.0.0 为 0.0.0.0 监听所有地址） </td> 
 </tr> 
 <tr> 
 <td style="width:506px;">&nbsp;</td> 
 <td>&nbsp;</td> 
 </tr> 
 </tbody> 
</table>

dsf

Kubelet Node Allocatable

> Capacity:  
>  cpu:                1  
>  ephemeral-storage:  17397Mi  
>  hugepages-2Mi:      0  
>  memory:             2840764Ki  
>  pods:               110  
> Allocatable:  
>  cpu:                1  
>  ephemeral-storage:  16417868978  
>  hugepages-2Mi:      0  
>  memory:             2738364Ki  
>  pods:               110

*  \--enforce-node-allocatable，默认为pods，为kube组件和System进程预留资源，设置为`pods,kube-reserved,system-reserve`
 *  \--cgroups-per-qos，Enabling QoS and Pod level cgroups，默认开启。开启后，kubelet会将管理所有workload Pods的cgroups。
 *  \--kube-reserved，为kube组件（kubelet,kube-proxy,dockerd等）预留的资源量，比如—kube-reserved=cpu=1000m,memory=8Gi，ephemeral-storage=16Gi。
 *  \--kube-reserved-cgroup，如果设置--kube-reserved，一定要设置对应的cgroup，并且该cgroup目录要事先创建好，否则kubelet将不会自动创建导致kubelet启动失败。比如为kube-reserved-cgroup=/kubelet.service 
 *  \--system-reserved，为System进程预留的资源量，比如—system-reserved=cpu=500m,memory=4Gi,ephemeral-storage=4Gi。
 *  \--system-reserved-cgroup，如果设置--system-reserved，一定要设置对应的cgroup，并且该cgroup目录要事先创建好，否则kubelet将不会自动创建导致kubelet启动失败。比如为system-reserved-cgroup=/system.slice
 *  \--eviction-hard，配置 kubelet的hard eviction 条件，只支持memory和ephemeral-storage两种不可压缩资源。当出现MemoryPressure时，Scheduler不会调度新的Best-Effort QoS Pods到此节点。当出现DiskPressure时，Scheduler不会调度任何新Pods到此节点

--enforce-node-allocatable=pods,kube-reserved,system-reserved
 --kube-reserved-cgroup=/kubelet.service
 --system-reserved-cgroup=/system.slice
 --kube-reserved=cpu=1,memory=2Gi,ephemeral-storage=1Gi
 --system-reserved=cpu=500m,memory=1Gi,ephemeral-storage=1Gi
 --eviction-hard=memory.available<500Mi,nodefs.available<10%

NodeAllocatable = NodeCapacity - Kube-reserved - system-reserved - eviction-threshold

Scheduler会确保Node上所有的Pod Resource Request不超过NodeAllocatable。Pods所使用的memory和storage之和超过NodeAllocatable后就会触发kubelet Evict Pods

kube-reserved设置的cpu其实最终是写到kube-reserved-cgroup下面的cpu shares

在Kubernetes 1.8版本，kubelet启动会检查cgroup subsystem：cpu、cpuacct、cpuset、memory、systemd。所以需要确保这些cgroup目录的存在

> mkdir -p /sys/fs/cgroup/cpu/system.slice/kubelet.service  
> mkdir -p /sys/fs/cgroup/cpuacct/system.slice/kubelet.service  
> mkdir -p /sys/fs/cgroup/cpuset/system.slice/kubelet.service  
> mkdir -p /sys/fs/cgroup/memory/system.slice/kubelet.service  
> mkdir -p /sys/fs/cgroup/systemd/system.slice/kubelet.service