Kubernetes自动横向扩展（HPA）示例

你的名字 2022-11-21 15:27 149阅读 0赞

### 文章目录 ###

*  Kubernetes自动横向扩展（HPA）示例
 *   *  官方文档
     *  HPA原理
     *  HPA示例
     *   *  安装Metrics Server
         *  创建Deployment
         *  创建HPA
         *  模拟增加负载
         *  模拟减少负载
     *  参考文档

# Kubernetes自动横向扩展（HPA）示例 #

## 官方文档 ##

*  [https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale-walkthrough/][https_kubernetes.io_docs_tasks_run-application_horizontal-pod-autoscale-walkthrough]
 *  [https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale/][https_kubernetes.io_docs_tasks_run-application_horizontal-pod-autoscale]
 *  [https://github.com/kubernetes-sigs/metrics-server][https_github.com_kubernetes-sigs_metrics-server]

## HPA原理 ##

Kubernetes HPA和阿里云的[弹性伸缩Auto Scalling][Auto Scalling] 很类似。

> 使用弹性伸缩（Auto Scaling），您可以根据业务需求和策略设置伸缩规则，在业务需求增长时自动为您增加ECS实例以保证计算能力，在业务需求下降时自动减少ECS实例以节约成本。弹性伸缩不仅适合业务量不断波动的应用程序，同时也适合业务量稳定的应用程序。

**伸缩对象：**

HPA可以对replication controller, deployment, replica set和stateful set进行自动伸缩，但是不能对daemon set进行自动伸缩。因为daemon set只能每个节点运行一个副本，不可伸缩。

## HPA示例 ##

### 安装Metrics Server ###

HPA需要从Metrics Server中获取Pod的CPU和内存Metrics，用来判断是否达到自动伸缩阈值。

如果还没有安装Metrics Server，可以参考：

*  [在Kubernetes集群上安装Metrics Server][Kubernetes_Metrics Server]

### 创建Deployment ###

apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: php-apache
    spec:
      selector:
        matchLabels:
          run: php-apache
      replicas: 1
      template:
        metadata:
          labels:
            run: php-apache
        spec:
          containers:
            - name: php-apache
              image: "registry.cn-shenzhen.aliyuncs.com/cookcodeblog/hpa-example:latest"
              ports:
                - containerPort: 80
              resources:
                limits:
                  cpu: 500m
                requests:
                  cpu: 200m
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: php-apache
      labels:
        run: php-apache
    spec:
      ports:
        - port: 80
      selector:
        run: php-apache

这里同时创建Service，是为了后续的模拟压力测试。

一个可运行的php-apache.yaml参见：

*  [php-apache.yaml][]

创建deployment和servcie：

kubectl apply -f php-apache.yaml

验证：

kubectl get deployment php-apache
    kubectl get svc php-apache
    kubectl get pods -l run=php-apache -o wide

### 创建HPA ###

# 默认创建的HPA名称和需要自动伸缩的对象名一致
    # 可以通过--name来指定HPA名称
    kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=10

为deployment `php-apache` 创建HPA，其中最小副本数为1，最大副本数为10，保持该deployment的所有Pod的平均CPU使用率不超过50%。

在本例中，deployment的pod的`resources.request.cpu`为200m （200 milli-cores vCPU)，所以HPA将保持所有Pod的平均CPU使用率不超过100m。

可以通过`kubectl top pods`查看pod的CPU使用情况。

查看HPA：

kubectl get hpa php-apache

HPA信息类似：

NAME         REFERENCE               TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   0%/50%    1         10        1          50s

如果TARGETS列值格式为`<acutal>/<expected>`, 如果actual值总是为unkown，则表示无法从Metrics Server中获取指标值。请参见上面的“安装Metrics Server”章节。

> HPA默认每15秒从Metrics Server取一下指标来判断是否要自动伸缩。
> 
> The Horizontal Pod Autoscaler is implemented as a control loop, with a period controlled by the controller manager’s `--horizontal-pod-autoscaler-sync-period` flag (with a default value of 15 seconds).

> Metrics Server采集指标的默认间隔为60秒。
> 
> Default 60 seconds, can be changed using `metrics-resolution` flag. We are not recommending setting values below 15s, as this is the resolution of metrics calculated within Kubelet.

### 模拟增加负载 ###

打开一个新的Terminal，创建一个临时的pod `load-generator`，并在该pod中向`php-apache`服务发起不间断循环请求，模拟增加`php-apache`的负载（CPU使用率）。

kubectl run -i --tty load-generator --rm --image=busybox --restart=Never \
    -- /bin/sh -c "while sleep 0.01; do wget -q -O- http://php-apache; done"

> 如果无法通过`http://php-apache`访问服务，需要检查kube-dns和网络是否配置正确，可以参考：[一次解决Kubernetes集群内无法访问服务的问题过程][Kubernetes]

模拟压力测试几分钟后，观察HPA：

kubectl get hpa php-apache

HPA情况类似：

NAME         REFERENCE               TARGETS    MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   250%/50%   1         10        5          4m45s

可以看到TARGETS（CPU使用率）的acutal值已升高到250% (超过了期望值50%)，副本数REPLICAS也从1自动扩容到了5。

> 注意：如果Kubernetes集群worker节点的CPU资源已经不足，HPA自动扩容会失败，新扩容的pod会一直处在Pending状态。通过`kubectl describe`命令查看pod详细信息时，会看到“Insufficient cpu"的错误信息。

观察deployment和pod：

kubectl get deployment php-apache
    kubectl get pods -l run=php-apache -o wide

等到5个Pod都全部Running且Ready后，观察HPA：

kubectl get hpa php-apache

发现HPA观测到的CPU实际使用率已降低到53%(接近目标值50%)：

NAME         REFERENCE               TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   53%/50%   1         10        5          8m34s

也就是HPA通过自动扩容到5个副本，来分摊了负载，使得所有Pod的平均CPU使用率保持（近似）在目标值。

可以通过`kubectl describe hpa php-apache`查看HPA自动伸缩的事件。

### 模拟减少负载 ###

在运行`load-generator`的Terminal，按下`Ctrl` \+ `C`来终止进程。

等待几分钟后，观察HPA：

kubectl get hpa php-apache

HPA情况类似：

NAME         REFERENCE               TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   0%/50%    1         10        1          24m

通过`kubectl describe hpa php-apache`查看HPA自动伸缩的事件，可以看到“horizontal-pod-autoscaler New size: 1; reason: All metrics below target”的事件。

> 如果观察HPA没有scale down，需要再等待一段时间。
> 
> Kuberntes为了保证缩容时业务不中断，和防止频繁伸缩导致系统抖动，scaledown一次后需要等待一段时间才能再次scaledown，也叫伸缩冷却(cooldown)。
> 
> 默认伸缩冷却时间为5分钟。
> 
> `--horizontal-pod-autoscaler-downscale-stabilization`: The value for this option is a duration that specifies how long the autoscaler has to wait before another downscale operation can be performed after the current one has completed. The default value is 5 minutes (`5m0s`).
> 
> 参见：[https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale/\#support-for-cooldown-delay][https_kubernetes.io_docs_tasks_run-application_horizontal-pod-autoscale_support-for-cooldown-delay]
> 
> 类似的，可以参考阿里云自动伸缩的[伸缩冷却时间][Link 1]

## 参考文档 ##

*  [https://github.com/kubernetes/kubernetes/issues/78761][https_github.com_kubernetes_kubernetes_issues_78761]
 *  [https://stackoverflow.com/questions/58535208/hpa-scale-down-not-happening-properly][https_stackoverflow.com_questions_58535208_hpa-scale-down-not-happening-properly]

[https_kubernetes.io_docs_tasks_run-application_horizontal-pod-autoscale-walkthrough]: https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale-walkthrough/
[https_kubernetes.io_docs_tasks_run-application_horizontal-pod-autoscale]: https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale/
[https_github.com_kubernetes-sigs_metrics-server]: https://github.com/kubernetes-sigs/metrics-server
[Auto Scalling]: https://help.aliyun.com/document_detail/25857.html
[Kubernetes_Metrics Server]: https://cookcode.blog.csdn.net/article/details/109413053
[php-apache.yaml]: https://github.com/cookcodeblog/k8s-yaml/blob/master/kubernetes_io/hpa/php-apache.yaml
[Kubernetes]: https://cookcode.blog.csdn.net/article/details/109424100
[https_kubernetes.io_docs_tasks_run-application_horizontal-pod-autoscale_support-for-cooldown-delay]: https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale/#support-for-cooldown-delay
[Link 1]: https://help.aliyun.com/document_detail/25912.html
[https_github.com_kubernetes_kubernetes_issues_78761]: https://github.com/kubernetes/kubernetes/issues/78761
[https_stackoverflow.com_questions_58535208_hpa-scale-down-not-happening-properly]: https://stackoverflow.com/questions/58535208/hpa-scale-down-not-happening-properly