Kubernetes(十)：服务监控和控制

谁借莪１个温暖的怀抱￠ 2022-11-28 15:28 160阅读 0赞

### 文章目录 ###

*  一、Prometheus
 *  二、Horizontal Pod Autoscaling
 *  三、资源限制

# 一、Prometheus #

**Prometheus简介：**

`Prometheus`是由`SoundCloud`开发的开源监控报警系统和时序列数据库。`Prometheus`使用`Go`语言开发，是`Google BorgMon`监控系统的开源版本。2016年由`Google`发起`Linux`基金会旗下的原生云基金会， 将`Prometheus`纳入其下第二大开源项目，`Prometheus`目前在开源社区相当活跃。

`Prometheus`和`Heapster`(`Heapster`是`K8S`的一个子项目，用于获取集群的性能数据)相比功能更完善、更全面。`Prometheus`性能也足够支撑上万台规模的集群。

**组件说明：**

*  `MetricServer`：是`K8S`集群资源使用情况的聚合器，收集数据给`K8S`集群内使用，如`kubectl`、`hpa`、`scheduler`等
 *  `PrometheusOperator`：是一个系统监测和警报工具箱，用来存储监控数据。
 *  `NodeExporter`：用于各`node`的关键度量指标状态数据。
 *  `KubeStateMetrics`：收集`K8S`集群内资源对象数据，制定告警规则。
 *  `Prometheus`：采用`pull`方式收集`apiserver`，`scheduler`，`controller-manager`，`kubelet`组件数据，通过`http`协议传输
 *  `Grafana`：是可视化数据统计和监控平台

**Prometheus 安装：**

[root@master prometheus]# git clone https://github.com/coreos/kube-prometheus.git
    
    [root@master prometheus]# cd /root/resource/prometheus/kube-prometheus/manifest
    
    # 修改grafana-service.yaml、prometheus-service.yaml、alertmanager-service.yaml的类型为NodePort
    #并设置nodePort为30100、30200、30300
    
    # 部署
    [root@master manifests]# kubectl apply -f ../manifests/
    
    [root@master manifests]# kubectl get pod -n monitoring
    NAME                                   READY   STATUS    RESTARTS   AGE
    alertmanager-main-0                    2/2     Running   0          99s
    alertmanager-main-1                    2/2     Running   0          88s
    alertmanager-main-2                    2/2     Running   0          77s
    grafana-7dc5f8f9f6-tlv9t               1/1     Running   0          3m20s
    kube-state-metrics-5cbd67455c-tpxrv    4/4     Running   0          3m13s
    node-exporter-gcgjr                    2/2     Running   0          3m19s
    node-exporter-jtps7                    2/2     Running   0          3m19s
    node-exporter-ndx2l                    2/2     Running   0          3m19s
    prometheus-adapter-668748ddbd-npsg2    1/1     Running   0          3m19s
    prometheus-k8s-0                       3/3     Running   1          99s
    prometheus-k8s-1                       3/3     Running   1          99s
    prometheus-operator-7447bf4dcb-wd7sw   1/1     Running   0          3m20s
    
    # 查看节点、pod的CPU使用情况
    [root@master manifests]# kubectl top node
    NAME      CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%   
    master    192m         1%     1224Mi          65%       
    worker1   92m          0%     1147Mi          60%       
    worker2   91m          0%     1043Mi          55%       
    [root@master manifests]# kubectl top pod
    NAME                      CPU(cores)   MEMORY(bytes)   
    deamonset-example-t9bfr   0m           2Mi             
    deamonset-example-v6lxj   0m           2Mi

**访问`prometheus`（`http://192.168.182.100:30200`）：**  
![在这里插入图片描述][20200818172034953.png]  
除了页面可点击获取的信息外，`prometheus`的`WEB`界面上提供了基本的查询`K8S`集群中每个`Pod`的`CPU`使用情况，查询条件如下：

sum by (pod_name)( rate(container_cpu_usage_seconds_total{image!="", pod_name!=""}[1m] ) )

![在这里插入图片描述][2020081817220020.png]  
**访问`grafana`（`http://192.168.182.100:30100`）：** 初始密码均为`admin`  
![在这里插入图片描述][20200818172417109.png]  
`grafana`提供一个更人性化的图形化监控界面：  
![在这里插入图片描述][20200818172711794.png]

# 二、Horizontal Pod Autoscaling #

工作节点安装`hpa`实例镜像

[root@worker1 ~]# docker load -i hpa-example.tar 
    [root@worker1 ~]# docker images
    REPOSITORY                                              TAG             IMAGE ID            CREATED             SIZE
    gcr.io/google_containers/hpa-example                    latest          4ca4c13a6d7c        4 years ago         481MB

`Horizontal Pod Autoscaling`可以根据`CPU`利用率自动伸缩一个`Replication Controller`、`Deployment`或者`Replica Set`中的`Pod`数量：

[root@master prometheus]# kubectl run php-apache --image=gcr.io/google_containers/hpa-example --requests=cpu=200m --expose --port=80
    # 将deployment的镜像拉取策略改为Never
    [root@master prometheus]# kubectl edit deployment php-apache
    
    [root@master prometheus]# kubectl get deployment
    NAME         READY   UP-TO-DATE   AVAILABLE   AGE
    php-apache   1/1     1            1           3m56s
    
    [root@master prometheus]# kubectl get pod
    NAME                         READY   STATUS    RESTARTS   AGE   
    php-apache-f44dcdb46-hxsc9   1/1     Running   0          7s

创建`HPA`控制器：

[root@master prometheus]# kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=10

增加负载，查看负载节点数目：

$ kubectl run -i --tty load-generator --image=busybox /bin/sh
    
    $ while true; do wget -q -O- http://php-apache.default.svc.cluster.local; done

查看`hpa`、`pod`状态：

[root@master prometheus]# kubectl get hpa -w
    NAME         REFERENCE               TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   0%/50%    1         10        1          3m16s
    php-apache   Deployment/php-apache   0%/50%    1         10        1          3m18s
    php-apache   Deployment/php-apache   384%/50%   1         10        1          3m33s
    
    #此时pod的个数已经扩容至4个
    [root@master prometheus]# kubectl get pod
    NAME                             READY   STATUS    RESTARTS   AGE
    php-apache-f44dcdb46-dc9v6       1/1     Running   0          93m
    php-apache-f44dcdb46-hhj25       1/1     Running   0          93m
    php-apache-f44dcdb46-hqfv9       1/1     Running   0          93m
    php-apache-f44dcdb46-hxsc9       1/1     Running   0          98m
    [root@master prometheus]# kubectl top pod 
    NAME                             CPU(cores)   MEMORY(bytes)              
    php-apache-f44dcdb46-dc9v6       0m           8Mi             
    php-apache-f44dcdb46-hhj25       0m           8Mi             
    php-apache-f44dcdb46-hqfv9       0m           14Mi

# 三、资源限制 #

**Pod：**

`Kubernetes`对资源的限制实际上是通过`cgroup`来控制的，`cgroup`是容器的一组用来控制内核如何运行进程的相关属性集合。针对内存、`CPU`和各种设备都有对应的`cgroup`。

默认情况下，`Pod`运行没有`CPU`和内存的限额。这意味着系统中的任何`Pod`将能够像执行该`Pod`所在的节点一样，消耗足够多的`CPU`和内存。一般会针对某些应用的`pod`资源进行资源限制，这个资源限制是通过`resources`的`requests`和`limits`来实现。

spec:   
      containers:   
      - image: xxxx     
        imagePullPolicy: Always   
        name: auth       
        resources:       
          limits:     
            cpu: "4"          
            memory: 2Gi       
          requests:  
            cpu: 250m           
            memory: 250Mi

`requests`要分分配的资源，`limits`为最高请求的资源值。可以简单理解为初始值和最大值。

**名称空间：**

计算资源配额：

apiVersion: v1
    kind: ResourceQuota
    metadata:  
      name: compute-resources 
    spec:
      hard: 
        pods: "20"   
        requests.cpu: "20" 
        requests.memory: 100Gi  
        limits.cpu: "40" 
        limits.memory: 200Gi

配置对象数量配额限制：

apiVersion: v1
    kind: ResourceQuota
    metadata:  
      name: object-counts 
    spec:  
      hard:  
        configmaps: "10"  
        persistentvolumeclaims: "4" 
        replicationcontrollers: "20"   
        secrets: "10"    
        services: "10"   
        services.loadbalancers: "2"

**配置CPU和内存LimitRange：**

apiVersion: v1
    kind: LimitRange
    metadata:  
      name: mem-limit-range
    spec:  
      limits: 
      - default:   # 即limit的值
        memory: 50Gi    
        cpu: 5 
      defaultRequest:  # 即request的值 
        memory: 1Gi     
        cpu: 1 
      type: Container

[20200818172034953.png]: /images/20221124/91531cfd2fb447ad8b6903481ddf61dd.png
[2020081817220020.png]: /images/20221124/b06d92b5a569424ca6d2909a819799a9.png
[20200818172417109.png]: /images/20221124/75a111bb95694242b3ff9d8f131a53ef.png
[20200818172711794.png]: /images/20221124/07e552fee1264a7f8c3bc4b4ce240cb9.png