kubernetes里prometheus-operator 监控jvm

拼搏现实的明天。 2022-03-16 19:28 727阅读 0赞

在配置prometheus-operator 监控jvm之前，我们必须要了解prometheus-operator的4个crd不然后续会蒙蔽。

这四个CRD作用如下

*  Prometheus: 由 Operator 依据一个自定义资源kind: Prometheus类型中，所描述的内容而部署的 Prometheus Server 集群，可以将这个自定义资源看作是一种特别用来管理Prometheus Server的StatefulSets资源。
 *  ServiceMonitor: 一个Kubernetes自定义资源(和kind: Prometheus一样是CRD)，该资源描述了Prometheus Server的Target列表，Operator 会监听这个资源的变化来动态的更新Prometheus Server的Scrape targets并让prometheus server去reload配置(prometheus有对应reload的http接口/-/reload)。而该资源主要通过Selector来依据 Labels 选取对应的Service的endpoints，并让 Prometheus Server 通过 Service 进行拉取（拉）指标资料(也就是metrics信息),metrics信息要在http的url输出符合metrics格式的信息,ServiceMonitor也可以定义目标的metrics的url.
 *  Alertmanager：Prometheus Operator 不只是提供 Prometheus Server 管理与部署，也包含了 AlertManager，并且一样通过一个 kind: Alertmanager 自定义资源来描述信息，再由 Operator 依据描述内容部署 Alertmanager 集群。
 *  PrometheusRule:对于Prometheus而言，在原生的管理方式上，我们需要手动创建Prometheus的告警文件，并且通过在Prometheus配置中声明式的加载。而在Prometheus Operator模式中，告警规则也编程一个通过Kubernetes API 声明式创建的一个资源.告警规则创建成功后，通过在Prometheus中使用想servicemonitor那样用ruleSelector通过label匹配选择需要关联的PrometheusRule即可

监控后端jvm内存，我们需要下载[jmx\_prometheus\_javaagent-0.11.0.jar][jmx_prometheus_javaagent-0.11.0.jar]

下载地址：

[https://repo1.maven.org/maven2/io/prometheus/jmx/jmx\_prometheus\_javaagent/0.11.0/jmx\_prometheus\_javaagent-0.11.0.jar][jmx_prometheus_javaagent-0.11.0.jar]

config.yaml下载例子：

[https://github.com/prometheus/jmx\_exporter/tree/master/example\_configs][https_github.com_prometheus_jmx_exporter_tree_master_example_configs]

下载之后重命名为config.yaml

之后将以上两个文件封装在dockerfile里

并在docker启动参数环境变量里加入JAVA\_OPTS="$JAVA\_OPTS -Duser.timezone=GMT+08 -javaagent:$PWD/jmx\_prometheus\_javaagent-0.2.0.jar=1234:$PWD/config.yaml -Djava.protocol.handler.pkgs=org.apache.catalina.webresources"

之后通过k8s启动之后通过curl http://127.0.0.1:1234/metrics 去访问是否已经成功

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyNTQzOTkx_size_16_color_FFFFFF_t_70][]

因为svc的负载均衡,所以在K8S里监控metrics基本最小单位都是一个svc背后的pod为target,所以prometheus-operator创建了对应的CRD: kind: ServiceMonitor ,创建的ServiceMonitor里声明需要监控选中的svc的label以及metrics的url路径的和namespaces即可

在需要获取jvm的应用的svc里配置相应的端口 也就是以上的1234端口 后续ServiceMonitor 会根据name的值对应相应的target

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyNTQzOTkx_size_16_color_FFFFFF_t_70 1][]

之后创建ServiceMonitor ：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyNTQzOTkx_size_16_color_FFFFFF_t_70 2][]

因ServiceMonitor 与监控的服务不再同一个namespace 所以需要加namespaceSelector

默认情况下ServiceMonitor和监控对象必须是在相同Namespace下的,如果要关联非同ns下需要下面这样设置值

spec:

namespaceSelector:

matchNames:

\- target\_ns\_name

如果希望ServiceMonitor可以关联任意命名空间下的标签，则通过以下方式定义：

spec:

namespaceSelector:

any: true

创建完成之后 这里有一个坑：如果监控的服务不在同一个namespace 那么会出现无权限获取的问题：

User \\"system:serviceaccount:monitoring:prometheus-k8s\\" cannot list pods in the namespace \\"pre\\""

这里我们根据提示创建rbac认证

apiVersion: rbac.authorization.k8s.io/v1beta1
    kind: ClusterRole
    metadata:
      name: prometheus
    rules:
    - apiGroups: [""]
      resources:
      - nodes
      - services
      - endpoints
      - pods
      verbs: ["get", "list", "watch"]
    - apiGroups: [""]
      resources:
      - configmaps
      verbs: ["get"]
    - nonResourceURLs: ["/metrics"]
      verbs: ["get"]
    ---
    apiVersion: rbac.authorization.k8s.io/v1beta1
    kind: ClusterRoleBinding
    metadata:
      name: prometheus
    roleRef:
      apiGroup: rbac.authorization.k8s.io
      kind: ClusterRole
      name: prometheus
    subjects:
    - kind: ServiceAccount
      name: prometheus-k8s
      namespace: monitoring

之后我们可以通过prometheus的ui界面查看到对应的target

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyNTQzOTkx_size_16_color_FFFFFF_t_70 3][]

总的来说就是创建自己的监控数据需要ServiceMonitor，通过ServiceMonitor去对应的label里找对应svc下的metrics的port。并且不同的namespace下的监控需要设置好rbac权限（在k8s集群中有配置rbac的集群里）

下载grafana的模版

[https://grafana.com/dashboards/8878/revisions][https_grafana.com_dashboards_8878_revisions]

导入到grafana的服务里最后查看对应的ui

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyNTQzOTkx_size_16_color_FFFFFF_t_70 4][]

[jmx_prometheus_javaagent-0.11.0.jar]: https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.11.0/jmx_prometheus_javaagent-0.11.0.jar
[https_github.com_prometheus_jmx_exporter_tree_master_example_configs]: https://github.com/prometheus/jmx_exporter/tree/master/example_configs
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyNTQzOTkx_size_16_color_FFFFFF_t_70]: /images/20220310/02e6ecf7db224177980ccef3fce5eae5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyNTQzOTkx_size_16_color_FFFFFF_t_70 1]: /images/20220310/4d9117064d244c4fbbc8f3857a8c61b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyNTQzOTkx_size_16_color_FFFFFF_t_70 2]: /images/20220310/75d514ff8f904499a232072f63daa862.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyNTQzOTkx_size_16_color_FFFFFF_t_70 3]: /images/20220310/4b6554f8289d43589c6111cf3ac09e84.png
[https_grafana.com_dashboards_8878_revisions]: https://grafana.com/dashboards/8878/revisions
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyNTQzOTkx_size_16_color_FFFFFF_t_70 4]: /images/20220310/92e6d984dae24bc1bad4e26d7a61f617.png