SpringCloud实战十八：Pometheus 集成 Consul 动态拉取业务服务监控信息

客官°小女子只卖身不卖艺 2022-03-09 00:52 237阅读 0赞

###### 1.前三篇博客分别介绍了 Prometheus 、Grafana、与 SpringBoot 集成 ######

*  1.[prometheus介绍与安装][prometheus]
 *  2.[Grafana可视化图形界面][Grafana]
 *  3.[Spring Boot 集成 Prometheus][Spring Boot _ Prometheus]

前面三篇一步步搭建时间序列数据库监控体系，但是在微服务环境中，上面的集成还有很大缺陷，当我有很多个SpringBoot应用程序时，要一个个的在 prometheus 中配置好静态地址很不友好，当使用docker与kubernetes自动化部署SpringBoot应用时，应用的IP+端口是动态变化的，因此不可能再用静态配置地址的方式去监控应用了，此时需要结合 consul，让 Prometheus 自动发现服务，去拉取 metrics 信息，不再手动配置应用地址。

###### 2.本篇要实现的目的，一个consul注册中心，一个网关，一个业务服务(部署两份-2个端口)，服务注册到注册中心，请求通过网关转发到业务服务，在 prometheus.yml文件中配置从 consul 拉取服务(正则表达式匹配)，将 metrics 信息显示到 grafana 上 ######

###### 3.consul环境搭建，可参照：[Spring Cloud Consul 服务发现与配置中心][Spring Cloud Consul]，启动 consul agent -dev ######

###### 4.在 [Spring Boot 集成 Prometheus][Spring Boot _ Prometheus] 的代码基础上引入consul注册中心，把需要监控的服务注册到consul上 ######

*  1.添加 spring-cloud-starter-consul-discovery 依赖，主类上添加 @EnableDiscoveryClient 注解
 *  2.添加 consul 配置

spring:
      application:
        name: order-service-prometheus
      cloud:
        consul:
          discovery:
            enabled: true
            register: true
            heartbeat:
              enabled: true
              ttl-unit: s
              ttl-value: 30
            prefer-ip-address: true
            tags: prometheus   #注意，向consul注册时，可以给服务打 tag 标签，让prometheus 只拉取有此标签的服务的metrics信息
          host: localhost
          port: 8500

*  3.生成 jar 包，使用 cmd 命令启动两份业务服务：

java -jar order-service-prometheus-0.0.1-SNAPSHOT --server.port=8088 
    java -jar order-service-prometheus-0.0.1-SNAPSHOT --server.port=8089

###### 5.新建个 SpringCloud Gateway 网关，可参照：[SpringCloud实战十一：Gateway之 Spring Cloud Gateway][SpringCloud_Gateway_ Spring Cloud Gateway] ######

*  1.引入两个 consul-discovery 与 gateway 依赖，主类上添加 @EnableDiscoveryClient 注解

<dependency>
    	<groupId>org.springframework.cloud</groupId>
    	<artifactId>spring-cloud-starter-consul-discovery</artifactId>
    </dependency>
    
    <dependency>
    	<groupId>org.springframework.cloud</groupId>
    	<artifactId>spring-cloud-starter-gateway</artifactId>
    </dependency>

*  2.添加配置，注册到consul上

server:
      port: 10000
    
    spring:
      profiles:
        active: dev
      application:
        name: gateway-prometheus
      cloud:
        consul:
          discovery:
            enabled: true
            register: true
            heartbeat:
              enabled: true
              ttl-unit: s
              ttl-value: 30
            prefer-ip-address: true
            tags: prometheus
          host: localhost
          port: 8500
        gateway:
          discovery:
            locator:
              enabled: true
              # 服务名小写
              lower-case-service-id: true
          routes:
          # order-service-prometheus
          - id : order-service-prometheus
            uri : lb://order-service-prometheus
            predicates:
            - Path=/order-service/**
            # 加上StripPrefix=1，否则转发到后端服务时会带上order-service前缀
            filters:
            - StripPrefix=1

*  3.启动网关

###### 6.访问 localhost:8500，在consul上查看已注册的服务，可看到服务已注册上去，且打了 tags 标签 ######

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70]

###### 7.配置 prometheus.yml ######

- job_name: 'consul-prometheus'
        scrape_interval: 15s
        metrics_path : '/actuator/prometheus'
        consul_sd_configs:    
        - server: 'localhost:8500'
          services: []
        relabel_configs:
        - source_labels: ['__meta_consul_tags']
          regex: .*prometheus.*
          action: keep

配置含义如下：

relabel_configs 含义为：如果目标的 __meta_consul_tags 标签与regex中的内容正则匹配，则保留该目标，
    __meta_consul_tags表示的是服务tag，也可以是其他的参数，如__meta_consul_service表示的是服务的服务名。
    regex: .*prometheus.* 保留的是所有注册服务tags中包括prometheus的服务。如果无任何限制的筛选，可将.*prometheus.* 更改为(.+)

###### 8.启动 Prometheus 与 Grafana ######

*  1.可在prometheus UI界面上查看prometheus是否通过consul拉取到目标业务服务，可看到业务服务发布了两份，都拉取到了，网关是 DOWN，因为没有在网关上暴露 metrics 端点，所以是DOWN  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 1]
 *  2.通过网关 [http://localhost:10000/order-service/order/][http_localhost_10000_order-service_order] 访问系统的 hello、zhuyu、order方法，[http://localhost:10000/order-service/order/hello][http_localhost_10000_order-service_order_hello]
 *  3.在prometheus web UI界面上使用 PromQL查询埋点监控信息,输入 requests\_total\{job=“consul-prometheus”\}，可看到展示了两个端口的访问量情况  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 2]
 *  4.但是对于整个系统来说是一个整体，因此要把这两条数据聚合起来， sum(requests\_total\{job=“consul-prometheus”\})，系统请求总数为 6  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 3]
 *  5.用 PromQL查询系统订单总金额，sum(order\_amount\_total\_sum\{job=“consul-prometheus”\}) ，结果为 204  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 4]
 *  6.在 Grafana 中的 Panel - metrics 中使用 PromQL聚合函数统计信息，结果如下：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 5]

本篇的搭建需要上面提到的基础环境搭建，之后结合起来就能搭建出本篇，代码是在前篇博客的基础上添加了注册中心consul

代码上传到码云：[https://gitee.com/zhuyu1991/spring-cloud/tree/master/prometheus][https_gitee.com_zhuyu1991_spring-cloud_tree_master_prometheus]

[prometheus]: https://blog.csdn.net/zhuyu19911016520/article/details/88254978
[Grafana]: https://blog.csdn.net/zhuyu19911016520/article/details/88257073
[Spring Boot _ Prometheus]: https://blog.csdn.net/zhuyu19911016520/article/details/88383098
[Spring Cloud Consul]: https://blog.csdn.net/zhuyu19911016520/article/details/88141427
[SpringCloud_Gateway_ Spring Cloud Gateway]: https://blog.csdn.net/zhuyu19911016520/article/details/86488547
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70]: /images/20220309/bfbf910d7a884a2ca815e60864c6822d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 1]: /images/20220309/d4eaece332d046bf8e87ca53bfdf25ec.png
[http_localhost_10000_order-service_order]: http://localhost:10000/order-service/order/
[http_localhost_10000_order-service_order_hello]: http://localhost:10000/order-service/order/hello
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 2]: /images/20220309/824b3ad2ead746dbb74852330cae1059.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 3]: /images/20220309/f4ef487c75314bb0a110b25b5990f763.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 4]: /images/20220309/e2f2f5087e0c4d5b850d45a094625ea0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 5]: /images/20220309/00974b5e192b46e78c88aeef333503d4.png
[https_gitee.com_zhuyu1991_spring-cloud_tree_master_prometheus]: https://gitee.com/zhuyu1991/spring-cloud/tree/master/prometheus