SpringCloud实战十九：Pometheus 集成 Alertmanager 服务告警（邮件通知）

系统管理员 2022-03-06 04:54 519阅读 0赞

###### 前面四篇博客，分别介绍了 Prometheus、Grafana、SpringBoot埋点、Prometheus集成Consul，本次将介绍 Prometheus怎么实现自动告警，Alertmanager组件，对监控信息实现告警处理，已发送邮件、企业微信等方式通知接收人 ######

###### 1.前三篇博客分别介绍了 Prometheus 、Grafana、与 SpringBoot 集成 ######

*  1.[prometheus介绍与安装][prometheus]
 *  2.[Grafana可视化图形界面][Grafana]
 *  3.[Spring Boot 集成 Prometheus][Spring Boot _ Prometheus]
 *  4.[Pometheus 集成 Consul 动态拉取业务服务监控信息][Pometheus _ Consul]

下载 AlertManager 组件，下载地址：[https://prometheus.io/download/][https_prometheus.io_download]

Prometheus-server负责存取服务监控信息，通过 PromQL 聚合监控信息，通过告警规则，让 Alertmanager 组件处理告警信息，可以已邮件、企业微信、web\_hook等方式处理告警信息

###### 2.开始集成 ######

*  1.在prometheus组件下，新建 orderservice\_alert\_rules.yml 设置告警规则，通过PromQL查询匹配 ------ 服务是否下线，10分钟内服务内部的错误率是否大于20%，内容如下：

groups:
    - name: orderservice-alert-rule
      rules:
      - alert: HttpOrderServiceDown
        expr: sum(up{job="orderservice-prometheus"}) == 0
        for: 1m
        labels:
          severity: critical
      - alert: ErrorRateHigh
        expr: sum(rate(requests_error_total{job="orderservice-prometheus", status="500"}[10m])) / sum(rate(requests_total{job="orderservice-prometheus"}[10m])) > 0.2
        for: 1m
        labels:
          severity: major
        annotations:
          summary: "High Error Rate detected"
          description: "Error Rate is above 2% (current value is: {
       { $value }}"

*  2.在 prometheus.yml文件下，引用 orderservice\_alert\_rules.yml 告警规则配置，并开启 alertmanagers

alerting:
      alertmanagers:
      - static_configs:
        - targets:
          # alertmanage default start port 9093
          - localhost:9093  
    rule_files:
      - "orderservice_alert_rules.yml"

*  3.在 Alertmanager文件夹的 alertmanager.yml 配置中，添加发送邮件配置

global:
      resolve_timeout: 5m
      smtp_smarthost: 'smtp.qq.com:25'
      smtp_from: 'email address'
      smtp_auth_username: 'email address'
      smtp_auth_password: 'password'
    
    route:
      group_by: ['alertname']
      group_wait: 10s
      group_interval: 1m
      repeat_interval: 1m
      receiver: 'mail-receiver'
    receivers:
    - name: 'mail-receiver'
      email_configs:
      - to: 'email address'

*  4.基于前篇博客的web项目上，添加全局异常拦截器，捕获异常后，发送 metrics 信息

/**
     * 全局统一异常处理
     * 捕获异常，产生异常时，统一返回错误信息
     */
    @ControllerAdvice
    public class CustomExceptionHandler {
    
        @Autowired
        MeterRegistry registry;
        private Counter counter;
        @PostConstruct
        private void init(){
            counter = registry.counter("requests_error_total","status","500");
        }
    
        @ResponseBody
        @ExceptionHandler(value = Exception.class)
        public String handle(Exception e) {
            counter.increment();//记录系统出错总数
            return "error , message : " + e.getMessage();
        }
    }

*  5.在 OrderController 中，添加 error 接口，访问该接口时主动触发异常，让全局异常器拦截，并生产 metrics 信息

@RequestMapping("/error")
    public String error(){
        if(true){
            throw new RuntimeException("主动报错");
        }
        return "controller error";
    }

*  6.启动 Consul、Prometheus、Alertmanage、2个服务(网关、order-service)  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 1]
 *  7.测试，验证  
    我们设置了两个告警规则是：1.服务是否下线，2.10分钟内服务内部的错误率是否大于20%  
    先测试第二个，先访问正常的接口：order/hello、order/zhuyu，再访问主动抛异常的接口：order/error，然后在 prometheus UI [http://localhost:9090/alerts][http_localhost_9090_alerts] 界面上观察alerts的状态，随着访问 order/error 次数的增加，错误率的升高，order/error，[http://localhost:9090/alerts中，ErrorRateHigh的颜色发生了变化，且数字变为][http_localhost_9090_alerts_ErrorRateHigh] 1 active，表示激活了该告警规则，点击可以查看详细信息，我这边的 value 是1，表示错误率已经达到 100%，大于了之前设置的 0.2，因此会触发告警组件，Alertmanager组件接收到告警信息后，会通过配置的处理方式进行处理，现在是已邮件的形式，因此我的邮箱会接收到告警信息  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 2]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 3]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 4]  
    访问 alertmanager 组件的UI界面，也能看到接收了一条告警信息  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 5]  
    如果你也是用qq邮箱，请开通 smtp 服务，不知道怎么开通的可以百度下

[prometheus]: https://blog.csdn.net/zhuyu19911016520/article/details/88254978
[Grafana]: https://blog.csdn.net/zhuyu19911016520/article/details/88257073
[Spring Boot _ Prometheus]: https://blog.csdn.net/zhuyu19911016520/article/details/88383098
[Pometheus _ Consul]: https://blog.csdn.net/zhuyu19911016520/article/details/88411371
[https_prometheus.io_download]: https://prometheus.io/download/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70]: /images/20220306/1ba7957b961f47fb86f16d9b00a484ac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 1]: /images/20220306/2601cc028c8d458ea67c9040d910eba6.png
[http_localhost_9090_alerts]: http://localhost:9090/alerts
[http_localhost_9090_alerts_ErrorRateHigh]: http://localhost:9090/alerts%E4%B8%AD%EF%BC%8CErrorRateHigh%E7%9A%84%E9%A2%9C%E8%89%B2%E5%8F%91%E7%94%9F%E4%BA%86%E5%8F%98%E5%8C%96%EF%BC%8C%E4%B8%94%E6%95%B0%E5%AD%97%E5%8F%98%E4%B8%BA
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 2]: /images/20220306/7ee4d321c2cf4f2c9de68e7363f3b4fa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 3]: /images/20220306/f1550290ced14695b10482b5ab9f31cb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 4]: /images/20220306/a54d8fe1c6384b0ca4a24031e1d6f29d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXl1MTk5MTEwMTY1MjA_size_16_color_FFFFFF_t_70 5]: /images/20220306/3d7e8450d6094058b29056e487853415.png