prometheus配置告警分发到不同的钉钉群

梦里梦外; 2022-11-15 12:23 544阅读 0赞

# 场景 #

假如我现在对一个MQ集群监控，设置告警，有如下两条规则：

- alert: "RocketMQ，xxx_consumer出现消息积压"
        expr: sum by(group, topic) (rocketmq_group_diff{group="xxx_consumer",topic="xxx"}) > 1000
        for: 1m
        labels:
          severity: busi
        annotations:
          description: '消费组xxx_consumer消费xxx的消息时出现消息积压，积压量已超过1000'
          summary: 'RocketMQ, xxx_consumer出现消息积压'
      - alert: "broker节点挂了"
        expr: count(rocketmq_broker_disk_ratio{cluster="XXXCluster"}) < 4
        for: 0m
        labels:
          severity: warning
        annotations:
          description: 'broker节点个数少于4个了'
          summary: 'broker节点挂了'

上面2条规则如下：

1.  规则一：业务组的某个消费组（核心业务），不能出现消息积压，超过1000条就告警通知他们
2.  规则二：我们的MQ集群某个业务挂了，我们自己要及时收到告警

现在实际情况是这样，如果规则一告警，必须要及时通知到相对应的业务组的告警的钉钉群里，同时也要通知到我们自己的钉钉群。规则二告警只通知我们自己的群，业务侧不关心。即：有些告警需要同时分发到多个群，有些只发送给某个群。

注意上面的严重程度（serverity）配置，注意用这个来区分，规则一是：busi，规则2是：warning。

# **配置示例如下** #

## alertmanager的配置 ##

global:
      resolve_timeout: 5m
      smtp_from: from@email.com
      smtp_smarthost: smtp.net:port
      smtp_auth_username: from@email.com
      smtp_auth_password: PASS
      smtp_require_tls: false
    route:
      receiver: 'email'
      group_by: ['alertname']
      group_wait: 10s
      group_interval: 10s
      repeat_interval: 10m
      routes:
      - receiver: 'our'
        group_wait: 10s
        match_re:
           severity: warning
      - receiver: 'other'
        group_wait: 10s
        match_re:
           severity: busi
    
    templates:
      - '*.html'
    receivers:
    - name: 'email'
      email_configs:
      - to: 'xuxd@email.com'
        send_resolved: false
        html: '{
       { template "default-monitor.html" . }}'
        headers: { Subject: "[WARN] 报警邮件" } #邮件主题
    - name: 'our'
      webhook_configs:
      - url: http://127.0.0.1:8060/dingtalk/our/send
    - name: 'other'
      webhook_configs:
      - url: http://127.0.0.1:8060/dingtalk/our/send
      - url: http://127.0.0.1:8060/dingtalk/other/send

global:设置默认的邮箱配置，如果没有匹配的接收者就采用邮件通知

route:除了email这个全局配置的接收者外，下面的routes指定了两个特定的接收者，一个接收者叫“our”，匹配warning级别的；另一个叫“other”，匹配busi级别的，这两个级别在最前面的规则里定义，不是什么特定关键字，就是自己随便定义的一个标记

receivers:这里指定了上面定义的接收者的配置，email指定邮件发给谁；“our”指定dingtalk的发送url，注意这个uri的末尾，send前用的"our";“other”下面指定了两个url，区别就是url末尾的send前面，一个是“our”，另一个是"other"

下面顺便贴一下我用的邮件模板（文件名：default-monitor.html），模板格式是一个table：

{
       { define "default-monitor.html" }}
    <table>
        <tr><td>报警名</td><td>描述</td><td>开始时间</td></tr>
        {
       { range $i, $alert := .Alerts }}
            <tr><td>{
       { index $alert.Labels "alertname" }}</td><td>{
       { index $alert.Annotations "description" }}</td><td>{
       { $alert.StartsAt }}</td></tr>
        {
       { end }}
    </table>
    {
       { end }}

## prometheus-webhook-dingtalk配置 ##

## Customizable templates path
    templates:
       - /home/user/monitor/alert/prometheus-webhook-dingtalk-1.4.0.linux-amd64/template/template.tmpl
    
    ## Targets, previously was known as "profiles"
    targets:
      our:
        url: https://oapi.dingtalk.com/robot/send?access_token=xxxx
        secret: xxx_secret
      other:
        url: https://oapi.dingtalk.com/robot/send?access_token=xxx_other
        secret: xxx_other_secret

targets下有两个，分别是"our"和"other",这里对应上面alertmanager配置的url里的"our"和"other。access\_token和secret是钉钉群添加机器小助手生成的。

这样配置，如果规则一告警，就是alertmanager的name为other的receiver来发送告警通知，发送到我们的钉钉群和业务侧钉钉群。如果是规则二告警，通过our发送，便只发送到我们的钉钉群。