prometheus 告警配置以及配置项解释

水深无声 2022-02-26 13:14 1243阅读 0赞

> 监控是脱离不了告警的。告警是指把监控发现的问题通过微信或者短信等通信手段，告诉我们。zabbix有他的告警机制。而prometheus是通过alertmanager实现的。

#### alertmanager的安装 ####

--------------------

alertmanager是支持集群模式的。本文也是用集群方式安装。

*  选择两台或者三台机器用于部署alertmanager。
 *  下载alertmanager安装包，这个在官方下载就行了。
 *  分别把压缩包解压到各个机器上
 *  修改配置文件alertmanager.yml

global:
      resolve_timeout: 5m
    
    receivers:
    - name: magpie.ding
      webhook_configs:
      - url: http://10.252.3.10:9002/ding_message
        send_resolved: false
    
    route:
      receiver: magpie.ding
      group_by: ['kind']
      group_wait: 10s
      group_interval: 10s
      repeat_interval: 1m
      routes:
      - receiver: magpie.ding
        match_re: 
          severity: warnging
    
    inhibit_rules:
      - source_match:
          alertname: 'node_time:sum:error'
        target_match:
          alertname: 'node_netstat_Icmp_InMsgs:error'
        equal: ['kind','severity']

--------------------

`global` 这个是全局设置  
`resolve_timeout` 当告警的状态有firing变为resolve的以后还要呆多长时间，才宣布告警解除。这个主要是解决某些监控指标在阀值边缘上波动，一会儿好一会儿不好。

--------------------

`receivers` 定义谁接收告警。也就是PrometheUS把告警内容发送到这个地方，然后这个地方的某些东东把告警发送给我们。  
`name`就是个代称方便后面用  
`webhook_configs` 这个是说 PrometheUS把告警发送给webhook，也就是一个http的url，当然这个url需要我们自己定义服务实现了。PrometheUS还支持其他的方式，具体可以参考官网：https://prometheus.io/docs/alerting/configuration/  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70]  
`send_resolved` 当问题解决了是否也要通知一下

--------------------

`route` 是个重点，告警内容从这里进入，寻找自己应该用那种策略发送出去  
`receiver` 一级的receiver，也就是默认的receiver，当告警进来后没有找到任何子节点和自己匹配，就用这个receiver  
`group_by` 告警应该根据那些标签进行分组  
`group_wait` 同一组的告警发出前要等待多少秒，这个是为了把更多的告警一个批次发出去  
`group_interval` 同一组的多批次告警间隔多少秒后，才能发出  
`repeat_interval` 重复的告警要等待多久后才能再次发出去  
`routes` 也就是子节点了，配置项和上面一样。告警会一层层的找，如果匹配到一层，并且这层的continue选项为true，那么他会再往下找，如果下层节点不能匹配那么他就用区配的这一层的配置发送告警。如果匹配到一层，并且这层的continue选项为false，那么他会直接用这一层的配置发送告警，就不往下找了。  
`match_re` 用于匹配label。此处列出的所有label都匹配到才算匹配

--------------------

`inhibit_rules`这个叫做抑制项，通过匹配源告警来抑制目的告警。比如说当我们的主机挂了，可能引起主机上的服务，数据库，中间件等一些告警，假如说后续的这些告警相对来说没有意义，我们可以用抑制项这个功能，让PrometheUS只发出主机挂了的告警。  
`source_match` 根据label匹配源告警  
`target_match` 根据label匹配目的告警  
`equal` 此处的集合的label，在源和目的里的值必须相等。如果该集合的内的值再源和目的里都没有，那么目的告警也会被抑制。

--------------------

*  分别启动alertmanager  
    比如在A，B两个节点上部署alertmanager，那么A节点的启动命令：

#你应该用nohup后台启动 
    ./alertmanager --config.file=alertmanager.yml --cluster.peer=hostB:9094

B节点的启动命令:

#你应该用nohup后台启动 
    ./alertmanager --config.file=alertmanager.yml --cluster.peer=hostA:9094

*  在PrometheUS上进行配置

# Alertmanager configuration
    alerting:
      alertmanagers:
      - static_configs:
        - targets:
          - hostA:9093
          - hostB:9093

*  重启或者重新加载PrometheUS的配置
 *  访问http://hostA:9093 就能看到alertmanager的页面  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 1]  
    alertmanager部署完毕

#### 测试 ####

*  设置监控规则和阀值  
    新建一个文件名字是prometheus.rules.yml（名字是自定义的），

- name: test_alert_up
      rules:
      - alert: node_time:sum:error
        expr: up < 1
        #for: 10s
        labels:
          severity: warnging
          action: text
          kind: node_export
        annotations:
          summary: not up 
          last: "{
       { $value }}"

上面的规则是检查，node\_export是不是存活  
`for` 当一个监控项超过了阀值时，这个告警处于pengding状态，而pending状态维持for秒以后，就会切换为fire状态，也就是将告警信息发送给了alertmanager

*  把规则和PrometheUS关联起来，修改PrometheUS的配置文件

rule_files:
      - "prometheus.rules.yml"

*  重新加载配置或者重启  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 2]
 *  停掉一个node\_export  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 3]
 *  查看你的告警服务是不是告警了，我这里的服务是我自己写的，通过钉钉告警  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 4]

#### 其他 ####

如果你觉得alertmanager的inhibit\_rules麻烦，你可以不配置inhibit\_rules，而是登录alertmanager的页面，新建slience规则，也能达到关闭某个告警的效果。  
![在这里插入图片描述][20190330100010358.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 5]

--------------------

> 先写到这里了，有问题进QQ群630300475聊一聊，大家一起进步

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70]: /images/20220226/ecd3a4a79aa14836b9d82bdd1db6626b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 1]: /images/20220226/e340c6f0cf4b4d1d8d74790ec7e340b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 2]: /images/20220226/0756e43719cd492fb9deee54523374a5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 3]: /images/20220226/40e8911efec646a3bfe849127bdc31f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 4]: /images/20220226/f093230bf4024bc0b17e7cfa5775598d.png
[20190330100010358.png]: /images/20220226/413fcfbee4f04fcaa7f40ce4d411ec06.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 5]: /images/20220226/3d161d1d0f3940399a66ffe5aad41cbb.png