Grafana+prometheus 使用 Email 或钉钉告警

蔚落 2022-04-23 08:42 3175阅读 0赞

# Grafana+prometheus 使用 Email 或 钉钉告警 #

# 配置文件准备： #

### 修改prometheus的配置文件，主要配置其拉去数据的地址 ###

![webp][]

prometheus.yml

targets 中的地址是需要拉去数据的服务地址，此配置文件中只配pushgateway的服务地址。（同时可以添加node\_exporter地址，来监控服务器的一些资源数据，例如配置中被注释的 node resources）

### grafana相关配置 defaults.ini： ###

![webp 1][]

修改告警邮件中访问监控页面的地址

![webp 2][]

修改告警邮件地址

> host = smtp.163.com:25      163服务器的smtp地址及端口，25端口是非tls端口，不需要证书认证
> 
> user = \*\*\*\*\*\*@163.com        邮箱用户
> 
> password =\*\*\*\*\*\*\*\*\*\*\*          邮件服务器登录密码
> 
> from\_address = \*\*\*\*@163.com 发送告警邮件的邮箱
> 
> from\_name = Grafana        发送告警邮件的名称

***注：grafana的邮箱配置也可以不再配置文件中配置，可以在docker 启动时进行参数化配置***

# ***启动容器：*** #

> docker run -d \\  
> \-v /home/mpsp/dockerfile/grafana-prometheus/defaults.ini:/etc/grafana/conf/defaults.ini  \\  
> \-v /home/mpsp/dockerfile/grafana-prometheus/prometheus.yml:/etc/prometheus/prometheus.yml \\  
> \-p 3000:3000 \\  
> \-p 9100:9100 \\  
> \-p 9090:9090 \\  
> \-p 9091:9091 \\  
> \--name grafana-prometheus grafana-prometheus
> 
> ***也可以使用以下方式启动（不在defaults.ini 中配置邮件信息的）***
> 
> docker run -d \\  
> \-e GF\_SMTP\_ENABLED=true \\   
> \-e GF\_SMTP\_SKIP\_VERIFY=true \\   
> \-e GF\_SMTP\_HOST=smtp.163.com:25 \\   
> \-e GF\_SMTP\_USER=\*\*\*\*@163.com \\  
> \-e GF\_SMTP\_PASSWORD=\*\*\*\*\*\* \\   
> \-e GF\_SMTP\_FROM\_ADDRESS=\*\*\*\*@163.com  \\   
> \-v /home/mpsp/dockerfile/grafana-prometheus/prometheus.yml:/etc/prometheus/prometheus.yml \\   
> \-p 3000:3000 \\   
> \-p 9100:9100 \\   
> \-p 9090:9090 \\   
> \-p 9091:9091 \\   
> \--name grafana-prometheus grafana-prometheus

![webp 3][]

访问 IP:9091 可以查看pushgateway收集到的监控数据

![webp 4][]

访问 IP:9090/graph 可以调用prometheus的监控项进行图像化展示

![webp 5][]

访问 IP:3000 访问 grafana 监控平台，默认登录信息 admin/admin

# 配置告警通知： #

### 配置数据源： ###

![webp 6][]

增加                                        prometheus数据源

点击 test测试是否可以连接。

### 配置邮件告警： ###

![webp 7][]

Email告警配置

配置路径：Grafana左上角图标 -->Alerting --> Configure notifications -->New Channel 进行设置

如果想要通知多个邮箱，可以在Email address栏中通过 ； 进行配置,配置完之后可以使用“Send Test”进行测试，会收到一份测试邮件：

![webp 8][]

测试邮件

### 配置钉钉告警： ###

下载安装钉钉后，需要添加一个机器人来接收告警信息：

![webp 9][]

机器人管理

![webp 10][]

自定义一个接收服务器

![webp 11][]

需要添加一个群组用于接收告警信息，添加完后，下一步会生产一个 webhook 地址

![webp 12][]

创建完成

切换至Grafana同样使用 New Channel 进行配置，下拉窗口选择“DingDing”

![webp 13][]

添加钉钉通知，url 是 前面创建机器人服务器时生成的webhook地址

同样使用 “Send Test”进行测试，会想 群组发送一条测试信息

![webp 14][]

测试信息

### 增加指标监控： ###

Grafana左上角图标 -->Dashboard -->create your fist dashboard -->Graph

![webp 15][]

添加监控图

![webp 16][]

编辑

其他指标的维护已在另外一篇文章（[Ubuntu 16.04 安装Grafana并配置监控（Grafana + MySQL）][Ubuntu 16.04 _Grafana_Grafana _ MySQL]）中介绍过，此处不再赘述，此处只对Metrices 和 Alert 进行介绍：

![webp 17][]

该配置是展示每秒接口调用的次数

![webp 18][]

配置告警指标

> Condition 选项中是配置监控指标的报警限制：
> 
> 监控数据的什么指标（when）从此时开始1分钟内（query（A，1m，now））超出阈值（is above），则进行告警
> 
> 在上图例子中使用的是最大值（max()）

配置结束后可以使用“Test Rule”来验证查询是否有问题

![webp 19][]

配置告警内容

Send to 中配置的是告警方式，点击 +可以添加前面增加的 Altering

Message 中配置的是告警的具体描述

![webp 20][]

告警历史信息

至此，告警配置已经配置结束，下面进行验证。

--------------------

使用脚本或浏览器持续调用埋点接口，当均值超出阈值时，就会触发告警：

![webp 21][]

峰值超出阈值5，虚线包含的部分

![webp 22][]

告警邮件

一段时间后，当指标恢复到阈值以下，会发一封OK邮件

![webp 23][]

恢复邮件

![webp 24][]

钉钉接收收到的告警信息

[webp]: /images/20220322/7a0542aa98584f7d8d69f00f8910f4ca.png
[webp 1]: /images/20220322/122fb89df6b84452bf630f1fbb443092.png
[webp 2]: /images/20220322/a10595d041164bab911cd73ee952a068.png
[webp 3]: /images/20220322/aa3289981af04482b3787060ae66f386.png
[webp 4]: /images/20220322/fc0b90e3f90d4fa7ad1b835b29db1e90.png
[webp 5]: /images/20220322/b0552056c9b94d8d8bffa7568b743630.png
[webp 6]: /images/20220322/2a423f22630c45e6bdb14b60c62f7293.png
[webp 7]: /images/20220322/98bddb5212b546b4a04248cbc3317a1e.png
[webp 8]: /images/20220322/6bf92d46af954904aa7270c075c53820.png
[webp 9]: /images/20220322/a9774f8b731545939f2f9864f2524df1.png
[webp 10]: /images/20220322/83424915495f4ed5b8d4eb45d0d955a7.png
[webp 11]: /images/20220322/cb0b301e614f4fc3b1886af1e4c4e978.png
[webp 12]: /images/20220322/f21c42712fd84cfcae6f00d6f9363024.png
[webp 13]: /images/20220322/db1d7b0a1f404222b39b06cecb7db1d5.png
[webp 14]: /images/20220322/a688255d74fe4d948398ae8b13cb51a8.png
[webp 15]: /images/20220322/3ea878a1e43c4650ac1863444aebe769.png
[webp 16]: /images/20220322/01a2f1e8790449b691df752a51cb298f.png
[Ubuntu 16.04 _Grafana_Grafana _ MySQL]: https://www.jianshu.com/p/7403a4cca3fa
[webp 17]: /images/20220322/f85aec52de284c9fa80fd5ca9e1d50a6.png
[webp 18]: /images/20220322/7251fc6346e242c68bed80110e5974fb.png
[webp 19]: /images/20220322/077f1518ffa04ce9aa93c05ab1168ab1.png
[webp 20]: /images/20220322/34aef34b12004399b7f3f13fde344a68.png
[webp 21]: /images/20220322/e23dc2184d114330accc9b7bb3c8c0c2.png
[webp 22]: /images/20220322/4d36bb35567b417195342f35c643ee0a.png
[webp 23]: /images/20220322/0d49f73275654059afb2b12337699b42.png
[webp 24]: /images/20220322/c2499e44f8d74760a6479a7caf4235b2.png