从零搭建Prometheus监控报警系统

分手后的思念是犯贱 2023-03-04 09:30 15阅读 0赞

参考文章：[从零搭建Prometheus监控报警系统][Prometheus]

# 一.安装Prometheus Server #

具体参考《[基于docker搭建Prometheus+Grafana监控报警系统][docker_Prometheus_Grafana]》中Prometheus的安装。

# 二.安装客户端提供metrics接口 #

## 1.通过golang客户端提供metrics ##

mkdir -p /home/chenqionghe/promethues/client/golang/src
    cd !$
    export GOPATH=/home/chenqionghe/promethues/client/golang/
    #克隆项目
    git clone https://github.com/prometheus/client_golang.git
    #安装需要翻墙的第三方包
    mkdir -p $GOPATH/src/golang.org/x/
    cd !$
    git clone https://github.com/golang/net.git
    git clone https://github.com/golang/sys.git
    git clone https://github.com/golang/tools.git
    #安装必要软件包
    go get -u -v github.com/prometheus/client_golang/prometheus
    #编译
    cd $GOPATH/src/client_golang/examples/random
    go build -o random main.go

运行3个示例metrics接口

./random -listen-address=:8080 &
    ./random -listen-address=:8081 &
    ./random -listen-address=:8082 &

## 2.通过node exporter提供metrics ##

docker run -d \
    --name=node-exporter \
    -p 9100:9100 \
    prom/node-exporter

然后把这两些接口再次配置到prometheus.yml, 重新载入配置curl -X POST [http://localhost:9090/-/reload][http_localhost_9090_-_reload]

global:
      scrape_interval:     15s # 默认抓取间隔, 15秒向目标抓取一次数据。
      external_labels:
        monitor: 'codelab-monitor'
    rule_files:
      #- 'prometheus.rules'
    # 这里表示抓取对象的配置
    scrape_configs:
      #这个配置是表示在这个配置内的时间序例，每一条都会自动添加上这个{job_name:"prometheus"}的标签  - job_name: 'prometheus'
      - job_name: 'prometheus'
        scrape_interval: 5s # 重写了全局抓取间隔时间，由15秒重写成5秒
        static_configs:
          - targets: ['localhost:9090']
          - targets: ['http://10.211.55.25:8080', 'http://10.211.55.25:8081','http://10.211.55.25:8082']
            labels:
              group: 'client-golang'
          - targets: ['http://10.211.55.25:9100']
            labels:
              group: 'client-node-exporter'

可以看到接口都生效了  
![format_png][]  
prometheus还提供了各种exporter工具，感兴趣小伙伴可以去研究一下

# 三.安装pushgateway #

pushgateway是为了允许临时作业和批处理作业向普罗米修斯公开他们的指标。  
由于这类作业的存在时间可能不够长, 无法抓取到, 因此它们可以将指标推送到推网关中。  
Prometheus采集数据是用的pull也就是拉模型，这从我们刚才设置的5秒参数就能看出来。但是有些数据并不适合采用这样的方式，对这样的数据可以使用Push Gateway服务。  
它就相当于一个缓存，当数据采集完成之后，就上传到这里，由Prometheus稍后再pull过来。  
我们来试一下，首先启动Push Gateway

**使用Pushgateway原因：**

>  *  Prometheus采用pull模式，可能由于不在一个子网或防火墙导致无法直接拉取各target数据
>  *  需要将不同数据汇总后，再由Prometheus统一收集

**其缺点：**

>  *  pushgateway宕机影响范围会更大。
>  *  prometheus拉取状态up只针对pushgateway，无法做到对每个节点有效。
>  *  pushgateway可以持久化推送给它的所有监控数据

##  3.1 运行pushgateway ##

docker run -d \
    --name pushgateway
    -p 9091:9091 \
    prom/pushgateway
    
    # pushgateway默认是不持久化数据的，如果需要，则可以通过启动时加入参数 ：
    "-persistence.file=push_file"

访问http://10.211.55.25:9091 可以看到pushgateway已经运行起来了  
![format_png 1][]

## 3.2 使用API向Pushgateway推数据 ##

prometheus提供了多种语言的sdk，最简单的方式就是通过shell

*  向**pushgateway**推送数据：

> 1. 使用Client SDK
> 
> 2. 直接使用API

### 3.2.1 直接使用API进行数据推送： ###

echo "some_metric 3.14" | curl --data-binary @- http://localhost:9091/metrics/job/some_job

发送更复杂的数据，可以还上instance，表示来源位置：

cat <<EOF | curl --data-binary @- http://localhost:9091/metrics/job/some_job/instance/some_instance
    
    # TYPE some_metric counter
    some_metric{label="val1"} 42
    
    # TYPE another_metric gauge
    # HELP another_metric Just an example.
    another_metric 2398.283
    
    EOF

![format_png 2][]

删除数据：**如果某个监控数据不再需要，则只有手动删除才生效，否则仍然采集的为旧值**

// 删除某个组下某个实例的所有数据
    curl -X DELETE http://localhost:9091/metrics/job/some_job/instance/some_instance
    
    // 删除某个组下的所有数据
    curl -X DELETE http://localhost:9091/metrics/job/some_job

*  推送一个指标

echo "cqh_metric 100" | curl --data-binary @- http://ubuntu-linux:9091/metrics/job/cqh

*  推送多个指标

cat <<EOF | curl --data-binary @- http://10.211.55.25:9091/metrics/job/cqh/instance/test
    # 锻炼场所价格
    muscle_metric{label="gym"} 8800
    # 三大项数据 kg
    bench_press 100
    dead_lift 160
    deep_squal 160
    EOF

然后我们再将pushgateway配置到prometheus.yml里边,重载配置  
看到已经可以搜索出刚刚推送的指标了  
![format_png 3][]

### 3.2.3 使用Client SDK向Pushgateway推数据 ###

通过Client SDK推送metric信息到Pushgateway:

**1.添加pom依赖：**

<dependency>
        <groupId>io.prometheus</groupId>
        <artifactId>simpleclient_pushgateway</artifactId>
        <version>0.6.0</version>
    </dependency>

**2.添加配置：**在Prometheus的配置文件中配置，让其从Pushgateway上进行数据采集，这里`0.51.14.23:9091`为我Pushgateway的地址端口。**配置完后需要重启使其配置生效**

scrape_configs:
      - job_name: 'pushgateway'
        static_configs:
          - targets: ['10.51.14.23:9091']
            labels:
              instance: "pushgateway"

**3.代码：**

@Test
    public void pushToGateWay() throws Exception {
        CollectorRegistry registry = new CollectorRegistry();
    
        Gauge duration = Gauge.build().name("my_batch_job_duration_seconds")
                .help("Duration of my batch job in second").register(registry);
    
        Gauge.Timer durationTimer = duration.startTimer();
        try {
            Gauge lastSuccess = Gauge.build().name("my_batch_job_last_success")
                    .help("Last time my batch job successed, in unixtime")
                    .register(registry);
            lastSuccess.setToCurrentTime();
        } finally {
            durationTimer.setDuration();
            PushGateway pg = new PushGateway("localhost:9091");
            pg.pushAdd(registry, "my_batch_job");
        }
    }

# 四.安装Grafana展示 #

具体参考《[基于docker搭建Prometheus+Grafana监控报警系统][docker_Prometheus_Grafana]》中Grafana的安装。

# 五.安装AlterManager #

Pormetheus的警告由独立的两部分组成。  
Prometheus服务中的警告规则发送警告到Alertmanager。  
然后这个Alertmanager管理这些警告。包括silencing, inhibition, aggregation，以及通过一些方法发送通知，例如：email，PagerDuty和HipChat。  
建立警告和通知的主要步骤：

>  *  创建和配置Alertmanager
>  *  启动Prometheus服务时，通过-alertmanager.url标志配置Alermanager地址，以便Prometheus服务能和Alertmanager建立连接。

创建和配置Alertmanager

mkdir -p /home/chenqionghe/promethues/alertmanager
    cd !$

创建配置文件alertmanager.yml

global:
      resolve_timeout: 5m
    route:
      group_by: ['cqh']
      group_wait: 10s #组报警等待时间
      group_interval: 10s #组报警间隔时间
      repeat_interval: 1m #重复报警间隔时间
      receiver: 'web.hook'
    receivers:
      - name: 'web.hook'
        webhook_configs:
          - url: 'http://10.211.55.2:8888/open/test'
    inhibit_rules:
      - source_match:
          severity: 'critical'
        target_match:
          severity: 'warning'
        equal: ['alertname', 'dev', 'instance']

这里配置成了web.hook的方式，当server通知alertmanager会自动调用webhook [http://10.211.55.2:8888/open/test][http_10.211.55.2_8888_open_test]

下面运行altermanager

docker rm -f alertmanager
    docker run -d -p 9093:9093 \
    --name alertmanager \
    -v /home/chenqionghe/promethues/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml \
    prom/alertmanager

**访问http://10.211.55.25:9093**  
![format_png 4][]

接下来修改Server端配置报警规则和altermanager地址  
修改规则/home/chenqionghe/promethues/server/rules.yml

groups:
      - name: cqh
        rules:
          - alert: cqh测试
            expr: dead_lift > 150
            for: 1m
            labels:
              status: warning
            annotations:
              summary: "{
       {$labels.instance}}:硬拉超标！lightweight baby!!!"
              description: "{
       {$labels.instance}}:硬拉超标！lightweight baby!!!"

这条规则的意思是，硬拉超过150公斤，持续一分钟，就报警通知  
然后再修改prometheus添加altermanager配置

global:
      scrape_interval:     15s # 默认抓取间隔, 15秒向目标抓取一次数据。
      external_labels:
        monitor: 'codelab-monitor'
    rule_files:
      - /etc/prometheus/rules.yml
    # 这里表示抓取对象的配置
    scrape_configs:
      #这个配置是表示在这个配置内的时间序例，每一条都会自动添加上这个{job_name:"prometheus"}的标签  - job_name: 'prometheus'
      - job_name: 'prometheus'
        scrape_interval: 5s # 重写了全局抓取间隔时间，由15秒重写成5秒
        static_configs:
          - targets: ['localhost:9090']
          - targets: ['10.211.55.25:8080', '10.211.55.25:8081','10.211.55.25:8082']
            labels:
              group: 'client-golang'
          - targets: ['10.211.55.25:9100']
            labels:
              group: 'client-node-exporter'
          - targets: ['10.211.55.25:9091']
            labels:
              group: 'pushgateway'
    alerting:
      alertmanagers:
        - static_configs:
            - targets: ["10.211.55.25:9093"]

重载prometheus配置，规则就已经生效  
接下来我们观察grafana中数据的变化  
![format_png 5][]  
然后我们点击prometheus的Alert模块，会看到已经由绿->黄-红，触发了报警  
![format_png 6][]  
![format_png 7][]  
![format_png 8][]

然后我们再来看看提供的webhook接口，这里的接口我是用的golang写的，接到数据后将body内容报警到钉钉  
![format_png 9][]

钉钉收到报警内容如下  
![format_png 10][]

到这里，从零开始搭建Prometheus实现自动监控报警就说介绍完了，一条龙服务，自动抓取接口+自动报警+优雅的图表展示！

[Prometheus]: https://www.cnblogs.com/chenqionghe/p/10494868.html
[docker_Prometheus_Grafana]: https://mp.csdn.net/console/editor/html/107918935
[http_localhost_9090_-_reload]: http://localhost:9090/-/reload
[format_png]: /images/20230208/e8abe7ea448c41e2a46288eedfbf752e.png
[format_png 1]: /images/20230208/3683be5ba49043aab2c94b09e40d22ef.png
[format_png 2]: /images/20230208/aff46d15ce144d7a8c35b52e6947988d.png
[format_png 3]: /images/20230208/afacb54d70a3417897cbe47a364f8b32.png
[http_10.211.55.2_8888_open_test]: http://10.211.55.2:8888/open/test
[format_png 4]: /images/20230208/6b0790a1e11f4dd8acd414e5b1f981c9.png
[format_png 5]: /images/20230208/3a58852e773a491194e2785892a5a2d1.png
[format_png 6]: /images/20230208/c3e77e48742d4ce49dd2fae2692f13c1.png
[format_png 7]: /images/20230208/b96d5cb6f5524073b488723f64b322b3.png
[format_png 8]: /images/20230208/c48e6aafbe8a4806bdf6ad1b8a361f1a.png
[format_png 9]: /images/20230208/db81764070b244228be0604b0c1514b8.png
[format_png 10]: /images/20230208/6f1d7fd2299d4a2b9c226c339653dd03.png