参考文章：从零搭建Prometheus监控报警系统

一.安装Prometheus Server

具体参考《基于docker搭建Prometheus+Grafana监控报警系统》中Prometheus的安装。

二.安装客户端提供metrics接口

1.通过golang客户端提供metrics

mkdir -p /home/chenqionghe/promethues/client/golang/src
cd !$
export GOPATH=/home/chenqionghe/promethues/client/golang/
#克隆项目
git clone https://github.com/prometheus/client_golang.git
#安装需要翻墙的第三方包
mkdir -p $GOPATH/src/golang.org/x/
cd !$
git clone https://github.com/golang/net.git
git clone https://github.com/golang/sys.git
git clone https://github.com/golang/tools.git
#安装必要软件包
go get -u -v github.com/prometheus/client_golang/prometheus
#编译
cd $GOPATH/src/client_golang/examples/random
go build -o random main.go

运行3个示例metrics接口

./random -listen-address=:8080 &
./random -listen-address=:8081 &
./random -listen-address=:8082 &

2.通过node exporter提供metrics

docker run -d \
--name=node-exporter \
-p 9100:9100 \
prom/node-exporter

然后把这两些接口再次配置到prometheus.yml, 重新载入配置curl -X POST http://localhost:9090/-/reload

global:
  scrape_interval:     15s # 默认抓取间隔, 15秒向目标抓取一次数据。
  external_labels:
    monitor: 'codelab-monitor'
rule_files:
  #- 'prometheus.rules'
# 这里表示抓取对象的配置
scrape_configs:
  #这个配置是表示在这个配置内的时间序例，每一条都会自动添加上这个{job_name:"prometheus"}的标签  - job_name: 'prometheus'
  - job_name: 'prometheus'
    scrape_interval: 5s # 重写了全局抓取间隔时间，由15秒重写成5秒
    static_configs:
      - targets: ['localhost:9090']
      - targets: ['http://10.211.55.25:8080', 'http://10.211.55.25:8081','http://10.211.55.25:8082']
        labels:
          group: 'client-golang'
      - targets: ['http://10.211.55.25:9100']
        labels:
          group: 'client-node-exporter'

可以看到接口都生效了
format_png
prometheus还提供了各种exporter工具，感兴趣小伙伴可以去研究一下

三.安装pushgateway

pushgateway是为了允许临时作业和批处理作业向普罗米修斯公开他们的指标。
由于这类作业的存在时间可能不够长, 无法抓取到, 因此它们可以将指标推送到推网关中。
Prometheus采集数据是用的pull也就是拉模型，这从我们刚才设置的5秒参数就能看出来。但是有些数据并不适合采用这样的方式，对这样的数据可以使用Push Gateway服务。
它就相当于一个缓存，当数据采集完成之后，就上传到这里，由Prometheus稍后再pull过来。
我们来试一下，首先启动Push Gateway

使用Pushgateway原因：

Prometheus采用pull模式，可能由于不在一个子网或防火墙导致无法直接拉取各target数据
需要将不同数据汇总后，再由Prometheus统一收集

其缺点：

pushgateway宕机影响范围会更大。
prometheus拉取状态up只针对pushgateway，无法做到对每个节点有效。
pushgateway可以持久化推送给它的所有监控数据

3.1 运行pushgateway

docker run -d \
--name pushgateway
-p 9091:9091 \
prom/pushgateway
# pushgateway默认是不持久化数据的，如果需要，则可以通过启动时加入参数 ：
"-persistence.file=push_file"

访问http://10.211.55.25:9091 可以看到pushgateway已经运行起来了
format_png 1

3.2 使用API向Pushgateway推数据

prometheus提供了多种语言的sdk，最简单的方式就是通过shell

向pushgateway推送数据：

使用Client SDK

直接使用API

3.2.1 直接使用API进行数据推送：

echo "some_metric 3.14" | curl --data-binary @- http://localhost:9091/metrics/job/some_job

发送更复杂的数据，可以还上instance，表示来源位置：

cat <<EOF | curl --data-binary @- http://localhost:9091/metrics/job/some_job/instance/some_instance
# TYPE some_metric counter
some_metric{label="val1"} 42
# TYPE another_metric gauge
# HELP another_metric Just an example.
another_metric 2398.283
EOF

format_png 2

删除数据：如果某个监控数据不再需要，则只有手动删除才生效，否则仍然采集的为旧值

// 删除某个组下某个实例的所有数据
curl -X DELETE http://localhost:9091/metrics/job/some_job/instance/some_instance
// 删除某个组下的所有数据
curl -X DELETE http://localhost:9091/metrics/job/some_job

推送一个指标

echo “cqh_metric 100” | curl —data-binary @- http://ubuntu-linux:9091/metrics/job/cqh
推送多个指标

cat <<EOF | curl —data-binary @- http://10.211.55.25:9091/metrics/job/cqh/instance/test

锻炼场所价格
muscle_metric{label=”gym”} 8800

三大项数据 kg
bench_press 100
dead_lift 160
deep_squal 160
EOF

然后我们再将pushgateway配置到prometheus.yml里边,重载配置
看到已经可以搜索出刚刚推送的指标了
format_png 3

3.2.3 使用Client SDK向Pushgateway推数据

通过Client SDK推送metric信息到Pushgateway:

1.添加pom依赖：

<dependency>
    <groupId>io.prometheus</groupId>
    <artifactId>simpleclient_pushgateway</artifactId>
    <version>0.6.0</version>
</dependency>

2.添加配置：在Prometheus的配置文件中配置，让其从Pushgateway上进行数据采集，这里0.51.14.23:9091为我Pushgateway的地址端口。配置完后需要重启使其配置生效

scrape_configs:
  - job_name: 'pushgateway'
    static_configs:
      - targets: ['10.51.14.23:9091']
        labels:
          instance: "pushgateway"

3.代码：

@Test
public void pushToGateWay() throws Exception {
    CollectorRegistry registry = new CollectorRegistry();
    Gauge duration = Gauge.build().name("my_batch_job_duration_seconds")
            .help("Duration of my batch job in second").register(registry);
    Gauge.Timer durationTimer = duration.startTimer();
    try {
        Gauge lastSuccess = Gauge.build().name("my_batch_job_last_success")
                .help("Last time my batch job successed, in unixtime")
                .register(registry);
        lastSuccess.setToCurrentTime();
    } finally {
        durationTimer.setDuration();
        PushGateway pg = new PushGateway("localhost:9091");
        pg.pushAdd(registry, "my_batch_job");
    }
}

四.安装Grafana展示

具体参考《基于docker搭建Prometheus+Grafana监控报警系统》中Grafana的安装。

五.安装AlterManager

Pormetheus的警告由独立的两部分组成。
Prometheus服务中的警告规则发送警告到Alertmanager。
然后这个Alertmanager管理这些警告。包括silencing, inhibition, aggregation，以及通过一些方法发送通知，例如：email，PagerDuty和HipChat。
建立警告和通知的主要步骤：

创建和配置Alertmanager
启动Prometheus服务时，通过-alertmanager.url标志配置Alermanager地址，以便Prometheus服务能和Alertmanager建立连接。

创建和配置Alertmanager

mkdir -p /home/chenqionghe/promethues/alertmanager
cd !$

创建配置文件alertmanager.yml

global:
  resolve_timeout: 5m
route:
  group_by: ['cqh']
  group_wait: 10s #组报警等待时间
  group_interval: 10s #组报警间隔时间
  repeat_interval: 1m #重复报警间隔时间
  receiver: 'web.hook'
receivers:
  - name: 'web.hook'
    webhook_configs:
      - url: 'http://10.211.55.2:8888/open/test'
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

这里配置成了web.hook的方式，当server通知alertmanager会自动调用webhook http://10.211.55.2:8888/open/test

下面运行altermanager

docker rm -f alertmanager
docker run -d -p 9093:9093 \
--name alertmanager \
-v /home/chenqionghe/promethues/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml \
prom/alertmanager

访问http://10.211.55.25:9093
format_png 4

接下来修改Server端配置报警规则和altermanager地址
修改规则/home/chenqionghe/promethues/server/rules.yml

groups:
  - name: cqh
    rules:
      - alert: cqh测试
        expr: dead_lift > 150
        for: 1m
        labels:
          status: warning
        annotations:
          summary: "{
   {$labels.instance}}:硬拉超标！lightweight baby!!!"
          description: "{
   {$labels.instance}}:硬拉超标！lightweight baby!!!"

这条规则的意思是，硬拉超过150公斤，持续一分钟，就报警通知
然后再修改prometheus添加altermanager配置

global:
  scrape_interval:     15s # 默认抓取间隔, 15秒向目标抓取一次数据。
  external_labels:
    monitor: 'codelab-monitor'
rule_files:
  - /etc/prometheus/rules.yml
# 这里表示抓取对象的配置
scrape_configs:
  #这个配置是表示在这个配置内的时间序例，每一条都会自动添加上这个{job_name:"prometheus"}的标签  - job_name: 'prometheus'
  - job_name: 'prometheus'
    scrape_interval: 5s # 重写了全局抓取间隔时间，由15秒重写成5秒
    static_configs:
      - targets: ['localhost:9090']
      - targets: ['10.211.55.25:8080', '10.211.55.25:8081','10.211.55.25:8082']
        labels:
          group: 'client-golang'
      - targets: ['10.211.55.25:9100']
        labels:
          group: 'client-node-exporter'
      - targets: ['10.211.55.25:9091']
        labels:
          group: 'pushgateway'
alerting:
  alertmanagers:
    - static_configs:
        - targets: ["10.211.55.25:9093"]