开源监控利器 grafana

向右看齐 2024-04-18 15:19 19阅读 0赞

#  #

[开源监控利器grafana][grafana]

前言：

做运维的很重要的基础工作就是监控，之前都是统计数据入库，然后前端js图表插件出图，费时费力，可定制性差

前几天接触到了ELK(logstash, elasticsearch, kibana)这套日志收集展示工具集,的确很方便，但是手头没有那么大的存储啊

也不是所有的日志数据都需要，然后就发现了grafana + influxdb的解决方案

简介：

先给出这两个工具的官网

http://grafana.org/

http://influxdb.com/

建议各位看官先大体浏览下这两个工具的介绍和文档

grafana是前端展示界面，要放到apache或nginx下，不需要php环境奥

influxdb是一个时间序列的数据库，你插入的每条数据会自动附加上两个字段，一个时间，一个序列号(用来作为主键的)

ps: influxdb的0.8版本不支持centos 5，只能是centos6以上，所以centos5的还是用0.7的版本

安装：

influxdb就一个rpm包，没有其他依赖，是用go语言写的，go发展很迅猛啊

influxdb会监听4个端口

tcp        0      0 0.0.0.0:8099                0.0.0.0:\*                   LISTEN      29458/influxdb  
tcp        0      0 0.0.0.0:8083                0.0.0.0:\*                   LISTEN      29458/influxdb  
tcp        0      0 0.0.0.0:8086                0.0.0.0:\*                   LISTEN      29458/influxdb  
tcp        0      0 0.0.0.0:8090                0.0.0.0:\*                   LISTEN      29458/influxdb

其中单机使用只需要用到两个，另外两个是分布式部署时采用的

8083 web管理端 http://ip:8083  用户名和密码都是 root

8086 api接口调用端

配置

grafana配置

重命名配置文件

mv config-sample.js config.js

这里配置了两个数据源，第一个是你要存储的监控数据，第二个是grafana用的

当然了你需要提前在influxdb的界面里建立好这两个库(这里就不演示influxdb web界面的登陆和建库操作了)

现在浏览器打开grafana

这个界面是我配置好的，你看到的样子是黑色的官网上那个样子，界面自带黑白两个主题

![161431085812185.jpg][]

为了便于理解grafana的配置方法

这里要说明一下收集数据的过程，我用的python收集

![161447392537661.jpg][]

从日志中收集了两个字段 status和type

python脚本如下

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> 
    <div>
      10 
    </div> 
    <div>
      11 
    </div> 
    <div>
      12 
    </div> 
    <div>
      13 
    </div> 
    <div>
      14 
    </div> 
    <div>
      15 
    </div> 
    <div>
      16 
    </div> 
    <div>
      17 
    </div> 
    <div>
      18 
    </div> 
    <div>
      19 
    </div> 
    <div>
      20 
    </div> 
    <div>
      21 
    </div> 
    <div>
      22 
    </div> 
    <div>
      23 
    </div> 
    <div>
      24 
    </div> 
    <div>
      25 
    </div> 
    <div>
      26 
    </div> 
    <div>
      27 
    </div> 
    <div>
      28 
    </div> 
    <div>
      29 
    </div> 
    <div>
      30 
    </div> 
    <div>
      31 
    </div> 
    <div>
      32 
    </div> 
    <div>
      33 
    </div> 
    <div>
      34 
    </div> 
    <div>
      35 
    </div></td> 
   <td> 
    <div> 
     <div> 
      <code>#!/usr/bin/python</code> 
     </div> 
     <div> 
      <code># push log to influxdb on 10.75.25.103</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>import</code> 
      <code>time</code> 
     </div> 
     <div> 
      <code>from</code> 
      <code>influxdb </code> 
      <code>import</code> 
      <code>client as influxdb</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>host </code> 
      <code>=</code> 
      <code>'10.75.25.103'</code> 
     </div> 
     <div> 
      <code>port </code> 
      <code>=</code> 
      <code>8086</code> 
     </div> 
     <div> 
      <code>username </code> 
      <code>=</code> 
      <code>'root'</code> 
     </div> 
     <div> 
      <code>password </code> 
      <code>=</code> 
      <code>'root'</code> 
     </div> 
     <div> 
      <code>database </code> 
      <code>=</code> 
      <code>'directmessage'</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>db </code> 
      <code>=</code> 
      <code>influxdb.InfluxDBClient(host, port, username, password, database)</code> 
     </div> 
     <div> 
      <code>log_fn </code> 
      <code>=</code> 
      <code>'/data1/multimedia/logs/scribe.log'</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>f </code> 
      <code>=</code> 
      <code>open</code> 
      <code>(log_fn)</code> 
     </div> 
     <div> 
      <code>f.seek(</code> 
      <code>0</code> 
      <code>,</code> 
      <code>2</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>while</code> 
      <code>True</code> 
      <code>:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>line </code> 
      <code>=</code> 
      <code>f.readline()</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>try</code> 
      <code>:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>lines </code> 
      <code>=</code> 
      <code>line.split(</code> 
      <code>'\t'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>post_data</code> 
      <code>=</code> 
      <code>[(</code> 
      <code>"name"</code> 
      <code>,</code> 
      <code>"multimedia"</code> 
      <code>),(</code> 
      <code>"columns"</code> 
      <code>,[</code> 
      <code>"status"</code> 
      <code>, </code> 
      <code>"type"</code> 
      <code>]),(</code> 
      <code>"points"</code> 
      <code>,[[lines[</code> 
      <code>5</code> 
      <code>], lines[</code> 
      <code>6</code> 
      <code>]]])]</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>data </code> 
      <code>=</code> 
      <code>[</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>{ </code> 
      <code>"name"</code> 
      <code>:</code> 
      <code>"multimedia"</code> 
      <code>,</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>"columns"</code> 
      <code>: [</code> 
      <code>"status"</code> 
      <code>, </code> 
      <code>"type"</code> 
      <code>],</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>"points"</code> 
      <code>: [[lines[</code> 
      <code>5</code> 
      <code>], lines[</code> 
      <code>6</code> 
      <code>]]]</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>}</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>]</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>db.write_points(data)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>except</code> 
      <code>:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>f.close()</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>f </code> 
      <code>=</code> 
      <code>open</code> 
      <code>(log_fn)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>f.seek(</code> 
      <code>0</code> 
      <code>,</code> 
      <code>2</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>time.sleep(</code> 
      <code>5</code> 
      <code>)</code> 
     </div> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

influxdb提供了python的模块，用pip安装即可，如果不觉得麻烦也可以用shell的curl

下面是grafana最主要的配置项，其余自己摸索下就可以了

![161450347687674.jpg][]

如果grafana的config.js配置没问题，点击输入框会自动提示字段的

这里就相当于你要展示那些字段，类似sql语法

第一个multimedia是python脚本中的name，相当于mysql中的表

select后面的 count(type) 是你要在图表中展示那些数据

后面的漏斗相当于 sql的where status = ‘succ'

group by time 60s 相当于你用cron一分钟收集一次数据

后面的type 就是 group by type

好了其余都是页面展示的微调。

收工。

好文要顶 关注我 收藏该文 ![icon_weibo_24.png][] ![wechat.png][]

[grafana]: https://www.cnblogs.com/txwsqk/p/3974915.html
[161431085812185.jpg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/6d6482bea0e24d5ab41637ef03d06672.jpg
[161447392537661.jpg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/43fa7d21aae64332bcd28b988d291d7a.jpg
[161450347687674.jpg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/69c45cb427944b57833b303cb229770c.jpg
[icon_weibo_24.png]: https://common.cnblogs.com/images/icon_weibo_24.png
[wechat.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/6997144f9dbf4fff9403453678b84b19.png