zabbix系列（十二) 监控MongoDB业务数据

逃离我推掉我的手 2022-04-04 03:37 273阅读 0赞

**目录**

一、简介

二、部署说明

2.1编写python程序进行获取mogno数据

2.2、上传python脚本至服务器，并测试通过

2.3、配置zabbix web页面，获取数据入库

2.4 、配置grafana展现数据,详细配置可参考我之前的grafana文章

--------------------

# 一、简介 #

网上有很多的zabbix监控mongodb的性能模版，但很少有调用获取mongo中的表数据的，因为公司需要做业务监控，所有就做了一下，基本思路是通过  
1、python获取mongo表数据，python获取到数据后做逻辑计算

2、zabbix调用python获取数据入库，并配置触发器进行监控

3、grafana调用zabbix的api接口进行数据可视化展现

环境介绍：

服务器版本：centos7

python版本：3.6

zabbix版本：3.4.10

grafana版本 ：4.6.3

mongodb版本：3.0 （集群）  被监控的表为

各个服务的搭建本文中就不介绍了，需要了解的同学可以去找我的zabbix系列文章，下面进行说明

# 二、部署说明 #

## 2.1编写python程序进行获取mogno数据 ##

先通过工具，查询下mongo数据，推介工具nosqlbooster for mongodb

mac的版本有需要的可以从这里下载：[https://pan.baidu.com/s/13ypUT9LWEpisRoRICmNjPg][https_pan.baidu.com_s_13ypUT9LWEpisRoRICmNjPg]

windows版本从这里下载：[https://pan.baidu.com/s/1EU3Q4XudiCX57ZYIoszQtw][https_pan.baidu.com_s_1EU3Q4XudiCX57ZYIoszQtw]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1MjcwMDIyMg_size_16_color_FFFFFF_t_70][]

编写python脚本zabbixmongodb.py，脚本如下：

#!/usr/bin/env python3
    # -*- coding:utf-8 -*-
    import json
    import datetime
    import time
    import logging
    import sys
    import os
    import subprocess
    import pymongo 
    
    
    class zabbixmongodb:
      #写入日志
      def console_out(self,message,loglevel):
        filenames=sys.path[0]+'/logs/zabbixmongodb.'+str(datetime.datetime.now().strftime("%Y%m%d"))+'.log'
        #  这里进行判断，如果logger.handlers列表为空，则添加，否则，直接去写日志
      
    
        logging.basicConfig(
            level=logging.INFO,  # 定义输出到文件的log级别，大于此级别的都被输出
            format='%(asctime)s  %(filename)s : %(levelname)s  %(message)s',  # 定义输出log的格式
            datefmt='%Y-%m-%d %A %H:%M:%S',  # 时间
            filename=filenames,  # log文件名
            filemode='a')  # 写入模式“w”或“a”
        # 配置这一段是为了输出至屏幕
        #console = logging.StreamHandler()  # 定义console handler
        #console.setLevel(logging.INFO)  # 定义该handler级别
        #formatter = logging.Formatter('%(asctime)s  %(filename)s : %(levelname)s  %(message)s')  # 定义该handler格式
        #console.setFormatter(formatter)
        #logging.getLogger().addHandler(console)  # 实例化添加handler
    
      
        if(loglevel=='info'):
          logging.info(message)
        elif(loglevel=='error'):
          logging.error(message)
        else:
          logging.info(message)
    
        # 配置这一段是为了输出至屏幕
        #输出完需要清理
        #logging.getLogger().removeHandler(console)  
    
      def selmongodata(self):
        #数据库环境
        mongoenv="dev"
        #客户编号
        appCode=""
        #场景
        orderType=""
        #供应商
        channel=""
        #业务
        yewu=""
        try:
          
          mongoenv = sys.argv[1]
          appCode = sys.argv[2]
          orderType = sys.argv[3]
          channel = sys.argv[4]
          yewu = sys.argv[5]
        except  Exception as err:
          loginfo='workcode:【'+workcode+'】,【---输入参数有误error---】【'+err+'】'
          this.console_out(loginfo,'error')
          print('error')
          #终止任务
          sys.exit(0)
    
        mongoconf=""
        if mongoenv=="dev":
          mongoconf=DEV_MONGO_HOST
        elif mongoenv=="stg":
          mongoconf=STG_MONGO_HOST
        elif mongoenv=="pro":
          mongoconf=PRO_MONGO_HOST
        else:
          mongoconf=DEV_MONGO_HOST
    
        myquery = { "appCode": appCode ,"orderType":orderType,"channel":channel}
        loginfo='workcode:【'+workcode+'】,【---执行查询命令---】数据库环境:【'+mongoenv+'】,查询条件:【'+str(myquery)+'】'  
        this.console_out(loginfo,'info') 
        try:
          myclient=pymongo.MongoClient(mongoconf)
          mydb=myclient["boluome"]
          mycol=mydb["data_statistics"]
          s_str=mycol.find_one(myquery)
          #print(type(s_str),type(s_str),s_str)
          
          loginfo='workcode:【'+workcode+'】,【---执行查询命令---】,返回值:【'+str(s_str)+'】,查询条件:【'+str(myquery)+'】'
          #{'_id': ObjectId('5bf64f5be4ba49123aef2cda'),  --数据库uuid
          #  'appCode': 'zjrcu', --客户编号
          # 'orderType': 'waimai', --场景
          # 'channel': 'eleb',    --供应商
          # 'updatedAt': 1544429100000, --更新时间戳
          # 'orderCountNum': 128, --当天下单总量
          # 'orderPayNum': 117, --当天支付订单量
          #  'orderCancelNum': 11, --当天取消订单量
          # 'orderTobePayNum':0, --当天待支付订单量
          # 'date': '2018-12-10 16:05'} --数据更新时间
          
          print(s_str[yewu])
          this.console_out(loginfo,'info') 
          myclient.close()
    
        except  Exception as err:
          loginfo='workcode:【'+workcode+'】,【---执行查询命令---】,返回值:【'+str(err)+'】,查询条件:【'+str(myquery)+'】'
          this.console_out(loginfo,'error') 
          #若异常返回
          print('error')
        
      #生成配置文件
      def setmongoconf(self,mongoconf):
        myclient=pymongo.MongoClient(mongoconf)
        mydb=myclient["boluome"]
        mycol=mydb["data_statistics"]
        s_str=mycol.find()
        #print(type(s_str),type(s_str),s_str)
        
        #{'_id': ObjectId('5bf64f5be4ba49123aef2cda'),  --数据库uuid
        #  'appCode': 'zjrcu', --客户编号
        # 'orderType': 'waimai', --场景
        # 'channel': 'eleb',    --供应商
        # 'updatedAt': 1544429100000, --更新时间戳
        # 'orderCountNum': 128, --当天下单总量
        # 'orderPayNum': 117, --当天支付订单量
        #  'orderCancelNum': 11, --当天取消订单量
        # 'orderTobePayNum':0, --当天待支付订单量
        # 'date': '2018-12-10 16:05'} --数据更新时间
        pythons="/etc/zabbix/qingyunsdk/zabbixmongodb.py"
        huanjing="dev"
        for x in s_str:
          strs_orderCountNum="UserParameter=mongodata-"+huanjing+"-"+x["appCode"]+"-"+x["orderType"]+"-"+x["channel"]+"-orderCountNum,"+pythons+" "+huanjing+" "+x["appCode"]+" "+x["orderType"]+" "+x["channel"]+" orderCountNum"
          strs_orderPayNum="UserParameter=mongodata-"+huanjing+"-"+x["appCode"]+"-"+x["orderType"]+"-"+x["channel"]+"-orderPayNum,"+pythons+" "+huanjing+" "+x["appCode"]+" "+x["orderType"]+" "+x["channel"]+" orderPayNum"
          strs_orderCancelNum="UserParameter=mongodata-"+huanjing+"-"+x["appCode"]+"-"+x["orderType"]+"-"+x["channel"]+"-orderCancelNum,"+pythons+" "+huanjing+" "+x["appCode"]+" "+x["orderType"]+" "+x["channel"]+" orderCancelNum"
          strs_orderTobePayNum="UserParameter=mongodata-"+huanjing+"-"+x["appCode"]+"-"+x["orderType"]+"-"+x["channel"]+"-orderTobePayNum,"+pythons+" "+huanjing+" "+x["appCode"]+" "+x["orderType"]+" "+x["channel"]+" orderTobePayNum"
          print(strs_orderCountNum)
          print(strs_orderPayNum)
          print(strs_orderCancelNum)
          print(strs_orderTobePayNum)
        myclient.close()
      
    
    if __name__ == '__main__':
      #本次任务的编号
      workcode=datetime.datetime.now().strftime("%Y%m%d%H%M%S.%f")
      this=zabbixmongodb()
    
      #数据连接参数说明
      #配置说明 
      # authSource=admin 验证用、
      # replicaSet=foba 副本集群模式，副本名称为foba；
      # readPreference=secondaryPreferred 当主节点不能读取时候会自动切换至从节点读取 ，
      # serverSelectionTimeoutMS=3 设置超时后重试3次，测试下来基本1秒左右。如果不加这个会一直重试，30秒结束
      DEV_MONGO_HOST = 'mongodb://root:密码@192.168.0.7,192.168.0.10/?authSource=admin&replicaSet=foba&readPreference=secondaryPreferred&serverSelectionTimeoutMS=3'
      STG_MONGO_HOST = 'mongodb://root:密码@192.168.2.3,192.168.2.4/?authSource=admin&replicaSet=foba&readPreference=secondaryPreferred'
      PRO_MONGO_HOST = 'mongodb://root:密码@mongo-m.localdomain,mongo-s.localdomain,mongo-s2.localdomain/?authSource=admin&replicaSet=foba&readPreference=secondaryPreferred'
    
      #生成配置文件，zabbix时候调用,执行python3 /Users/ll/Desktop/work/gogs/qingyunsdk/zabbixmongodb.py > /Users/ll/Desktop/work/gogs/qingyunsdk/dev-mongo.conf
      #this.setmongoconf(DEV_MONGO_HOST)
    
      #执行查询命令
      this.selmongodata()

## 2.2、上传python脚本至服务器，并测试通过 ##

上传该zabbixmongodb.py程序至服务器，我是上传至zabbix-server所在服务器，其实这个可以上传任务服务器，上面的环境需要有python3和zabbix-agent

安装pyhton连接mongodb的插件pymongo

使用pip3 install pymongo

\[root@i-pumjfiuu ~\]\# cd /etc/zabbix/

\[root@i-pumjfiuu zabbix\]\# ls  
qingyunsdk  tcp\_connections.sh  zabbix\_agentd.conf  zabbix\_agentd.conf.bak  zabbix\_agentd.d

![20181214171805982.png][]

\[root@i-pumjfiuu zabbix\]\# cd qingyunsdk/  
\[root@i-pumjfiuu qingyunsdk\]\# ls  
conf  dev-mongo.conf  logs  qingyun.py  setgiturl.py  zabbixmongodb.py  
\[root@i-pumjfiuu qingyunsdk\]\# pwd  
/etc/zabbix/qingyunsdk  
\[root@i-pumjfiuu qingyunsdk\]\#

\#赋可执行权限

\[root@i-pumjfiuu qingyunsdk\]\# chmod +x zabbixmongodb.py

测试脚本是否起作用

\[root@i-pumjfiuu qingyunsdk\]\# ./zabbixmongodb.py dev hxb menpiao lvmama orderPayNum  
0

\[root@i-pumjfiuu qingyunsdk\]\# cd ..  
\[root@i-pumjfiuu zabbix\]\# ls  
qingyunsdk  tcp\_connections.sh  zabbix\_agentd.conf  zabbix\_agentd.conf.bak  zabbix\_agentd.d  
\[root@i-pumjfiuu zabbix\]\# cd zabbix\_agentd.d/  
\[root@i-pumjfiuu zabbix\_agentd.d\]\# ls  
dev-mongo.conf  mongo.conf.bak  
\[root@i-pumjfiuu zabbix\_agentd.d\]\#   
编辑dev-mongo.conf，配置zabbix的监控项

比如我这边,添加以下内容，其中mongodata-dev-icbc-jiayouka-juhe-orderCountNum 就是zabbix的键值：

\[root@i-pumjfiuu zabbix\_agentd.d\]\# vim dev-mongo.conf

UserParameter=mongodata-dev-icbc-jiayouka-juhe-orderCountNum,/etc/zabbix/qingyunsdk/zabbixmongodb.py dev icbc jiayouka juhe orderCountNum

再编辑zabbix\_agentd.conf文件

\[root@i-pumjfiuu zabbix\_agentd.d\]\# cd ..  
\[root@i-pumjfiuu zabbix\]\# vim zabbix\_agentd.conf

添加以下三项：

#开启远程脚本执行权限
    EnableRemoteCommands= 1
    # zabbix的脚本配置读取目录地址
    Include=/etc/zabbix/zabbix_agentd.d/*.conf
    #脚本使用root权限执行
    AllowRoot=1

执行重启命令使配置生效

\[root@i-pumjfiuu zabbix\]\# service zabbix\_agentd restart

然后使用zabbix\_get命令测试刚配置的键值是否能正常获取数据

\[root@i-pumjfiuu zabbix\]\#  /usr/bin/zabbix\_get -s 192.168.1.70 -p 10050 -k "mongodata-dev-icbc-jiayouka-juhe-orderCountNum"

![20181214173120997.png][]

ok，正常，如果这里报错就需要检查下zabbix的zabbix\_agentd.conf和dev-mongo.conf 的配置

## 2.3、配置zabbix web页面，获取数据入库 ##

找到主机zabbix server,新建监控项，配置如下

设置键值：mongodata-dev-oklife-game-yizhong-orderCountNum

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1MjcwMDIyMg_size_16_color_FFFFFF_t_70 1][]

建立图形验证该键值是否能正常获取数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1MjcwMDIyMg_size_16_color_FFFFFF_t_70 2][]

ok,能获取数据

## 2.4 、配置grafana展现数据,详细配置可参考我之前的grafana文章 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1MjcwMDIyMg_size_16_color_FFFFFF_t_70 3][]

[https_pan.baidu.com_s_13ypUT9LWEpisRoRICmNjPg]: https://pan.baidu.com/s/13ypUT9LWEpisRoRICmNjPg
[https_pan.baidu.com_s_1EU3Q4XudiCX57ZYIoszQtw]: https://pan.baidu.com/s/1EU3Q4XudiCX57ZYIoszQtw
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1MjcwMDIyMg_size_16_color_FFFFFF_t_70]: /images/20220404/67850f519e0c4092b2f765cea09df4bc.png
[20181214171805982.png]: /images/20220404/5765af6b660249eb87fb8dee6823d5b0.png
[20181214173120997.png]: /images/20220404/2adb5674ac4d406195c9c2d13583163e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1MjcwMDIyMg_size_16_color_FFFFFF_t_70 1]: /images/20220404/663bb84fd81a4249b96273f0c98f50e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1MjcwMDIyMg_size_16_color_FFFFFF_t_70 2]: /images/20220404/73fc5a8b28c5490f96e20ba127d47e4c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d1MjcwMDIyMg_size_16_color_FFFFFF_t_70 3]: /images/20220404/0c5a3b9acdf24ccb8c517570e0955d15.png