使用jmxtrans监控Spark JVM信息到grafana显示

深碍√TFBOYSˉ_ 2022-01-22 14:45 186阅读 0赞

### 1、[下载jmxtrans][jmxtrans] ###

jmxtrans作为agent部署在需要采集数据的节点上，主要用于数据采集和发送.

### 2、修改\{jmxtrans\}/conf下配置文件 ###

配置文件内容需要json格式，名字可自取。

{
      "servers" : [
    {   
        "port" : "8085",                                         // 采集jmx进程的通信端口
        "host" : "10.88.61.73",                              // 表示采集数据所在host IP
        "queries" : [ {
          "obj" : "java.lang:type=MemoryPool,name=CMS Old Gen",     // 这里的obj是监控的bean对象，填写格式依据Jconsole所示
          "attr" : [ "Usage" ],
          "resultAlias":"jmxDB_sparkTS_CMS_Old_datapm",         // 数据存储的表别名，后面通过这个表名查到对应数据
          "outputWriters" : [ {
            "@class" : "com.googlecode.jmxtrans.model.output.InfluxDbWriterFactory",
            "url" : "http://10.88.60.141:8086/",              // 表示grafana服务host地址
            "username" : "admin",
            "password" : "admin",
            "database" : "jmxDB",
            "tags"     : {"application" : "SparkTS"}
          } ]
        } ]
    },
    {   
        "port" : "8085",
        "host" : "10.88.61.73",
        "queries" : [ {
          "obj" : "java.lang:type=MemoryPool,name=Par Eden Space",
          "attr" : [ "Usage" ],
          "resultAlias":"jmxDB_sparkTS_Par_Eden_datapm",
          "outputWriters" : [ {
            "@class" : "com.googlecode.jmxtrans.model.output.InfluxDbWriterFactory",
            "url" : "http://10.88.60.141:8086/",
            "username" : "admin",
            "password" : "admin",
            "database" : "jmxDB",
            "tags"     : {"application" : "SparkTS"}
          } ]
        } ]
    }
    ]
    }

### 3、修改待监控进程的配置信息 ###

**以spark进程为例，在spark-default.conf文件中加入参数开启jmx端口**：   
export SPARK\_DAEMON\_JAVA\_OPTS=’-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=8085’

如果是spark长进程作业得重启后参数才生效，可以通过lsof -i:8085 判断端口是否生效

### 4、 启动jmx ###

启动jmxtrans开启数据拉取。   
命令格式：bin/jmxtrans.sh \{start|stop|restart|status\} \[filename.json\]

### 5、登入grafana的监控页面，配置相应的数据展示信息 ###

*  [grafana的下载安装可参考官方文档][grafana]   
    然后配置好grafana，这里我们使用influxDB。
 *  建立一个图表，配置类似如下参数

![è¿éåå¾çæè¿°][70]

*  然后就可以看到图了。

配置好后效果如下图

![è¿éåå¾çæè¿°][70 1]

[jmxtrans]: http://central.maven.org/maven2/org/jmxtrans/jmxtrans/270/jmxtrans-270-dist.tar.gz
[grafana]: http://docs.grafana.org/installation/configuration/
[70]: /images/20220122/c0ea9e370ee04c5a9ef23729b3310df5.png
[70 1]: /images/20220122/c1e6699c9af047f9b0c8f22066ab3cf0.png