Ganglia安装

不念不忘少年蓝@ 2022-08-23 04:49 173阅读 0赞

本文主要介绍[Ganglia][]部署过程、使用过程中遇到的问题和解决办法，以及实际使用的效果。

## 1. 工欲善其事，必先利其器！ ##

前段时间在定位项目性能问题时，苦于难以评价系统各参数以及使用情况对性能的影响，调研了一下集群监测系统，发现了一个监测集群系统运行状态的利器：ganglia。

[Ganglia][]是UC Berkeley发起的一个开源集群监视项目，其核心包含gmond、gmetad以及一个[Web][]前端，主要是用来[监控][Link 1]系统性能，如：cpu 、[mem][]、硬盘利用率， I/O[负载][Link 2]、[网络][Link 3]流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。

不仅如此，**Ganglia使用者可以在其上二次开发以[监控][Link 1]需要的数据，比如组件的请求数、[负载][Link 2]、占用的[内存][Link 4]和[CPU][]、以及运行状态等，并非常直观的显示在[Web][]页面上**。

## 2. Ganglia的工作原理 ##

每台计算机都运行一个收集和发送度量数据的名为gmond的守护进程。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式，才使得Ganglia可以实现良好的扩展。gmond带来的系统负载非常少，这使得它成为在集群中各台计算机上运行的一段代码，而不会影响用户性能。所有这些数据多次收集会影响节点性能。[网络][Link 3]中的"抖动"发生在大量小消息同时出现时，可以通过将节点时钟保持一致，来避免这个问题。

### 2.1 [安装][Link 5]步骤 ###

依赖

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>Ganglia依赖 zlib freetype libart_lgpl libpng</code></td> 
  </tr> 
 </tbody> 
</table>

[安装][Link 5]rrdtool

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>tar -xvzf rrdtool-1.4.7.tar.gz</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>cd rrdtool-1.4.7</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>3</code></td> 
   <td><code>./configure --prefix=/usr/local/rrdtool</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>5</code></td> 
   <td><code>make install</code></td> 
  </tr> 
 </tbody> 
</table>

执行下命令，看是否安装成功

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>/usr/local/rrdtool/bin/rrdtool</code></td> 
  </tr> 
 </tbody> 
</table>

出现如下结果，则表示成功

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>RRDtool 1.4.7 Copyright 1997-2012 by Tobias Oetiker &lt;tobi@oetiker.ch&gt;</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>&nbsp;</code><code>Compiled Jan 8 2013 11:44:13</code></td> 
  </tr> 
 </tbody> 
</table>

如果在configure步骤出现如下错误

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>configure: WARNING:</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>3</code></td> 
   <td><code>&nbsp;</code><code>I could not find a working copy of libxml-2.0. Check config.log for hints on why</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>4</code></td> 
   <td><code>&nbsp;&nbsp;</code><code>this is the case. Maybe you need to set LDFLAGS and CPPFLAGS appropriately</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>5</code></td> 
   <td><code>&nbsp;&nbsp;</code><code>so that compiler and the linker can find libxml2 and its header files. If</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>6</code></td> 
   <td><code>&nbsp;&nbsp;</code><code>you have not installed libxml-2.0, you can get it either from its original home on</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>8</code></td> 
   <td><code><a href="http://xmlsoft.org/downloads.html" rel="nofollow">http://xmlsoft.org/downloads.html</a></code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>10</code></td> 
   <td><code>&nbsp;</code><code>You can find also find an archive copy on</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>12</code></td> 
   <td><code><a href="http://oss.oetiker.ch/rrdtool/pub/libs" rel="nofollow">http://oss.oetiker.ch/rrdtool/pub/libs</a></code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>14</code></td> 
   <td><code>&nbsp;</code><code>The last tested version of libxml-2.0 is 2.7.8.</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>16</code></td> 
   <td><code>&nbsp;&nbsp;</code><code>LDFLAGS=</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>17</code></td> 
   <td><code>&nbsp;&nbsp;</code><code>CPPFLAGS= -I/usr/include/libxml2</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>19</code></td> 
   <td><code>configure: error: Please fix the library issues listed above and try again.</code></td> 
  </tr> 
 </tbody> 
</table>

则说明机器上缺少一些库，需要安装，比如yum -y install libxm2。 如果在时出现如下错误

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>EGIN failed--compilation aborted at Makefile.PL line 1.</code></td> 
  </tr> 
 </tbody> 
</table>

则执行yum install perl-ExtUtils-MakeMaker 命令安装 perl-ExtUtils-MakeMaker。 安装expat

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>tar -xvzf expat-2.1.0.tar.gz</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>./configure --prefix=/usr/local/expat</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>4</code></td> 
   <td><code>make install</code></td> 
  </tr> 
 </tbody> 
</table>

对于64位操作系统，需要手动的拷贝下动态链接库到lib64下

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>mkdir /usr/local/expat/lib64</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>cp -a /usr/local/expat/lib/* /usr/local/expat/lib64/</code></td> 
  </tr> 
 </tbody> 
</table>

安装apr及apr-util

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>./configure --prefix=/usr/local/apr</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>4</code></td> 
   <td><code>make install</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>6</code></td> 
   <td><code>./configure --with-apr=/usr/local/apr --with-expat=/usr/local/expat</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>8</code></td> 
   <td><code>make install</code></td> 
  </tr> 
 </tbody> 
</table>

同样64位机器需要拷贝动态链接库

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>/bin/cp -f /usr/local/apr/include/apr-1/* /usr/local/apr/include/</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>mkdir -p /usr/local/apr/lib64</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>3</code></td> 
   <td><code>/bin/cp -a -f /usr/local/apr/lib/* /usr/local/apr/lib64/</code></td> 
  </tr> 
 </tbody> 
</table>

安装confuse

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>tar -xvzf confuse-2.7.tar.gz</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>./configure CFLAGS=-fPIC --disable-nls --prefix=/usr/local/confuse</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>4</code></td> 
   <td><code>make install</code></td> 
  </tr> 
 </tbody> 
</table>

拷贝动态链接库

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>mkdir -p /usr/local/confuse/lib64</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>/bin/cp -a -f /usr/local/confuse/lib/* /usr/local/confuse/lib64/</code></td> 
  </tr> 
 </tbody> 
</table>

安装ganglia 现在才是安装ganglia的开始，如果提示需要pcre的话，安装下 yum install pcre 下载ganglia-3.2.0，解压，安装

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>Tar –xvzf ganglia-3.4.0.tar.gz</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>./configure --prefix=/usr/local/ganglia --with-librrd=/usr/local/rrdtool --with-libapr=/usr/local/apr --with-libexpat=/usr/local/expat --with-libconfuse=/usr/local/confuse --with-gmetad --enable-gexec --enable-status --sysconfdir=/etc/ganglia</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>4</code></td> 
   <td><code>make install</code></td> 
  </tr> 
 </tbody> 
</table>

ganglia服务端 创建rrdtool数据目录，看$ganglia-3.2.0/web/conf.php里面的gmetad\_root变量，并根据apache的运行用户创建权限

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>mkdir -p /var/lib/ganglia/rrds</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>mkdir -p /var/lib/ganglia/dwoo</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>3</code></td> 
   <td><code>chown -R nobody:nobody /var/lib/ganglia</code></td> 
  </tr> 
 </tbody> 
</table>

配置一个数据源，修改/etc/ganglia/gmetad.conf文件，同时将运行用户设置为rrdtool的目录权限用户，例如apache用户

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>data_source "suc" localhost</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>setuid_username "apache"</code></td> 
  </tr> 
 </tbody> 
</table>

其中suc是数据源的名称，客户端分组会依赖此名称，后面会提到。 添加自启动脚本

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>/bin/cp -f gmetad/gmetad.init /etc/init.d/gmetad</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>/bin/cp -f /usr/local/ganglia/sbin/gmetad /usr/sbin/gmetad</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>3</code></td> 
   <td><code>chkconfig -add gmetad</code></td> 
  </tr> 
 </tbody> 
</table>

启动gmetad服务

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>service gmetad start</code></td> 
  </tr> 
 </tbody> 
</table>

看见Starting GANGLIA gmetad: \[ OK \]就代表运行正常了。 客户端配置 本机安装如下：

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>/bin/cp -f gmond/gmond.init /etc/init.d/gmond</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>/bin/cp -f /usr/local/ganglia/sbin/gmond/usr/sbin/gmond</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>3</code></td> 
   <td><code>chkconfig -add gmond</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>4</code></td> 
   <td><code>gmond --default_config &gt; /etc/ganglia/gmond.conf</code></td> 
  </tr> 
 </tbody> 
</table>

对于生成的默认配置文件需要做适当的修改

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>cluster { </code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>3</code></td> 
   <td><code>owner="apache"</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>4</code></td> 
   <td><code>latlong="unspecified"</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>5</code></td> 
   <td><code>url="unspecified"</code></td> 
  </tr> 
 </tbody> 
</table>

其中name是将要在服务端进行的分组，是服务端的数据源。接下来开启服务

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>service gmond start</code></td> 
  </tr> 
 </tbody> 
</table>

看见Starting GANGLIA gmetad: \[ OK \]代表启动成功。如果有失败，可以讲gmond.conf中的debug有0改为100，看更多的日志，然后进行排查。

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>globals { </code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>daemonize = yes</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>3</code></td> 
   <td><code>setuid = yes</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>4</code></td> 
   <td><code>user = nobody</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>5</code></td> 
   <td><code>debug_level = 100</code></td> 
  </tr> 
 </tbody> 
</table>

非本机客户端配置需要安装服务端安装一样进行配置，运行，非常麻烦，这里使用本机安装好的文件进行安装。使用下面的脚本进行安装deploy-ganglia.sh

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>scp /usr/sbin/gmond $i:/usr/sbin/gmond</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>3</code></td> 
   <td><code>ssh $i mkdir -p /etc/ganglia/</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>4</code></td> 
   <td><code>ssh $i mkdir -p /usr/local/ganglia/lib64</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>5</code></td> 
   <td><code>ssh $i mkdir -p /usr/local/expat/lib</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>6</code></td> 
   <td><code>scp /etc/ganglia/gmond.conf $i:/etc/ganglia/</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>7</code></td> 
   <td><code>scp /etc/init.d/gmond $i:/etc/init.d/</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>8</code></td> 
   <td><code>scp -r /usr/local/ganglia/lib64/* $i:/usr/local/ganglia/lib64/</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>9</code></td> 
   <td><code>scp /usr/local/expat/lib/libexpat.so.1 $i:/usr/local/expat/lib/libexpat.so.1</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>10</code></td> 
   <td><code>scp /usr/lib64/libapr-1.so.0 $i:/usr/lib64/</code></td> 
  </tr> 
 </tbody> 
</table>

实际上就是将本机安装好(编译好)的动态链接库拷贝到其它机器上，使用如下命令拷贝即可

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>sh deploy-ganglia.sh 10.1.11.2</code></td> 
  </tr> 
 </tbody> 
</table>

服务端WEB设置 PHP程序需要依赖Apache来运行，因此需要安装如下依赖

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>yum install php-common php-cli php php-gd httpd</code></td> 
  </tr> 
 </tbody> 
</table>

安装web程序，这里假定apache的root路径在/var/www/html下面,具体路径可查看/usr/local/apache/conf/httpd.conf文件中的DocumentRoot配置。

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>mkdir /var/www/html/ganglia</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>cp -a -f ganglia-3.2.0/web/* /var/www/html/ganglia</code></td> 
  </tr> 
 </tbody> 
</table>

禁用SE[Linux][] setenforce 0 修改rrdtool的路径，文件/var/www/html/ganglia/conf.php中的RRDTOOL，如果不对此配置进行修改，则可能导致访问ganglia时，页面没有图片出现。

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>define("RRDTOOL", "/usr/local/rrdtool/bin/rrdtool");</code></td> 
  </tr> 
 </tbody> 
</table>

重启httpd服务器即可看到效果 service httpd restart

## 3.实际使用效果 ##

在项目中主要监控了系统的负载、[内存][Link 4]、[CPU][]和带宽等四个维度，效果图如下：

### 3.1 负载 ###

Ganglia记录每一时刻的负载情况，并根据负载轻重显示不同的颜色，红色表示负载过重。

![050313_0650_ganglia1.png][]![050313_0650_ganglia2.png][]

### 3.2 [内存][Link 4] ###

Ganglia自带了整机器的内存使用情况，其中包括：总内存、物理使用内存、共享内存、交换内存等，使用者可以二次开发监控某一进程的内存使用状态。

![050313_0650_ganglia3.png][]

### 3.3 CPU ###

![050313_0650_ganglia4.png][]

### 3.4 带宽 ###

![050313_0650_ganglia5.png][]

## 4. 总结 ##

Ganglia是监测集群系统运行状态的利器，能够清晰直观地显示出各个资源的运行状况，如果有必要，可应用于某个项目的实际开发中。

[Ganglia]: http://lovesoo.org/tag/ganglia
[Web]: http://lovesoo.org/tag/web
[Link 1]: http://lovesoo.org/tag/%e7%9b%91%e6%8e%a7
[mem]: http://lovesoo.org/tag/mem
[Link 2]: http://lovesoo.org/tag/%e8%b4%9f%e8%bd%bd
[Link 3]: http://lovesoo.org/tag/%e7%bd%91%e7%bb%9c
[Link 4]: http://lovesoo.org/tag/%e5%86%85%e5%ad%98
[CPU]: http://lovesoo.org/tag/cpu
[Link 5]: http://lovesoo.org/tag/%e5%ae%89%e8%a3%85
[Linux]: http://lovesoo.org/tag/linux
[050313_0650_ganglia1.png]: http://lovesoo.org/wp-content/uploads/2013/05/050313_0650_ganglia1.png
[050313_0650_ganglia2.png]: /images/20220722/ec039f4daad944b7ada92bbad0e27081.png
[050313_0650_ganglia3.png]: /images/20220722/e5e7e03749314c89b5cad2ca127b869c.png
[050313_0650_ganglia4.png]: /images/20220722/c8f4ec504acd4522938f3f5c80532529.png
[050313_0650_ganglia5.png]: /images/20220722/2ff4af29c2604da0aa37b9a0a7feb493.png