部署Ganglia监控Hadoop&Hbase

在运维hadoop的时候，经常会遇到一些性能问题。而性能问题，是无法简单通过web页面和log分析出来的。需要很多方面的指标。而Ganglia就是比较实用个监控工具之一。

部署Ganglia，百度一下，很多人已经分享很多。结合众人的经验。并加入自己安装过程中遇到的问题，整理出本文。

1. 准备了2台机器

<code>Server</code>

<code>192.168.0.11(gmetad,web,gmond-master)</code>

<code>Client</code>

<code>192.168.0.12(gmond)</code>

2. Server端需要安装的软件包

● epel包的安装：yum install -y epel-release(解决不能yum安装某些安装包的问题)

● gmetad的安装：yum install -y ganglia-gmetad ganglia-devel

● gmond的安装：yum install -y ganglia-gmond ganglia-gmond-python

● rrdtool的安装：yum install -y rrdtool rrdtool-devel

● httpd服务器的安装：yum install -y httpd

● ganglia-web及php安装：yum install -y ganglia-web php

● 其他依赖包的安装：yum install -y apr-devel zlib-devel libconfuse-devel expat-devel pcre-devel

3. 被监测节点需要安装的软件包

4. 安装目录说明

● ganglia配置文件目录：/etc/ganglia

● rrd数据库存放目录：/var/lib/ganglia/rrds

● httpd主站点目录：/var/www/html

● ganglia-web安装目录：/usr/share/ganglia

● ganglia-web配置目录：/etc/httpd/conf.d/ganglia.conf

5. 关闭SELINUX

<code>vi /etc/selinux/config</code>

<code>把SELINUX=enforcing改成SELINUX=disable；</code>

<code>需要重启机器。</code>

6. 关闭防火墙

<code># chkconfig iptables off</code>

<code># chkconfig iptables --list</code>

<code>iptables 0:off 1:off 2:off 3:off 4:off 5:off 6:off</code>

7. 配置/etc/ganglia/gmetad.conf

修改data_source，改成：

<code>data_source "testcluster” 192.168.0.11:8650 #gmetad采集数据的目标gmond地址和端口(tcp_accept_channel)</code>

8. 配置gmond

/etc/ganglia/gmond.conf，修改以下内容(这个gmond节点作为收集节点，这个节点可以是多个，最后需要在gmetad.conf上进行配置)：

<code>cluster {</code>

<code>name = </code><code>"testcluster"</code> <code>#设置集群的名称</code>

<code>#owner = "unspecified"</code>

<code>latlong = </code><code>"unspecified"</code>

<code>url = </code><code>"unspecified"</code>

<code>#发送到目标gmond的地址和端口（单播）</code>

<code>udp_send_channel {</code>

<code>#接收udp的端口</code>

<code>udp_recv_channel {</code>

<code>#gmetad如果过来收集数据请求的端口</code>

<code>tcp_accept_channel {</code>

<code>gzip_output = no</code>

9. 配置web

软连接方式

<code>>ln -s /usr/share/ganglia /var/www/ganglia</code>

也可以将/usr/share/ganglia的内容直接复制到/var/www/ganglia

10. 修改/etc/httpd/conf.d/ganglia.conf，改成：

<code>Alias /ganglia /usr/share/ganglia</code>

<code>Order deny,allow</code>

<code>Allow from all</code>

11. 启动服务

<code>#service gmetad start</code>

<code>#service gmond start</code>

<code>#service httpd restart</code>

至此，Ganglia的server端已经部署完成。

配置客户端：

12. 客户端只要配置gmond即可(需要先安装yum -y install ganglia-gmond ganglia-gmond-python)

13. 配置HDFS、YARN集成Ganglia

修改hadoop-metrics2.properties

<code># for Ganglia 3.1 support</code>

<code>*.sink.ganglia.</code><code>class</code><code>=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31</code>

<code>*.sink.ganglia.period=10</code>

<code># default for supportsparse is false</code>

<code>*.sink.ganglia.supportsparse=</code><code>true</code>

<code>*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both</code>

<code>*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40</code>

<code>namenode.sink.ganglia.servers=192.168.0.11:8649 # host请参考gmond.conf中的定义</code>

<code>datanode.sink.ganglia.servers=192.168.0.11:8649</code>

<code>resourcemanager.sink.ganglia.servers=192.168.0.11:8649</code>

<code>nodemanager.sink.ganglia.servers=192.168.0.11:8649</code>

<code>mrappmaster.sink.ganglia.servers=192.168.0.11:8649</code>

<code>jobhistoryserver.sink.ganglia.servers=192.168.0.11:8649</code>

14. HBase集成Ganglia

修改hadoop-metrics2-hbase.properties

<code>*.sink.file*.</code><code>class</code><code>=org.apache.hadoop.metrics2.sink.FileSink</code>

<code># default sampling period</code>

<code>*.period=10</code>

<code>*.source.filter.</code><code>class</code><code>=org.apache.hadoop.metrics2.filter.GlobFilter</code>

<code>*.record.filter.</code><code>class</code><code>=${*.source.filter.</code><code>class</code><code>}</code>

<code>*.metric.filter.</code><code>class</code><code>=${*.source.filter.</code><code>class</code><code>}</code>

<code>hbase.sink.ganglia.record.filter.exclude=*Regions*</code>

<code>hbase.sink.ganglia.</code><code>class</code><code>=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31</code>

<code>hbase.sink.ganglia.tagsForPrefix.jvm=ProcessName</code>

<code>*.sink.ganglia.period=20</code>

<code>hbase.sink.ganglia.servers=192.168.0.11:8649 # host请参考gmond.conf中的定义</code>

15. 拷贝配置文件到每一个需要监控的机器上

将hadoop-metrics2.properties拷贝到$HADOOP_HOME/etc/hadoop/目录下

将hadoop-metrics2-hbase.properties拷贝到$HBASE_HOME/conf目录下

重新启动hadoop&hbase软件，令其生效。

16. 启动监控端的gmond

<code>service gmond start</code>

问题汇总：

客户端已经有信息传递，能看到整体CPU load等信息

2. 但是各个节点的信息都是空的，显示“no matching metrics detected or rrds not readable”

3. 查看RRDs信息

# cd /var/lib/ganglia/rrds

# ll

drwxr-xr-x 5 ganglia ganglia 4096 Jan 17 08:50 azcluster

drwxr-xr-x 2 ganglia ganglia 36864 Jan 17 10:59 __SummaryInfo__

4. 文件夹名是小写的

drwxr-xr-x 2 ganglia ganglia 32768 Jan 17 10:58 azcbetadnl05.envazure.com

drwxr-xr-x 2 ganglia ganglia 4096 Jan 17 08:47 azcbetaldapl01.envazure.com

drwxr-xr-x 2 ganglia ganglia 36864 Jan 17 10:58 __SummaryInfo__

5. 数据都已经传递过来了

# ls azcbetadnl05.envazure.com/|more

boottime.rrd

bytes_in.rrd

bytes_out.rrd

cpu_aidle.rrd

disk_free_absolute_data1.rrd

disk_free_absolute_data2.rrd

disk_free_absolute_data3.rrd

disk_free_absolute_data4.rrd

disk_free_absolute_data5.rrd

disk_free_absolute_dev_shm.rrd

disk_free_absolute_mnt_resource.rrd

......

6. 原因：/var/lib/ganglia/rrds中对各个节点相应的文件夹是小写，如果节点的hostname中包含大写字母的话，这样就发现找不到数据了。

解决方法：修改gmetad.conf，将case_sensitive_hostnames的值设置为1

# ls /etc/ganglia/

drwxr-xr-x 2 root root 4096 Jan 17 08:36 conf.d

-rw-r--r-- 1 root root 171 Oct 12 2015 conf.php

-rw-r--r-- 1 root root 9834 Jan 17 08:44 gmetad.conf

-rw-r--r-- 1 root root 8756 Jan 17 08:45 gmond.conf

# vi gmetad.conf

# In earlier versions of gmetad, hostnames were handled in a case

# sensitive manner

# If your hostname directories have been renamed to lower case,

# set this option to 0 to disable backward compatibility.

# From version 3.2, backwards compatibility will be disabled by default.

# default: 1 (for gmetad < 3.2)

# default: 0 (for gmetad >= 3.2)

case_sensitive_hostnames 1 #设置为1，则不会将大写变成小写

7. 修改完之后，到RRDs目录下查看结果。

# cd /var/lib/ganglia/rrds/azcluster

没有什么变化

# ls -al

drwxr-xr-x 2 ganglia ganglia 32768 Jan 17 10:58 azcbetadnl05.envazure.com

8. 重启gmetad，让配置生效

<code># service gmetad restart</code>

<code>Shutting down GANGLIA gmetad: [ OK ]</code>

<code>Starting GANGLIA gmetad: [ OK ]</code>

9. 可以看到大写主机名的文件夹已经被创建

<code>drwxr-xr-x 2 ganglia ganglia 32768 Jan 18 02:09 azcbetadnl05.envazure.com</code>

<code>drwxr-xr-x 2 ganglia ganglia 4096 Jan 18 02:10 AZcbetadnL05.envazure.com <<<<<<</code>

<code>drwxr-xr-x 2 ganglia ganglia 4096 Jan 17 08:47 azcbetaldapl01.envazure.com</code>

<code>drwxr-xr-x 2 ganglia ganglia 4096 Jan 18 02:10 AZcbetaLDAPL01.envazure.com <<<<<<</code>

<code>drwxr-xr-x 2 ganglia ganglia 36864 Jan 18 02:09 __SummaryInfo__</code>

10. 可以看到信息已经过来了

<code># ls -l AZcbetaLDAPL01.envazure.com</code>

<code>-rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 boottime.rrd</code>

<code>-rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 bytes_in.rrd</code>

<code>-rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 bytes_out.rrd</code>

<code>-rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 cpu_aidle.rrd</code>

11. 再看看网页显示，已经正常了。

本文转自 hsbxxl 51CTO博客，原文链接：http://blog.51cto.com/hsbxxl/2062477，如需转载请自行联系原作者

部署Ganglia监控Hadoop&Hbase

继续阅读

User Defined Hadoop DataType

配置apache支持PHP（win7）

XX系统实施过程问题总结

无组件上传图片到数据库中，最完整解决方案

nginx 安装错误信息解决

【MySQL数据库】数据库索引事务1.索引2.事务

neo4j之cypher使用文档

Ambari介绍和架构原理

Cloud Studio初体验

Bugku-WEB-web33

NOSQL安全攻击

mybatis_入门程序Mybatis入门

php 去掉字符串的最后一个字符及截取原字符串1,2,3,4,5,6,

登录plsql 报错 the account is locked --用户被锁

php——水印

SequoiaDB巨杉数据库C++驱动概述

部署Ganglia监控Hadoop&amp;Hbase

继续阅读

部署Ganglia监控Hadoop&Hbase