Ganglia 监控Hadoop_weixin_34226182的博客-程序员信息网

技术标签: 运维  操作系统  大数据  

Ganglia监控Hadoop集群的安装部署

 

一、 安装环境 

 

  • Ubuntu server 12.04
  • 安装gmetad的机器:192.168.52.105
  • 安装gmond的机 器:192.168.52.31,192.168.52.32,192.168.52.33,192.168.52.34,192.168.52.35,192.168.52.36,192.168.52.37,192.168.52.38,192.168.52.105
  • 浏览监控web页面的机器:192.168.52.105 

二、 介绍 

 

Ganglia 监控套件包括三个主要部分:gmond,gmetad,和网页接口,通常被称为ganglia- web。
  • gmond 是一个守护进程,他运行在每一个需要监测的节点上,收集监测统计,发送和接受在同一个组播或单播通道上的统计信息。
  • gme tad 也是一个守护进程,他定期检查gmonds ,从那里拉取数据,并将他们的指标存储在RRD存储引擎中。它可以查询多个集群并聚合指标。RRD也被用于生成用户界面的web前端。
  • ganglia- web 顾名思义,他应该安装在有gmetad运行的机器上,以便读取RRD文件。
一般来说一个集群的每台机器上都需要安装gmond,只要负责展示web界面的机器安装了gmetad即可。

 

 

三、 安装 

 

1.apt-get方式安装

 

首先找一个结点当作web显示的结点,使用以下命令一键安装:
apt-get -y install ganglia-monitor ganglia-webfrontend 
安装了ganglia-webfrontend就相当于同时安装了gmetad、ganglia-web和rrdtool等。
以 上安装的版本都是3.1.7,因为ubuntu官方源里面只支持到ganglia-webfrontend-3.1.7,起中使用的Ganglia Web Frontend版本也是3.1.7,版本太低,显示的界面很不友好,因此后面的文章我会介绍如何手动安装Ganglia Web Frontend version 3.5.7(目前最高版本已经到3.6)。如果为了方便,对于监控的界面要求不高的话,又图省事,可以用上述命令一键安装。
除了安装ganglia-webfrontend的主机,其他主机只需要安装ganglia-monitor即可。

 

 

2.链接到web服务器

 

安装ganglia-webfrontend的时候就已经安装了Apache Web Server,Ganglia-webfrontend默认安装的位置是/usr/share/ganglia-webfront,现在还不能通过浏览器 访问Ganglia监控界面,需要执行以下命令将将ganglia的文件链接到apache的默认目录下。

 

ln -s /usr/share/ganglia-webfront /var/www/ganglia

 

 

四、 配置 

 

1.单播与组播

 
在进行Ganglia集群配置之前,首先要搞清楚单播和组播。

 

  • 单播:可以跨网段传播,只将信息发送给指定的机器。要配置成为单播你应该指定一个(或者多个)接受的主机。
  • 组播:在机器所处的网段中发送广播,发送给位于同一网段的所有机器。如果你正在使用组播传输,那么你没必要改变任何东西,因为这是Ganglia 包安装默认的。唯一要做的就是把gmetad指向一个或几个运行着gmo nd的主机。没有必要列出每一个单个主机,因为gmo nd被设置为接受模式时会包含所有主机的列表以及整个集群的统计信息。
关于单播和组播更详细的介绍和相关配置请参照:Ganglia快速开始向导(翻译自官方wiki)   http://www.linuxidc.com/Linux/2013-11/92747.htm,或者直接查看 官方wiki

 

 

 

2.集群配置

 
我的Ganglia监控集群使用了单播模式。所有的配置都在/etc/ganglia目录下,在每个节点上都要配置/etc/ganglia/gmond.conf.
红色字体为修改项。
 
 
globals {
daemonize = yes
setuid = yes
user = root /*运行Ganglia的用户*/
debug_level = 0
max_udp_msg_len = 1472
mute = no
deaf = no
host_dmax = 120 /*secs */
cleanup_threshold = 300 /*secs */
gexec = no
send_metadata_interval = 15 /*发送数据的时间间隔*/
}


cluster {
name = "hadoop_hf" /*集群名称*/
owner = "root" /*运行Ganglia的用户*/
latlong = "unspecified"
url = "unspecified"
}


udp_send_channel {
# mcast_join = 192.168.52.105 /*注释掉组播*/
host = 192.168.52.105 /*发送给安装gmetad的机器*/
port = 8649
ttl = 1
}

五、 启动Ganglia

 
 
使用apt-get方式安装的Ganglia,可以直接用service方式启动。
  • service ganglia-monitor start (每台机器都需要启动)
  • service gmetad start (在安装了ganglia-webfrontend的机器上启动)
 
 

六、 检验

 
 
登录浏览器查看:http://192.168.52.105/ganglia,如果Hosts up为9即表示安装成功。
若安装不成功,有几个很有用的调试命令:
  • 以调试模式启动gmetad:gmetad -d 9
  • 查看gmetad收集到的XML文件:telnet 192.168.52.105 8649
 
 

七、 Ganglia-web的安装

 
 
因为3.1.7版本的Ganglia-web实在太丑,因此我卸载了ganglia-webfrontend,然后单独安装了gmetad后又安装了新版的Ganglia-web-3.5.10.
按照官方的说明,首先将tar.gz文件解压,然后进入解压后的目录,修改Makefile文件中的如下四个配置:
# Location where gweb should be installed to (excluding conf, dwoo dirs).
GDESTDIR = /var/www/ganglia


# Gweb statedir (where conf dir and Dwoo templates dir are stored)
GWEB_STATEDIR = /var/lib/ganglia


# Gmetad rootdir (parent location of rrd folder)
GMETAD_ROOTDIR = /var/lib/ganglia


APACHE_USER = root(切忌后面不要有空格)
 
重新启动gmetad。登录http://192.168.52.105/ganglia后如果配置有问题可以根据网页中的报错修改。一般会出现文件读写权限错误,没有rrd目录就需要自己创建,conf和cache目录的权限需要修改为777。
 
监控界面截图:

八、 监控Hadoop集群

修改Hadoop的配置文件/etc/hadoop/hadoop-metrics.properties,根据文件中的说明,修改三处:
dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
dfs.period=30
dfs.servers=192.168.52.105:8649
 
mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
mapred.period=30
mapred.servers=192.168.52.105:8649
 
jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext
jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
jvm.period=30
jvm.servers=192.168.52.105:8649
 
所有的servers都修改为安装为gmetad的机器IP。
重启Hadoop datanode:service hadoop-datanode restart
重启gmond:/usr/sbin/gmond restart

转载于:https://www.cnblogs.com/weijueye/p/4462817.html

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_34226182/article/details/94518724

智能推荐

阿里巴巴Java开发手册实战:Java命名规范_托尼Lee的博客-程序员信息网

阿里巴巴Java开发手册实战:100篇实例详解~~~~~~~~~~~~~~~~~~~~~~~~~~~~Java方法等命名规范

Basic wireless/3GPP_lengxingfei的博客-程序员信息网

Basic wireless/3GPPQuestionsWhat’s the difference between GPRS and UMTS?What’s the relation between GPRS and IP?Can you do voice calls with GPRS?What is the relation between GPRS and SIP?W

稀疏表示 河流多元信息处理 matlab_(空·白)的博客-程序员信息网_稀疏表示matlab

稀疏表示河流多元信息处理前言一、简要介绍多源数据稀疏表示1)稀疏表示:二、使用步骤总结前言现有来自黄河流域的大量钻孔数据,需要完成以下任务:简单概括多源数据稀疏表示的基本原理?如下图,BX、MQ、WB钻孔数据来自于金沙江、嘉陵江、汉江和废黄河四个源头的比重是多少?在题目2的基础上讨论利用PCA给多源数据适当的降维,换句话说就是计算不同个数的元素(Al、Fe、K、Ca、Na、Mg、Ti、Mn、Sr、Ba、V、Cr、Ni、Xlf、Xarm、SIRM、HIRM100、HIRM300、S.

二、虚拟化_Zhang_Yixuan_ss的博客-程序员信息网

一、虚拟化技术的发展虚拟化技术和并行计算、分布式计算、网格计算等的发展促进了云计算技术的产生和发展,通过云计算技术,我们将大量的计算机资源组成资源池来创建高度虚拟化的资源提供给用户,即云计算技术解决方案依靠并利用虚拟化提供服务。虚拟化技术主要应用在基础设施即服务的服务模式(IaaS)中,大多资源都可以通过虚拟化技术对其进行统一管理。虚拟化在计算机领域的发展至今已有50多年了,在这期间产生了很多种虚...

计算机室内设计 cad 论文,cad室内设计开题报告_思睿-three的博客-程序员信息网

cad室内设计开题报告简介:此栏目是开题报告和室内设计有关的论文例文,免费给你写cad室内设计柜子提供有关参考文献。一、研究背景1 基于英语新课程标准的要求。《英语课程标准》指出:必须正视学生外语学习基础和发展要求的差异,遵循外语学习的客观规律,英语教学强调。摘 要:对于博物馆而言,其是对一个地区城市乃至一个国家的历史文化的保留和发展,通过建筑空间向社会大众表现。 博物馆的内在的建筑空间格局对其展...

ADAS技术概要_linolzhang的博客-程序员信息网

先进驾驶辅助系统(Advanced DriverAssistant System),简称ADAS,是智能交通领域的一个大方向,近几年ADAS迅速发展,在车道线检测、前车防撞、疲劳驾驶、紧急壁障、信号灯识别等方面都取得了长足的进步,这也是我们把ADAS单独作为一节来进行阐述的原因。        当然ADAS系统会用到多种传感器,比如激光雷达、深度摄像头等,这里我们仅通过传统的RGB摄像头来

随便推点

Spring boot项目mvn命令行启动应用,解决target/demo-1.0-SNAPSHOT.jar中没有主清单属性问题_byzf的博客-程序员信息网

Spring boot项目mvn命令行启动应用,解决-SNAPSHOT.jar中没有主清单属性问题文章目录Spring boot项目mvn命令行启动应用,解决-SNAPSHOT.jar中没有主清单属性问题一、什么是maven二、使用三、附录一、什么是mavenApache Maven是一个软件项目管理和理解工具。基于项目对象模型(POM)的概念,Maven可以从中心信息块管理项目的构建、报告和文档。软件下载地址:https://maven.apache.org/download.cgi二、使用

AHB_weixin_33819479的博客-程序员信息网

AHB百科名片AHB总线互联结构图随着深亚微米工艺技术日益成熟,集成电路芯片的规模越来越大。数字IC从基于时序驱动的设计方法,发展到基于IP复用的设计方法,并在SOC设计中得到了广泛应用。在基于IP复用的SoC(System on Chip的缩写,称为系统级芯片,也有称片上系统)设计中,片上总线设计是最关键的问题。为此,业界...

SpringBoot2.x基础篇:配置文件中占位符的使用_恒宇少年的博客-程序员信息网

知识改变命运,撸码使我快乐,2020继续游走在开源界点赞再看,养成习惯给我来个Star吧,点击了解下基于SpringBoot的组件化接口服务落地解决方案概念占位符是一种灵活的配置方式,可以让我们很灵活的使用配置参数,@Value注解的配置也是占位符的一种体现方式,这种方式可以从Environment内获取对应的配置值。推荐阅读SpringBoot2.x 教程汇总...

【腾讯Bugly干货分享】WebVR如此近-three.js的WebVR示例解析_Golang语言社区的博客-程序员信息网

关于WebVR最近VR的发展十分吸引人们的眼球,很多同学应该也心痒痒的想体验VR设备,然而现在的专业硬件价格还比较高,入手一个估计就要吃土了。但是,对于我们前端开发者来说,我们不仅可以简单地在手机上进行视觉上的VR体验,还可以立马上手进行Web端VR应用的开发!WebVR是一个实验性的Javascript API,允许HMD(head-mounted displays)连接到web

oracle将memory_target改为自动管理方式,AMM调整为ASMM命令(关闭memory_target自动管理方式)..._北京小小在香港的博客-程序员信息网

客户生产系统,AIX oracle 11.2.0.4 数据库版本,2节点RAC。操作系统内存,均为125G,调整前,使用oracle memory_target自动调整分配方式,memory_max_target大小80G大小,但是shared pool大小为21G。客户之前存在内存不够用(由于客户应用问题,导致几乎所有的SQL都需要重新硬解析,最终导致oracle shared pool大小不断...

点云平面拟合及可视化_Alan Lan的博客-程序员信息网

#include <pcl/io/pcd_io.h>#include <pcl/common/centroid.h>#include <pcl/segmentation/sac_segmentation.h>#include <pcl/visualization/pcl_visualizer.h>void visualization(const pcl::PointCloud<pcl::PointXYZRGB>::Ptr clou...

推荐文章

热门文章

相关标签