1.什么是HA
2.HA的实现场景
3.配置HA环境
1.理解HA的机制
2.掌握HA环境的配置流程
在Hadoop 2.0.0之前,NameNode是HDFS集群中的单点故障(SPOF)。每个群集都有一个NameNode,如果该机器或进程不可用,整个群集将不可用,直到NameNode重新启动或在单独的计算机上启动为止。这在两个主要方面影响了HDFS集群的总体可用性:
HDFS高可用性功能通过提供在具有热备用的主动/被动配置中的同一群集中运行两个(以及3.0.0多于两个)冗余NameNode的选项来解决上述问题。这允许在计算机崩溃的情况下快速故障转移到新的NameNode,或者为计划维护目的而进行正常的管理员启动的故障转移。
hadoop-HA集群运作机制介绍
所谓HA,即高可用(7*24小时不中断服务)(secondarynamenode只是保证了“可靠性”)实现高可用最关键的是消除单点故障,hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA。
HDFS的HA机制详解
通过双namenode消除单点故障,双namenode协调工作的要点:
创建7台机器,设置静态ip分别如下:
| 机器名 | ip |
| ----------------------------- | -------------- |
| CentOs6.4_min_java_hadoop_ha1 | 192.168.18.171 |
| CentOs6.4_min_java_hadoop_ha2 | 192.168.18.172 |
| CentOs6.4_min_java_hadoop_ha3 | 192.168.18.173 |
| CentOs6.4_min_java_hadoop_ha4 | 192.168.18.174 |
| CentOs6.4_min_java_hadoop_ha5 | 192.168.18.175 |
| CentOs6.4_min_java_hadoop_ha6 | 192.168.18.176 |
| CentOs6.4_min_java_hadoop_ha7 | 192.168.18.177 |
设置每台机器的hostname
vi /etc/sysconfig/network #编辑network文件,修改内容如下
NETWORKING=yes
HOSTNAME=ha1
#分别在7台机器上执行上述命令,使得各台机器的hostname对应关系如下:
| 机器名 | hostname |
| ----------------------------- | -------- |
| CentOs6.4_min_java_hadoop_ha1 | ha1 |
| CentOs6.4_min_java_hadoop_ha2 | ha2 |
| CentOs6.4_min_java_hadoop_ha3 | ha3 |
| CentOs6.4_min_java_hadoop_ha4 | ha4 |
| CentOs6.4_min_java_hadoop_ha5 | ha5 |
| CentOs6.4_min_java_hadoop_ha6 | ha6 |
| CentOs6.4_min_java_hadoop_ha7 | ha7 |
修改各个机器的主机名和ip的映射(修改每台机器的hosts文件)
vi /etc/hosts #为hosts文件添加如下内容
192.168.18.171 ha1
192.168.18.172 ha2
192.168.18.173 ha3
192.168.18.174 ha4
192.168.18.175 ha5
192.168.18.176 ha6
192.168.18.177 ha7
为每台机器创建一个名为hadoop的用户
useradd hadoop #添加hadoop用户
passwd hadoop #给hadoop用户 设置密码
为每台机器的hadoop用户配置sudo权限
vi /etc/sudoers #使用root用户编辑 添加如下内容:
hadoop ALL=(ALL) ALL
关闭每台机器的防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
每台机器安装JDK
#创建文件夹
mkdir /home/hadoop/develop_env
#解压
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/develop_env
vim /etc/profile #将java添加到环境变量中在文件最后添加
export JAVA_HOME=/home/hadoop/develop_env/jdk1.7.0_65
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
主机名 | 安装的软件 | 运行的进程 |
---|---|---|
ha1 | hadoop | NameNode、DFSZKFailoverController(zkfc) |
ha2 | hadoop | NameNode、DFSZKFailoverController(zkfc) |
Ha3 | hadoop | ResourceManager |
Ha4 | hadoop | ResourceManager |
Ha5 | hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
Ha6 | hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
Ha7 | hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
1.在hadoop2.0中通常由两个NameNode组成,一个处于active状态(激活状态),另一个处于standby状态(后备状态)。ActiveNameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM。这里我们使用简单的QJM。在该方案中,主备NameNode之间通过一组JournalNode(jounal 日志)同步元数据信息,一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
这里还配置了一个zookeeper集群,用于ZKFC(DFSZKFailoverController)故障转移,当ActiveNameNode挂掉了,会自动切换Standby NameNode为standby状态
2.hadoop-2.2.0中依然存在一个问题,就是ResourceManager只有一个,存在单点故障,hadoop-2.4.1解决了这个问题,有两个ResourceManager,一个是Active,一个是Standby,状态由zookeeper进行协调
安装步骤
安装配置zooekeeper集群(在ha5上)(更详细zookeeper安装步骤参见zookeeper安装)
1.1解压
#上传zookeeper-3.4.7.tar.gz到/home/hadoop/develop_env
tar -zxvf zookeeper-3.
文章浏览阅读1w次,点赞2次,收藏27次。来源:机器人小妹 很多时候企业拥有重复,乏味且困难的工作流程,这些流程往往会减慢生产速度并增加运营成本。为了降低生产成本,企业别无选择,只能自动化某些功能以降低生产成本。 通过数字化..._人工智能平台
文章浏览阅读2.2k次。热加载能够在每次保存修改的代码后自动刷新 electron 应用界面,而不必每次去手动操作重新运行,这极大的提升了开发效率。安装 electron 热加载插件热加载虽然很方便,但是不是每个 electron 项目必须的,所以想要舒服的开发 electron 就只能给 electron 项目单独的安装热加载插件[electron-reloader]:// 在项目的根目录下安装 electron-reloader,国内建议使用 cnpm 代替 npmnpm install electron-relo._electron-reloader
文章浏览阅读942次。在11.0 进行定制化开发,会根据需要去掉recovery模式的一些选项 就是在device.cpp去掉一些选项就可以了。_android recovery 删除 部分菜单
文章浏览阅读3.7k次。https://www.yuque.com/mnn/cn/cvrt_linux_mac基础依赖这些依赖是无关编译选项的基础编译依赖• cmake(3.10 以上)• protobuf (3.0 以上)• 指protobuf库以及protobuf编译器。版本号使用 protoc --version 打印出来。• 在某些Linux发行版上这两个包是分开发布的,需要手动安装• Ubuntu需要分别安装 libprotobuf-dev 以及 protobuf-compiler 两个包•..._mnn 编译linux
文章浏览阅读1.8k次。CSS3新增动画属性“@-webkit-keyframes”,从字面就可以看出其含义——关键帧,这与Flash中的含义一致。利用CSS3制作动画效果其原理与Flash一样,我们需要定义关键帧处的状态效果,由CSS3来驱动产生动画效果。下面讲解一下如何利用CSS3制作淡入淡出的动画效果。具体实例可参考刚进入本站时的淡入效果。1. 定义动画,名称为fadeIn@-webkit-keyf_css3入场效果淡入淡出
文章浏览阅读2.8k次。计算机系统应包括硬件和软件两个子系统,硬件和软件又必须依次分别包括中央处理器和系统软件。按人的要求接收和存储信息,自动进行数据处理和计算,并输出结果信息的机器系统。计算机是脑力的延伸和扩充,是近代科学的重大成就之一。计算机系统由硬件(子)系统和软件(子)系统组成。前者是借助电、磁、光、机械等原理构成的各种物理部件的有机组合,是系统赖以工作的实体。后者是各种程序和文件,用于指挥全系统按指定的要求进行..._计算机系统包括硬件系统和软件系统 软件又必须包括
文章浏览阅读7.9k次,点赞3次,收藏22次。一 定义这是最早出现的置换算法。该算法总是淘汰最先进入内存的页面,即选择在内存中驻留时间最久的页面予以淘汰。该算法实现简单,只需把一个进程已调入内存的页面,按先后次序链接成一个队列,并设置一个指针,称为替换指针,使它总是指向最老的页面。但该算法与进程实际运行的规律不相适应,因为在进程中,有些页面经常被访问,比如,含有全局变量、常用函数、例程等的页面,FIFO 算法并不能保证这些页面不被淘汰。这里,我_进程调度fifo算法代码
文章浏览阅读133次。rownum是oracle才有的写法,rownum在oracle中可以用于取第一条数据,或者批量写数据时限定批量写的数量等mysql取第一条数据写法SELECT * FROM t order by id LIMIT 1;oracle取第一条数据写法SELECT * FROM t where rownum =1 order by id;ok,上面是mysql和oracle取第一条数据的写法对比,不过..._mysql 替换@rownum的写法
文章浏览阅读790次,点赞3次,收藏4次。官网下载下载链接:http://www.eclipse.org/downloads/点击Download下载完成后双击运行我选择第2个,看自己需要(我选择企业级应用,如果只是单纯学习java选第一个就行)进入下一步后选择jre和安装路径修改jvm/jre的时候也可以选择本地的(点后面的文件夹进去),但是我们没有11版本的,所以还是用他的吧选择接受安装中安装过程中如果有其他界面弹出就点accept就行..._ecjelm
文章浏览阅读245次。原文链接:https://linux.cn/article-7801-1.htmlifconfigping <IP地址>:发送ICMP echo消息到某个主机traceroute <IP地址>:用于跟踪IP包的路由路由:netstat -r: 打印路由表route add :添加静态路由路径routed:控制动态路由的BSD守护程序。运行RIP路由协议gat..._ifconfig 删除vlan
文章浏览阅读224次。reduxredux里要求把数据都放在公共的存储区域叫store里面,组件中尽量少放数据,假如绿色的组件要给很多灰色的组件传值,绿色的组件只需要改变store里面对应的数据就行了,接着灰色的组件会自动感知到store里的数据发生了改变,store只要有变化,灰色的组件就会自动从store里重新取数据,这样绿色组件的数据就很方便的传到其它灰色组件里了。redux就是把公用的数据放在公共的区域去存..._redux redis
文章浏览阅读2.2k次,点赞3次,收藏6次。unzip版本不支持4G以上的压缩包所以要使用p7zip:Linux一个高压缩率软件wget http://sourceforge.net/projects/p7zip/files/p7zip/9.20.1/p7zip_9.20.1_src_all.tar.bz2tar jxvf p7zip_9.20.1_src_all.tar.bz2cd p7zip_9.20.1make && make install 如果安装失败,看一下报错是不是因为没有下载gcc 和 gcc ++(p7_linux 7za解压中文乱码