【零基础】CentOS 7 64位系统下编译Hadoop2.7.0_hadoop的64位的lib包-程序员宅基地

技术标签: 遇到的问题  

因为官网下载下来的Hadoop安装包是x86,32位的,64位需要自己编译。

编译环境

操作系统:CentOS 7 64位(需要连接互联网)

Hadoop源代码版本:hadoop-2.7.0-src.tar.gz


1、安装基本应用

[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. yum -y install  svn   ncurses-devel   gcc*  

[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. yum -y install lzo-devel zlib-devel autoconf    automake    libtool    cmake     openssl –devel  


2、安装JDK

JDK版本:JDK-8u45(随便下载rpm或者tar压缩包)

运行安装JDK

[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. rpm -ivh jdk-8u45-linux-x64.rpm  

设置JAVA环境
[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. vim /etc/profile  
添加以下代码
[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. #set java environmen  
  2. export JAVA_HOME=/usr/java/jdk1.8.0_45/  
  3. export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib  
  4. export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin  

使环境生效

[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. source /etc/profile  

检验JAVA环境是否生效

[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. java -version  


2、安装protobuf-2.5.0.tar.gz

下载链接:http://pan.baidu.com/s/1dDgWe6P 密码:xgiu

解压缩

[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. tar zxvf protobuf-2.5.0.tar.gz  
进入该目录
[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. cd protobuf-2.5.0  
运行检测
[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. ./configure  
编译
[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. make  
安装
[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. make install  
检验是否安装成功
[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. protoc --version  




3、安装maven

下载apache- maven- 3.2.3- bin.tar.gz
解压缩

[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. tar   zxvf   apache- maven- 3.2.3- bin.tar.gz  
配置环境变量 /etc/profile
[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. export MAVEN_HOME=/usr/local/program/maven/ apache- maven- 3.2.3  
  2. export PATH=$PATH:$MAVEN_HOME/bin   

使环境变量生效
[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. source /etc/profile  
检验是否安装成功
[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. mvn -version  



4、安装ant

下载apache-ant-1.9.4-bin.tar.gz

解压缩

添加环境变量/etc/profile

[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. export ANT_HOME=/home/joywang/apache-ant-1.9.4  
  2. export PATN=$PATH:$ANT_HOME/bin  
使环境变量生效
[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. source /etc/profile  
检验是否安装成功
[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. ant -version  



5、编译Hadoop
[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. mvn package -Pdist,native -DskipTests -Dtar  
或者使用
[python] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. mvn clean package –Pdist,native –DskipTests –Dtar  


编译成功如下图所示:


编译好的文件放在/hadoop-dist/target/hadoop-2.7.0.tar.gz


6、FAQ (这部分有些error我没有亲测,可能会有问题)

【ERROR】Cannot run program “cmake”(in...


提示在make的时候错误。

这是因为没有安装cmake的原因。

注:在其他平台编译是会提示complie出错,而你又已经安装了cmake,那么估计在CMakeCache.txt文件中的JAVA相关的东西没有找到。修改JAVA相关信息。


这部分写的不详细,我也没有时间去搜集其他错误,可能有不对的地方。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/wackycrazy/article/details/48789053

智能推荐

PhyCharm + python3.7 + pyside2 学习笔记(1) 环境搭建_python3.7安装pyside2-程序员宅基地

文章浏览阅读3.3k次。PhyCharm + python3.7 + pyside2 + QT5学习笔记(1) 环境搭建1. 环境搭建python3.7安装及环境变量配置pyside2安装QT5安装2. pycharm配置3. 打开QtDesigner引入ui文件1. 环境搭建python3.7安装及环境变量配置随便搜一搜就有, 略过pyside2安装使用pip安装pip install pyside2..._python3.7安装pyside2

判断某一年是否为闰年(Java)_java输入一个年份,判断这一年是否是闰年,如果是输出 1,否则输出 0。-程序员宅基地

文章浏览阅读446次。通过Scanner函数输入一个年份,然后判断是否为闰年闰年的判断的标准(满足任何一个)如果能够被4整除和不能被100整除 能够被400整除package Student;import java.util.Scanner;public class R{ public static void main(String[] args) { int year;//定义一个变量year Scanner y=new Scanner(System.in);//创_java输入一个年份,判断这一年是否是闰年,如果是输出 1,否则输出 0。

高并发库存控制_限购库存并发控制-程序员宅基地

文章浏览阅读1.1w次。如今,在电商行业,秒杀活动已经是家常便饭,面对这种高并发压力之下,又有什么办法来缓解这种压力呢?秒杀就像过年回家的时候买火车票,需要遵守以下几个原则:1.公平性,机会均等,遵守FIFO原则。2.快速处理能力,增加售票窗口,增加售票渠道。3.稳定性,适当的入口数量,保证售票厅内人满为患。那么,在现实开发当中,怎么去实现呢?以下图为例:1.有n个购票者守候在_限购库存并发控制

ML_day_02-程序员宅基地

文章浏览阅读112次。文本特征抽取作用:对文本数据进行特征值化第一种方法Count类:sklearn.feature_extraction.text.CountVectorizerCountVectorizer()返回词频矩阵CountVectorizer.fit_transform(X)X:文本或者包含文本字符串的可迭代对象返回值:返回sparse矩阵CountVectorizer.inverse_...

lambda表达式替换list中某个实体类的某个元素值_lambda 替换元素的内容-程序员宅基地

文章浏览阅读3w次,点赞7次,收藏23次。起因:昨天在写一个需求的时候,我想遍历一个集合,找到该集合下实体类里面的某个字段和我想要的相等的,并把它替换掉。这个时候按说找到之后替换掉就应该跳出循环了,但是在用lambda的foreach方法时并没有找到该方法,最后是用普通for循环来解决的。最后由同事提示可以用filter来处理,我试了一下,可以达到想要的效果,直接贴代码:import com.google.common.collect.L..._lambda 替换元素的内容

智能车PCB设计思路_智能车;负压电磁;pcb-程序员宅基地

文章浏览阅读4.7k次,点赞11次,收藏121次。智能车PCB设计思路一. 电源线1. 布局2. 走线二. 地线1. 重要性2. 布局三. 信号线四. 实用性五. 其他我认为判断一个PCB板设计的好不好,一看电源,二看地线,三看信号线,四看实用性。本文仅是个人知识积累与经验,有不对还望指出,海涵。一. 电源线1. 布局个人习惯于将电源集中布局,这样能够使得PGND集中,同时方便集中管理、集中测试。2. 走线稳压芯片的输出的电源线以流过的电流为依据,确定最小的线宽,电源线宜走粗,到具体分流给用电器时,分流的电源线可以细一些。用电器的布局要靠着电_智能车;负压电磁;pcb

随便推点

Retriofit,Fresco,Greendao在application中的初始化配置_初始化fresco application-程序员宅基地

文章浏览阅读438次。public class IApplication extends Application { public static IGetDataService service; public static DaoSession session; @Override public void onCreate() { super.onCreate();_初始化fresco application

hive出现错误_impala.error.hiveserver2error:none-程序员宅基地

文章浏览阅读656次。HIVE出现问题在CDH6.3.2中,使用4.8版本的hue,对hive2.1进行查询,出现错误。数据库使用的为kudu,当在hue中使用impala对kudu表进行查询时不会报错,但hive中对数据库的表查询时会报错误,SERVER2中的报错日志如下:2021-01-07 10:53:51,856 ERROR org.apache.hadoop.hive.ql.Driver: [ff000399-e564-4be2-8ab8-415c3693b9e6 HiveServer2-Handler-Pool:_impala.error.hiveserver2error:none

axios+Vant+vue+jq重构jq月经周期计算器源代码(兼容移动端)_大姨妈计算器插件-程序员宅基地

文章浏览阅读5.8k次,点赞58次,收藏9次。我是歌谣 代码重构不易 公众号关注小歌谣前言网络上流行了一款jq生成月经计算器的代码是这样的实现效果如图所示本次讲解就是说明如何用Vant+jq+Vue实现此代码的重构由于本文为付费专栏先看一眼重构演示的效果首先我们看一眼目录结构我们这边贴出我自己手写的代码的核心部分index.js<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> &l._大姨妈计算器插件

Unity 使用this关键字进行函数拓展 - LineRenderer_unity linerender 函数-程序员宅基地

文章浏览阅读431次。Example: var lineRenderer = GetComponent<LineRenderer>(); lineRenderer .SetStartColor(Color.red) .SetEndColor(Color.red) .SetStartWidth(0.1f) .SetEndWidth(0.1f) .SetLinePos_unity linerender 函数

POJ题目分类 (膜拜经典)_poj 题集-程序员宅基地

文章浏览阅读4k次。收藏过来,要经常学习大神的东西转载链接:http://www.cnblogs.com/kuangbin/archive/2011/07/29/2120667.html初期:一.基本算法: (1)枚举. (poj1753,poj2965) (2)贪心(poj1328,poj2109,poj2586) (3)递归和分治法. (4)递推_poj 题集

Windows CE 模拟器和远程调试工具_ce call调试工具-程序员宅基地

文章浏览阅读2.3k次。一、模拟器  模拟器(emulator)是PB的一部分。专用于调试在PB下创建的内核及应用程序。模拟器能够在PC下模拟Windows CE的物理平台图一 模拟器远程调用评测程序(Remote Call Profiler)图二 评测图像截图 远程文件浏览程序(Remote File Viewer) 左边目录数列出的是模拟器运行的内核的所有目录。右边_ce call调试工具

推荐文章

热门文章

相关标签