CentOS下重新编译hadoop源码-程序员宅基地

技术标签: java  大数据  c/c++  

网上找了Unable to load native-hadoop library for your platform... using builtin-java classes where applicabl警告的原因,说的是由于hadoop一些本地库里编译时用到的C库与本机上的版本不同造成的,在本机环境下重新编译hadoop即可。

不过这个警告对hadoop使用影响不大。

然而作为一个有强迫症的程序员尝试了一些方法后无果,只能自己编译源码

切换到root用户

下载Ant Maven ProtocolBuffer findbugs CMake 的tar包放到/hadoop目录下

我用的版本是:

[hadoop@vm1 Downloads]$ ls
apache-ant-1.9.5.tar.gz    findbugs-2.0.2.tar.gz       jdk-8u45-linux-x64.gz
apache-maven-3.0.5.tar.gz  hadoop-2.7.0-src.tar.gz  protobuf-2.5.0
cmake-2.8.6                 hadoop-2.7.0.tar.gz      protobuf-2.5.0.tar.gz
cmake-2.8.6.tar.gz          jdk-7u79-linux-x64.gz


yum -y install  lzo-devel  zlib-devel  gcc autoconf automake libtool
tar zxf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure

这时候因为protobuf需要c++支持,如果机器没装c++会出现如下错误:

checking whether to enable maintainer-specific portions of Makefiles... yes
checking build system type... x86_64-unknown-linux-gnu
checking host system type... x86_64-unknown-linux-gnu
checking target system type... x86_64-unknown-linux-gnu
checking for a BSD-compatible install... /usr/bin/install -c
checking whether build environment is sane... yes
checking for a thread-safe mkdir -p... /bin/mkdir -p
checking for gawk... gawk
checking whether make sets $(MAKE)... yes
checking for gcc... gcc
checking whether the C compiler works... yes
checking for C compiler default output file name... a.out
checking for suffix of executables... 
checking whether we are cross compiling... no
checking for suffix of object files... o
checking whether we are using the GNU C compiler... yes
checking whether gcc accepts -g... yes
checking for gcc option to accept ISO C89... none needed
checking for style of include used by make... GNU
checking dependency style of gcc... gcc3
checking for g++... no
checking for c++... no
checking for gpp... no
checking for aCC... no
checking for CC... no
checking for cxx... no
checking for cc++... no
checking for cl.exe... no
checking for FCC... no
checking for KCC... no
checking for RCC... no
checking for xlC_r... no
checking for xlC... no
checking whether we are using the GNU C++ compiler... no
checking whether g++ accepts -g... no
checking dependency style of g++... none
checking how to run the C++ preprocessor... /lib/cpp
configure: error: in `/hadoop/protobuf-2.5.0':
configure: error: C++ preprocessor "/lib/cpp" fails sanity check
See `config.log' for more details

----------------------------------------------------------------------------------------

这时候需要 

yum install glibc-headers
yum install gcc-c++

然后再到protobuf文件夹下执行./configure

这下好了。那么goon

make 
make check
make install
tar apache-ant-1.9.2-bin.tar.gz
mv apache-ant-1.9.2 /hadoop/app/ant192
tar apache-maven-3.0.5-bin.tar.gz
mv apache-maven-3.0.5 /hadoop/maven305
tar zxf findbugs-2.0.2.tar.gz
mv findbugs-2.0.2 /hadoop/findbugs202
tar zxf cmake-2.8.6.tar.gz
cd cmake-2.8.6
./bootstrap; make; make install
cd ..
tar zxf hadoop-2.7.0-src.tar.gz
mv hadoop-2.7.0-src /hadoop/hadoop270_src
chown -R hadoop:hadoop /hadoop/hadoop270_src
vi /etc/profile
export ANT_HOME=/hadoop/ant192
export MAVEN_HOME=/hadoop/maven305
export FINDBUGS_HOME=/hadoop/findbugs202
export PATH=${ANT_HOME}/bin:${MAVEN_HOME}/bin:${FINDBUGS_HOME}/bin:$PATH
source /etc/profile
su - hadoop
cd /hadoop/hadoop270_src
mvn clean package -DskipTests -Pdist,native,docs -Dtar

如果是第一次配置maven这一步会有点久,最好配置下maven的镜像地址

编译最后可能出现这个错误:

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (make) on project hadoop-pipes: An Ant BuildException has occured: exec returned: 1
[ERROR] around Ant part ...<exec failonerror="true" dir="/home/hadoop/app/hadoop270_src/hadoop-tools/hadoop-pipes/target/native" executable="cmake">... @ 5:124 in /home/hadoop/app/hadoop270_src/hadoop-tools/hadoop-pipes/target/antrun/build-main.xml

是zlib1g-dev 和 libssl-dev没有安装, 编译本地库需要这2个库的支持

解决方法:

yum install openssl-devel

然后重新:

mvn clean package -DskipTests -Pdist,native,docs -Dtar

注意:在jdk1.8环境下,可能出现错误:

[WARNING] The requested profile "native" could not be activated because it does not exist.
[WARNING] The requested profile "docs" could not be activated because it does not exist.
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (dist) on project hadoop-dist: An Ant BuildException has occured: exec returned: 1
[ERROR] around Ant part ...<exec failonerror="true" dir="/home/hadoop/app/hadoop270_src/hadoop-dist/target" executable="sh">... @ 38:100 in /home/hadoop/app/hadoop270_src/hadoop-dist/target/antrun/build-main.xml

解决方法:将1.8换成1.7


那么编译成功:

[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 25:22.002s
[INFO] Finished at: Tue Jul 07 21:20:38 PDT 2015
[INFO] Final Memory: 131M/405M
[INFO] ------------------------------------------------------------------------
[hadoop@vm1 hadoop270_src]$ ls
BUILDING.txt           hadoop-dist               hadoop-project       NOTICE.txt
dev-support            hadoop-hdfs-project       hadoop-project-dist  pom.xml
hadoop-assemblies      hadoop-mapreduce-project  hadoop-tools         README.txt
hadoop-client          hadoop-maven-plugins      hadoop-yarn-project
hadoop-common-project  hadoop-minicluster        LICENSE.txt
[hadoop@vm1 hadoop270_src]$ cd hadoop-dist/
[hadoop@vm1 hadoop-dist]$ ls
pom.xml  target
[hadoop@vm1 hadoop-dist]$ cd target/
[hadoop@vm1 target]$ ls
antrun                    hadoop-2.7.0           hadoop-dist-2.7.0-javadoc.jar  test-dir
dist-layout-stitching.sh  hadoop-2.7.0.tar.gz    javadoc-bundle-options
dist-tar-stitching.sh     hadoop-dist-2.7.0.jar  maven-archiver
[hadoop@vm1 target]$ pwd
/hadoop/app/hadoop270_src/hadoop-dist/target

用自己编译好的hadoop包配置好相应环境,启动hdfs已经没有(Unable to load native-hadoop library for your platform... using builtin-java classes where applicabl)警告:

[hadoop@vm1 hadoop-2.7.0]$ ./sbin/start-dfs.sh 
Starting namenodes on [vm1]
vm1: starting namenode, logging to /home/hadoop/app/hadoop-2.7.0/logs/hadoop-hadoop-namenode-vm1.out
vm1: starting datanode, logging to /home/hadoop/app/hadoop-2.7.0/logs/hadoop-hadoop-datanode-vm1.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /home/hadoop/app/hadoop-2.7.0/logs/hadoop-hadoop-secondarynamenode-vm1.out
[hadoop@vm1 hadoop-2.7.0]$ ./sbin/start-yarn.sh 
starting yarn daemons
starting resourcemanager, logging to /home/hadoop/app/hadoop-2.7.0/logs/yarn-hadoop-resourcemanager-vm1.out
vm1: starting nodemanager, logging to /home/hadoop/app/hadoop-2.7.0/logs/yarn-hadoop-nodemanager-vm1.out
[hadoop@vm1 hadoop-2.7.0]$ jps
3251 NodeManager
3540 Jps
3145 ResourceManager
2699 NameNode
2828 DataNode
2991 SecondaryNameNode


转载于:https://my.oschina.net/Diversity/blog/476143

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_34384557/article/details/92038379

智能推荐

mybatis与spring集成中SqlSessionFactory创建流程-程序员宅基地

文章浏览阅读2.9k次。Mybatis作为优秀且广泛使用的轻量级持久层框架经常与Spring集成一起使用,集成过程中sqlSessionFactory的创建流程是什么样的呢?本文结合mybatis、mybatis-spring源码以及UML时序图的方式阐述如何进行:以下为Mybatis与Spring集成的部分配置,主要是涉及SqlSessionFactory bean:_创建类路径资源[spring mybatis.xml]中定义的名称为“sqlsessionfactory”的bean

TimeGen 软件的使用_timegen 字体太小-程序员宅基地

文章浏览阅读1.1k次。官网 http://www.xfusionsoftware.com/timegen 是一款实用的画时序图工具,软件提供了直观的用户界面和丰富实用的绘图工具,可以帮助用户轻松绘制各种序列图、顺序图、循序图等,同时timegen还拥有实用的快捷键操作功能,能够让你绘图时序图更加轻松,且可以自由设置各个文本框的属性字体样式、字体 大小和颜色等。下面简单介绍一下他的应用:主要参考:https://blog.csdn.net/qq_25144391/article/details/104423988?ops__timegen 字体太小

adb shell uiautomator dump /doinf/uidumpa.xml 一切正常,就是没有显示这个文件。_adb shell uiautomator dump无效-程序员宅基地

文章浏览阅读1.2k次。返回的UI hierchary dumped to: /doinf/uidumpa.xml但是手机里就是没有这个文件。这是什么情况啊?_adb shell uiautomator dump无效

kaldi中声纹识别ivector模型_kaldi i-vector-程序员宅基地

文章浏览阅读4.4k次,点赞2次,收藏24次。1.数据准备:无论使用kaldi来做语音识别还是说话人识别,第一步就是数据准备,对于说话人识别来说,需要准备的几个文件为wav.scp,utt2spk,spk2utt这三个文件。对应的格式如下: 1.1 wav.scp有两列,第一列是key,这个可以一定要唯一;第二列是 wav的路径wavpath; 1.2 utt2spk也有两列,第一列是key,与wav.scp的第一列一样;..._kaldi i-vector

2019-程序员宅基地

文章浏览阅读4.2k次。序言2019年好像没几天就要结束了,所以写个渣渣凑个数量,爱看的看看,不爱看的滑过。2019是猪队友的元年,所以总结为2个字就是炮灰。风言风语1 猪队友你..._office2019专业增强版激活

Git(五)常用命令精简整理_git bash命令-程序员宅基地

文章浏览阅读896次。全局设置git config --global user.name "acgkaka"git config --global user.email "[email protected]"初始化.git文件夹git init将当前文件夹连接到test远程仓库git remote add origin https://gitee.com/acgkaka/test.git将本地的当前分支推送到远程的master分支,同时指定origin为默认主机,(后面再使用git push的时候就可以不加任_git bash命令

随便推点

【转载】Keras.layers.Conv2D参数详解 搭建图片分类 CNN (卷积神经网络)-程序员宅基地

文章浏览阅读6.9k次,点赞14次,收藏85次。filters:卷积核(就是过滤器)的数目(即输出的维度)kernel_size:单个整数或由两个整数构成的list/tuple,卷积核(过滤器)的宽度和长度。(kernel n.核心,要点,[计]内核)如为单个整数,则表示在各个空间维度的相同长度。strides:单个整数或由两个整数构成的list/tuple,为卷积的步长。如为单个整数,则表示在各个空间维度的相同步长。任何不为1的strides均与任何不为1的dilation_rata均不兼容。padding:补0策略,为"valid", ._layers.conv2d

USB3.0:VL817Q7-C0的LAYOUT指南(三)_usb3.0 layout-程序员宅基地

文章浏览阅读1.5k次。本文着重讲解市面上常见的USB3.0集线器驱动芯片威盛VL817-Q7C0的layout布局处理以及注意事项。可分为三小节。 前文已经讲过VL系列的第一小节:《线路布局重点说明》以及第二小节《PCB布局检查》。本文着重讲解第三小节:《VL芯片布局的注意事项》。VLI芯片布局注意事项1.高速对线的阻抗:(包括线宽,线距,SMD&DIP PAN的处理)二层板/板厚1.6mm......_usb3.0 layout

有没有遇到过Anaconda中Spyder无法更新到4.0.1的问题?_spyderutility4.0升级-程序员宅基地

文章浏览阅读3.6k次,点赞2次,收藏13次。在anaconda的使用过程中,时不时会遇到类似Spyder等无法更新的问题,这种问题即使通过重新安装Anaconda也无法解决。这里直接放上我成功解决Spyder更新的方法链接:Trouble updating to Spyder 4.0.0.通常,我们可以通过命令 conda update spyder获取最新版本,然而,即使是在刚安装好anaconda后,也会提示当前版本是3.3.6。无..._spyderutility4.0升级

分治算法思想及应用_分治思想-程序员宅基地

文章浏览阅读3.8k次,点赞5次,收藏22次。一. 分治算法介绍1. 分治算法思想2. 分治算法适用条件3. 分治算法的引入二. 分治算法的应用1. 快速排序2. 快排划分函数求topk问题3. 归并排序4. 合并k个有序单链表5. 对数时间求中位数算法思想_分治思想

Linux|minio对象存储服务的部署和初步使用总结_linux部署minio-程序员宅基地

文章浏览阅读3.3k次,点赞2次,收藏5次。minio是一个非常轻量化的对象存储服务,是可以算到云原生领域的。该服务是使用go语言编写的,因此,主文件就一个文件,它的下载,部署什么的都是非常简单的,一般两三步就可以搭建好了,只是有一些细节问题需要在部署使用的时候注意。本文将就一个可用的minio存储服务部署做一个尽量详细的讲解,并探讨如何将该技术落地_linux部署minio

MATLAB2018a与VS2015 C++编译包安装下载的心路历程与解决之道_matlab安装vs2015编译器-程序员宅基地

文章浏览阅读1.9k次,点赞2次,收藏12次。前言:本着前人栽树后人乘凉的精神。感谢csdn朋友们所分享出来关于如何解决的安装方法,以我的下载安装的成功的经验来为困扰各位奉献一点力量。_matlab安装vs2015编译器

推荐文章

热门文章

相关标签