——在此我只克隆了一个虚拟机，因为设置Hadoop集群暂且只需克隆一个，如有需要可以根据需求多克隆几个，后面步骤带有克隆的虚拟机的多做一个虚拟机的操作即可

首先先关闭虚拟机Master，再选中Master右键选择设置-克隆

名称和位置自己改变

修改主机名

vi /etc/hostname

增加主机名到文件中，然后重启服务器

注意！两个虚拟机都需要增加对应的主机名

#localhost.localdomain

master

关闭防火墙

systemctl stop firewalld.service   关闭防火墙

firewall-cmd --state       检查是否关闭了

免密登陆服务器

——实现免密登录前提是另一个虚拟机得开启，且防火墙关闭，如果完成此步骤之后不能成功免密登录可以看看是否是这两个原因

在/etc/hosts文件中配置ip对应主机

IP地址   master

IP地址    node1

生成秘钥

ssh-keygen -t rsa -P “”  //生成密钥的命令

//回车后会显示以下内容，切记一路回车别输入然后东西！！！

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa):

Created directory ‘/root/.ssh’.

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

The key fingerprint is:

SHA256:AtZHQcFd10Qth+HXMib4saDzZhtYJBkS5VEyH04RiNM root@d23abd7ce7a9

The key’s randomart image is:       //密钥

±–[RSA 2048]----+

|      oB@**+. o*+|

|     .o+EX.o oo =|

|    o …= * o =oo|

|   . . . + o = + |

|      . S . o    |

|       . =       |

|        . =      |

|         o o     |

|          .      |

±—[SHA256]-----+

//再输入以下命令

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

将PermitRootLogin yes、PubkeyAuthentication yes的注释去掉，就是把前面的#删掉

sh-4.2# vim /etc/ssh/sshd_config

sh-4.2# systemctl enable sshd.service

sh-4.2# systemctl start sshd.service

再输入以下命令，做就完了

cd  $HOME/.ssh/

chmod 600 authorized_keys

ssh localhost

scp -r ~/.ssh root@node1:~/    //这的node1是我的克隆虚拟机的主机名，换成自己的

免密登录验证

ssh node1

成功！

配置Hadoop

——此代码在我的机器上是可以成功，但是也有他人按照此代码失败的情况，如果失败可以寻找其他的代码来尝试配置

将hadoop的安装包上传到服务器

tar解压安装包

[root@master tools]# tar -xvf hadoop-3.2.3.tar.gz  //hadoop文件名按照自己的来

[root@master tools]# mv hadoop-3.2.3 /usr/local/hadoop3  //移动解压后的Hadoop文件到/usr/local/hadoop3目录下

修改master节点上的hadoop配置文件，修改配置文件/etc/profile，文末加入以下配置

export HADOOP_HOME=/usr/local/hadoop3    //路径为上一步转移的目录

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_PREFIX=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_YARN_HOME=$HADOOP_HOME

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_CONF_DIR=$HADOOP_HOME

export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec

export JAVA_LIBRARY_PATH=$HADOOP\_HOME/lib/native:$JAVA_LIBRARY_PATH

export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop

export HDFS_DATANODE_USER=root

export HDFS_DATANODE_SECURE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export HDFS_NAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

通过source命令将配置生效

source /etc/profile

查看是否设定好了环境变量

echo $HADOOP_HOME

显示为/etc/profile文件中的HADOOP_HOME位置

修改hadoop-env.sh等文件

[root@d422409c8ce5 hadoop]# vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

[root@d422409c8ce5 hadoop]# vim $HADOOP_HOME/etc/hadoop/yarn-env.sh

[root@d422409c8ce5 hadoop]# vim $HADOOP_HOME/etc/hadoop/mapred-env.sh

文末添加jdk的安装路径

增加node1的信息（自己克隆的虚拟机名称）

vi $HADOOP_HOME/etc/hadoop/workers

添加内容：node1

把以下文件的configuration修改为如下内容：

vim $HADOOP_HOME/etc/hadoop/core-site.xml

fs.defaultFS

hdfs://master:9000

hadoop.tmp.dir

/home/hadoop/tmp

io.file.buffer.size

131702

hadoop.http.staticuser.user

root

vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

dfs.namenode.name.dir

file:/home/hadoop/tmp/dfs/name

dfs.datanode.data.dir

file:/home/hadoop/tmp/dfs/data

dfs.replication

3

dfs.namenode.http-address

master:50070

NameNode address and port

dfs.namenode.secondary.http-address

master:50090

Secondary NameNode address and port

dfs.webhdfs.enabled

true

dfs.stream-buffer-size

131072

dfs.namenode.checkpoint.dir

file:/home/hadoop/tmp/dfs/namesecondary

vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）

己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
[外链图片转存中…(img-ZSjOHdCt-1712519855743)]
[外链图片转存中…(img-XdJqEO60-1712519855744)]
[外链图片转存中…(img-OmfSPsCF-1712519855744)]
[外链图片转存中…(img-SSMMtP14-1712519855744)]
[外链图片转存中…(img-cgwYwI2w-1712519855745)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-LJlgwAhB-1712519855745)]