大佬教程收集整理的这篇文章主要介绍了CentOS7下搭建Hadoop3.2.0完全分布式集群（亲娘级教程超详细），大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。
Hadoop安装教程
1、准备工作1.1 安装三台CentOS7虚拟机hadoop-1是namenode，hadoop-2和hadoop-3都是datanode使用：ip addr查看并记住三台虚拟机所对应IP
1.2 修改主机名(root 权限 操作三台)[root@localhost ~]# hostname #查看当前的 hostnmae
localhost
[root@localhost ~]# hostnamectl set-hostname hadoop-1 #永久修改hostname(立即生效）
[root@localhost ~]# hostname # 检查修改
hadoop-1123456789其余两台以同样方式分别将主机名修改为：hadoop-2、hadoop-3
1.3 修改HOSTS（root权限 操作三台）修改HOSTS的原因主要有两点：
1.Hadoop 内部机制需要通过主机名对主机进行访问。
2.使用主机名对 Hadoop 集群进行配置，看起来更加一目了然。123在CentOS7中修改HOSTS 操作命令如下：
[root@localhost ~]# vi /etc/hosts
#在文件中添加集群所有主机的IP和主机名的对应关系，IP 与主机名之间使用一个 TAB 键分隔
192.168.80.132 hadoop-1 192.168.80.133 hadoop-2192.168.80.134 hadoop-312345671.4 关闭防火墙（root权限 操作三台）Centos7 中使用 systemctl 命令来管理服务，命令如下：
[root@localhost ~]# firewall-cmd --state #查看状态[root@localhost ~]# systemctl disable firewalld # 永久关闭防火墙（重启生效）[root@localhost ~]# systemctl stop firewalld # 临时关闭防火墙（立即生效）1231.5 同步时间（root权限 操作三台）CentOS7 网络同步时间命令如下：
yum install ntPDAte #@R_388_9382@，需要按提示输入两次Y或yes ntPDAte cn.pool.ntp.org #安装完毕后，执行该语句同步时间121.6 配置SSH免密登录（root权限 操作三台）给三台虚拟机生成密钥以hadoop-1为例，执行命令，生成空字符串的秘钥(后面要使用公钥)，命令是：
ssh-keygen -t rsa #@R_388_9382@需要按四次Enter键1
将公钥拷贝到要免密登录的目标机器上在hadoop-1上执行以下命令:
ssh-copy-id hadoop-2ssh-copy-id hadoop-312在hadoop-2上执行以下命令:
ssh-copy-id hadoop-1ssh-copy-id hadoop-312在hadoop-3上执行以下命令:
ssh-copy-id hadoop-1ssh-copy-id hadoop-212测试免密登陆在hadoop-2服务器执行命令
ssh hadoop-11
可以看到在没有输入密码的情况下从服务器hadoop-2成功登录到hadoop-1服务器，此时就可以在hadoop-2服务器操作hadoop-1服务器。三台机器互相ssh一下，第一次登录需要输入yes，之后就不需要了。出现上图表示成功。测试能连接后不要忘记执行 exit 退出登录
2、JDK环境安装(操作三台)2.1 下载JDK下载网址：JDK下载网址选择图中红框版本
2.2 将JDK文件上传到Linux服务器上这里使用root账号登录，安装到/usr/local/java目录下。上传及新建文件夹推荐使用XSHell+Xftp
2.2 执行解压命令cd /usr/local/java/tar -zxvf jdk-8u261-linux-x64.tar.gz122.3 配置环境变量vi /etc/profile1在末尾加上：
JAVA_HOME=/usr/local/java/jdk1.8.0_261(这里 JAVA_HOME=你自己的jdk路径)CLASSPATH=.:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME CLASSPATH PATH1234然后执行 source /etc/profile 命令使修改的配置文件生效。
2.4 测试执行命令：
javac或者java -version1出现下图代表JDK安装成功
3、Hadoop安装3.1 Hadoop下载这里选择的版本是3.2.0Hadoop3.2.0下载
3.2 将Hadoop文件上传到Linux服务器上在opt目录下新建一个名为hadoop的目录，并将下载得到的hadoop-3.2.0.tar上载到该目录下
3.2 解压安装tar -xvf hadoop-3.2.0.tar.gz13.3 配置Hadoop环境变量vi /etc/profile1在末尾加上：
export HADOOP_HOME=/opt/hadoop/hadoop-3.2.0export PATH=$PATH:$HADOOP_HOME/binexport PATH=$PATH:$HADOOP_HOME/sbin123然后执行 source /etc/profile 命令使修改的配置文件生效。
3.4 测试执行命令：
hadoop version14、Hadoop配置文件修改4.1 新建几个目录在/root目录下新建几个目录，以此复制粘贴执行下面的命令：
@H_930_0@mkdir /root/hadoopmkdir /root/hadoop/tmpmkdir /root/hadoop/varmkdir /root/hadoop/dfsmkdir /root/hadoop/dfs/namemkdir /root/hadoop/dfs/data1234564.2 修改etc/hadoop中的一系列配置文件修改core-site.xmvi /opt/hadoop/hadoop-3.2.0/etc/hadoop/core-site.xml1在节点内加入配置:<property> <name>hadoop.tmp.dir</name> <value>/root/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://hadoop-1:9000</value> </property>123456789修改hadoop-env.shvi /opt/hadoop/hadoop-3.2.0/etc/hadoop/hadoop-env.sh1将 export JAVA_HOME=${JAVA_HOME}修改为： export JAVA_HOME=/usr/local/java/jdk1.8.0_261 说明：修改为自己的JDK路径123修改hdfs-site.xmlvi /opt/hadoop/hadoop-3.2.0/etc/hadoop/hdfs-site.xml 1在节点内加入配置:：
<property> <name>dfs.name.dir</name> <value>/root/hadoop/dfs/name</value> <description>Path on the local filesystem where thenameNode stores the namespace and transactions logs persistently. </description></property> <property> <name>dfs.data.dir</name> <value>/root/hadoop/dfs/data</value> <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description></property> <property> <name>dfs.Replication</name> <value>2</value></property>
<property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop3:50090</value></property>
<property> <name>dfs.permissions</name> <value>false</value> <description>need not permissions</description></property>123456789101112131415161718192021222324252627新建并且修改mapred-site.xmlvi /opt/hadoop/hadoop-3.2.0/etc/hadoop/mapred-site.xml1在节点内加入配置:
<!-- 配置mapReduce在Yarn上运行(默认本地运行) --><property> <name>mapreduce.framework.name</name> <value>yarn</value></property>12345修改workers文件vi /opt/hadoop/hadoop-3.2.0/etc/hadoop/workers1将里面的localhost删除，添加以下内容：
hadoop-1hadoop-2hadoop-3123修改yarn-site.xml文件vi /opt/hadoop/hadoop-3.2.0/etc/hadoop/yarn-site.xml 1在节点内加入配置
<property> <description>指定YARN的老大（resourceManager）的地址</description> <name>yarn.resourcemanager.hostname</name> <value>hadoop-1</value> </property> <!-- NodeManager上运行的附属服务。需要配置成mapreduce_shfffle,才可运行MapReduce程序默认值 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <discription>每个节点可用内存,单位MB,默认8182MB</discription> <name>yarn.scheduler.maximum-alLOCATIOn-mb</name> <value>2048</value> </property> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property>12345678910111213141516171819202122配置hadoop-3.2.0/sbin/目录下start-dfs.sh、start-yarn.sh、stop-dfs.sh、stop-yarn.sh文件在start-dfs.sh、stop-dfs.sh开始第一行加上
HDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root1234在start-yarn.sh、stop-yarn.sh开始第一行加上
YARN_resourcEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=root123配置好后，将 hadoop-1上的 /opt/hadoop/hadoop-3.2.0 文件夹传递复制到从节点scp -r /opt/hadoop/hadoop-3.2.0 root@hadoop-2:/opt/hadoop/scp -r /opt/hadoop/hadoop-3.2.0 root@hadoop-3:/opt/hadoop/ scp /etc/profile root@hadoop-2:/etc/ #copy配置文件到各个节点scp /etc/profile root@hadoop-3:/etc/123455、启动Hadoop5.1 格式化namenode因为hadoop-1是namenode，hadoop-2和hadoop-3都是datanode，所以只需要对hadoop-1进行初始化操作，也就是对hdfs进行格式化。进入到hadoop-1这台机器/opt/hadoop/hadoop-3.2.0/bin目录：
cd /opt/hadoop/hadoop-3.2.0/bin1执行初始化脚本
./hadoop namenode -format15.2 启动Hadoop从hadoop-1开始，在三台分别运行：
start-all.sh15.2 运行结果hadoop-1是我们的namenode，该机器的IP是192.168.217.128，在本地电脑访问如下地址:
http://192.168.80.132:9870/
自动跳转到了overview页面
在本地浏览器里访问如下地址：http://192.168.217.128:8088/自动跳转到cluster页面
在hadoop-1中输入
jps1出现结果如图:
在hadoop-2中输入
jps1出现结果如图:
在hadoop-3中输入
jps1出现结果如图:
————————————————版权声明：本文为CSDN博主「only-1-bug」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/Toddr/article/details/109181107
四、Hadoop HDFS 基本操作# 查看目录hdfs dfs -ls /# 创建目录hdfs dfs -mkdir /hadoop# 上传文件hdfs dfs -put /opt/text.txt /hadoop# 删除目录hdfs dfs -rm -r /hadoop1：创建目录；2：创建文件并上传 hdfs
查看启动状态
[root@master ~]# netstat -lntp
浏览器查看 HDFS
浏览器 地址栏 录入 http://192.168.11.21:9870/ 说明：192.168.11.21 是我 master 节点的IP地址
至此，Centos7.x 安装部署 Hadoop 3.x HDFS基础环境（非高可用集群）操作完毕，希望能够对您有所帮助！————————————————版权声明：本文为CSDN博主「一花一世界~」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/llwy1428/article/details/111144524
以上是大佬教程为你收集整理的CentOS7下搭建Hadoop3.2.0完全分布式集群（亲娘级教程超详细）全部内容，希望文章能够帮你解决CentOS7下搭建Hadoop3.2.0完全分布式集群（亲娘级教程超详细）所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。