Linux   发布时间:2022-04-01  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了在Linux(Centos7)系统上对进行Hadoop分布式配置以及运行Hadoop伪分布式实例大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

概述

在Linux(Centos7)系统上对进行Hadoop分布式配置以及运行Hadoop伪分布式实例                                                                                                                                                        

在Linux(Centos7)系统上对进行Hadoop分布式配置以及运行Hadoop伪分布式实例

                                                                                                                                                                                     

                                                                                                                                                                                           @Auther:MrZhangxd    2019-04-28   21:32:00

 

Hadoop单机配置(非分布式)

 

Hadoop 认模式为非分布式模式,无需进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试

现在我们可以执行例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子(运行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar 可以看到所有例子),包括 wordcount、terasort、join、grep 等。

在此我们选择运行 grep 例子,我们将 input 文件夹中的所有文件作为输入,筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数,最后输出结果到 output 文件夹中。

 

[[email protected]~] # cd /usr/local/hadoop

 

[[email protected] hadoop] # madir ./input

 

[[email protected] hadoop] # cp ./etc/hadoop/*.xml ./input

# 将配置文件作为输入文件

 

[[email protected] hadoop] # ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output ‘dfs[a-z.]+‘

 

[[email protected] hadoop] # cat ./output/*   # 查看运行结果

若出现提示 “INFO metrics.MetricsUtil: Unable to obtain hostName java.net.UnkNowHostException”,这需要执行如下命令修改 hosts 文件,为你的主机名增加IP映射:

[[email protected] hadoop] # sudo vim /etc/hosts

设置主机名的IP映射:

 

保存文件后,重新运行 hadoop 实例,若执行成功的话会输出很多作业的相关信息,最后的输出信息如下图所示。作业的结果会输出在指定的 output 文件夹中,通过命令 cat ./output/* 查看结果,符合正则的单词 dfsadmin 出现了1次:

 

Hadoop例子输出结果:略

 

注意,Hadoop 认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将 ./output 删除

[[email protected] hadoop] # rm -r ./output

 

 

Hadoop伪分布式配置

 



Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 Datanode,同时,读取的是 HDFS 中的文件

在设置 Hadoop 伪分布式配置前,我们还需要设置 HADOOP 环境变量,执行如下命令在 ~/.bashrc 中设置:

[[email protected] hadoop] # gedit ~/.bashrc

将如下语句输入保存到bashrc

# Hadoop Environment Variables

export HADOOP_HOME=/usr/local/hadoop

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

运行如下命令配置才能生效

[[email protected] hadoop] # source ~/.bashrc

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。

[[email protected] hadoop] # gedit ./etc/hadoop/core-site.xml

进行如下配置:然后<Ctrl+S>保存

Core-site.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

 

[[email protected]lhost hadoop] # gedit ./etc/hadoop/hdfs-site.xml

进行如下配置:然后<Ctrl+S>保存

Core-site.xml

<configuration>

<property>

<name>dfs.Replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/data</value>

</property>

</configuration>

配置完成后,首先进行NameNode的格式化

[[email protected] hadoop] # ./bin/hdfs namenode -format

其次进行Datanode的格式化

[[email protected] hadoop] # ./bin/hdfs datanode -format

最后开启NameNode和Datanode两个守护进程

[[email protected] hadoop] # ./sbin/start-dfs.sh

启动后通过命令jps来查看

成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件

 

 

运行Hadoop伪分布式实例

 

 

上面的单机模式,grep 例子读取的是本地数据,伪分布式读取的则是 HDFS 上的数据。要使用 HDFS,首先需要在 HDFS 中创建用户目录:

[[email protected] hadoop] # . /bin/hdfs dfs -mkdir -p /user/hadoop

接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中,即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。我们使用的是 hadoop 用户,并且已创建相应的用户目录 /user/hadoop ,因此在命令中就可以使用相对路径如 input,其对应的绝对路径就是/user/hadoop/input:

[@L_489_65@ hadoop] # . /bin/hdfs dfs -mkdir input

 

[[email protected] hadoop] # ./bin/hdfs dfs -put ./etc/hadoop/*.xml input

复制完成后,可以通过如下命令查看 HDFS 中的文件列表:

[[email protected] hadoop] # ./bin/hdfs dfs -ls input

伪分布式运行 MapReduce 作业的方式跟单机模式相同,区别在于伪分布式读取的是HDFS中的文件

[[email protected] hadoop] # ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output ‘dfs[a-z.]+‘

查看运行结果的命令(查看的是位于 HDFS 中的输出结果):

@H_131_618@

[[email protected] hadoop] # ./bin/hdfs dfs -cat output/*

我们也可以将运行结果取回本地:

[[email protected] hadoop] # rm -r ./output

# 先删除本地的 output 文件夹(如果存在)

 

[[email protected] hadoop] # ./bin/hdfs dfs -get output ./output

# 将 HDFS 上的 output 文件夹拷贝到本机

 

[[email protected] hadoop] # cat ./output/*

Hadoop 正确运行程序时,输出目录不能存在,

否则会提示错误 “Org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists” 。

因此若要再次执行,需要执行如下命令删除 output 文件

[[email protected] hadoop] # ./bin/hdfs dfs -rm -r output

# 删除 output 文件

 

注意:

运行程序时,输出目录不能存在

运行 Hadoop 程序时,为了防止覆盖结果,程序指定的输出目录(如 output)不能存在,否则会提示错误,因此运行前需要先删除输出目录。在实际开发应用程序时,可在程序中加上如下代码,能在每次运行时自动删除输出目录,避免繁琐的命令行操作:

[1]  Configuration conf = new Configuration();

[2]  Job job = new Job(conf);

/* 删除输出目录 */

[3]  Path outputPath = new Path(args[1]);

[4]  outputPath.getFileSystem(conf).@R_696_9421@e(outputPath,truE);

启动YARN(伪分布式不启动 YARN 也可以,一般不会影响程序执行)

 

YARN 是从 MapReduce 中分离出来的,负责资源管理与任务调度。YARN 运行于 MapReduce 之上,提供了高可用性、高扩展性。

上面只不过是启动了Hadoop,仅仅是启动了 MapReduce 环境,我们可以启动 YARN ,让 YARN 来负责资源管理与任务调度。

首先修改配置文件 mapred-site.xml,这边需要先进行重命名,命令如下

[[email protected] hadoop] # @H_149_70@mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

然后对mapred-site.xml和yarn-site.xml进行配置

[[email protected] hadoop] # gedit ./etc/hadoop/mapred-site.xml

 

<configuration>

<property>

<name>@H_89_336@mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

 

[[email protected] hadoop] # gedit ./etc/hadoop/ yarn-site.xml

 

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>@H_89_336@mapreduce_shuffle</value>

</property>

</configuration>

紧接着可以启动YARN(需要先执行过 ./sbin/start-dfs.sh)

[[email protected] hadoop] # ./sbin/start-yarn.sh $ 启动YARN

 

[[email protected] hadoop] # ./sbin/mr-jobhistory-daemon.sh start historyserver

# 开启历史服务器,才能在Web中查看任务运行情况

开启后通过 jps 查看,可以看到多了 NodeManager 和 resourceManager 两个后台进程。然后在web界面查看运行情况http://localhost:8088/cluster.

有开始必然就有结束,结束YARN的命令如下:

[[email protected] hadoop] # ./sbin/stop-yarn.sh

 

[[email protected] hadoop] # ./sbin/mr-jobhistory-daemon.sh stop historyserver

 

 

加油!宝贝们!!!

最后您也掌握了Hadoop配置及其基本使用。

 

 

【参资料】

[1]  How to Setup Hadoop 2.7.1 on CentOS,Ubuntu & LinuxMint

[2]  Yarn简单介绍及内存配置

大佬总结

以上是大佬教程为你收集整理的在Linux(Centos7)系统上对进行Hadoop分布式配置以及运行Hadoop伪分布式实例全部内容,希望文章能够帮你解决在Linux(Centos7)系统上对进行Hadoop分布式配置以及运行Hadoop伪分布式实例所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。