设置虚拟机DNS

主机网络配置

vi /etc/sysconfig/network-scripts/ifcfg-ens33

vi /etc/NetworkManager/NetworkManager.conf

安装XsHell连接软件

关闭防火墙

systemctl status firewalld.service

systemctl stop firewalld.service

systemctl disable firewalld.service

服务器系统设置

设置主机名

vi /etc/sysconfig/network

如果只修改 network 文件，下次重启虚拟机时，会发现修改后的名字又回到原来的 localhost 去了。原来上面只修改了瞬态（Transient）主机名，并没有修改静态（Static）主机名。因此，仍然要进行修改，这一次输入

命令在编辑器中输入如下代码：MJ1，保存并退出，回到终端主窗口。
请重复上述操作方法，将其他虚拟机的主机名也从缺省的 localhost 修改为对应的 slave0 和 slave1。

服务器系统设置

一，集群机器时间同步

二，配置IP主机名映射

三，复制虚拟机注意虚拟机ip地址

四，配置ssh免密登录（本身机器访问本身也要免密登录，配置机器到自己、其他机器的免密登录）

JDK环境准备

1、jdk的卸载和安装

我们要安装标准的jdk，如果不是标准的jdk，比如openJDK要卸载。

2、创建文件夹用来放置安装的软件如jdk,zookeeper

3、上传jdk包：rz拖拽

4、安装命令 tar zxvf 包名

5、修改设置全局变量3台机器都要添加：

vi /etc/profile 加入下面内容

@H_404_141@6、重新加载profile文件:source /etc/profile

①使用javac命令，不会出现command not found错误

②、使用java -version，出现版本为Java version "1.8.0_131"

③、echo $PATH，看看自己刚刚设置的的环境变量配置是否都正确

7，上传完后，在master主机进入/opt/hadoop目录，执行解压缩命令“tar -zxvf hadoop-2.7.5.tar.gz”

配置env文件

修改”/opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh”文件，找到“export JAVA_HOME”这行，配置jdk路径。如图

export JAVA_HOME=/usr/local/java/jdk1.8.0_162/

配置Hadoop 的核心组件文件是 core-site.xml
添加这个临时文件保存目录 首先你得创建这个目录

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://MJ1:9000</value>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/hadooPDAta</value>
</property>

配置Hadoop 的文件系统配置文件是 hdfs-site.xml
这里可以配置主机网站端口可以通过浏览器来访问web监控页面
上传和下载文件端口是9000

<property>
    <name>dfs.Replication</name>
    <value>1</value>
</property>

配置slaves（配置masters）

拷贝 到 MJ2 MJ3

scp -r hadoop-2.7.6/ [email protected]:/usr/local/

配置hadoop环境变量

export HADOOP_HOME=/usr/local/hadoop-2.7.6
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后把hadoop环境变量传给其余几台

scp /etc/profile [email protected]:/etc/

重新启动环境变量

source /etc/profile

格式化你的主机不能在奴隶机上用

hdfs namenode -format

启动hdfs

start -dfs.sh

到这里已经装好HDFS了可以输入网址查看 http://192.168.20.20:50070

下面装yarn
重命名为mapred-site.xml.template

修改

修改

添加

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>MJ1:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>MJ1:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>MJ1:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>MJ1:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>MJ:18088</value>
</property>

指定mr运行在yarn上，默认是local，本地模仿@L_675_47@资源环境

把修改过的两个文件分别覆盖自己得奴隶机

启动yarn resourceManage：http://192.168.247.11:8088 （Yarn管理界面）查看