HTML5   发布时间:2022-04-27  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了Big Data(三)环境的搭建大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

关于伪分布式的配置全程

1.安装VMWare WorkStation,直接下一步,输入激活码即可安装

2.安装Linux(需要100GB)

引导分区Boot200MB

交换分区Swap2048MB

其余分配到/

3.配置网络服务

vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
Ipaddr=192.168.118.11
NETMASK=255.255.255.0
GATEWAY=192.168.118.2
DNS1=114.114.114.114
DNS2=192.168.118.11

注意点:

1.关于Ipaddr的前三个网关,要与虚拟网络编辑器的VMnet8的子网IP的前三个网关一样

2.关于GATEWAY要与NAT下的GATEWAY一样,详情如下

虚拟网络编辑器:在VMWare编辑下打开

Big Data(三)环境的搭建

点击NAT设置,查看GATEWAY

 

Big Data(三)环境的搭建

4.修改主机名称

vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node01

5.设置Host(关于Host,是指IP和主机名的映射关系)

vi /etc/hosts
192.168.150.11 node01
192.168.150.12 node02

6.关闭防火墙,开机不启动防火墙

service iptables stop
chkconfig iptables off

7.关闭selinux(selinux是Linux下一种安全模式,打开可能会连不上XSHell)

vi /etc/selinux/config
SELINUX=disabled

8.时间同步

使用yum安装ntp,并把原有的server注释,替换成

server ntp1.aliyun.com
service ntpd start
chkconfig ntpd on

 

Big Data(三)环境的搭建

9.安装jdk,使用Xftp上传rpm文件

jdk-8u181-linux-x64.rpm

修改JAVA_HOME

vi /etc/profile 
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile

10.安装ssh免密

(1)检验ssh是否可以登录

ssh localhost

需要输入密码,则不免密

(2)设置免密

ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh-keygen -t dsa表示使用dsa算法加密

-p ‘‘表示密码为空

-f ~/ .ssh/id_dsa 将公钥放在/home/.ssh/id_dsa下

不能自己私自创建目录,关于ssh的目录权限,必须为755或者700,不能是777,否则不能使用免密

11.安装Hadoop

@H_594_19@mkdir /opt/bigdata tar xf hadoop-2.6.5.tar.gz mv hadoop-2.6.5 /opt/bigdata/ pwd /opt/bigdata/hadoop-2.6.5

设置Hadoop的环境变量

vi /etc/profile    
export JAVA_HOME=/usr/java/default
export HADOOP_HOME=/opt/bigdata/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

12.修改hadoop-env.sh,此文件为hadoop启动脚本,将JAVA_HOME改为具体的环境变量

cd $HADOOP_HOME/etc/hadoop
vi hadoop-env.sh
export JAVA_HOME=/usr/java/default

13.给出NN角色在哪里启动vi core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:9000</value>
</property>

14.配置一个hdfs副本

<!-- 副本数量为1 -->
<property> <name>dfs.Replication</name> <value>1</value> </property>
<!-- NameNode的路径--> <property> <name>dfs.namenode.name.dir</name> <value>/var/bigdata/hadoop/local/dfs/name</value> </property>
<!-- Datanode的路径--> <property> <name>dfs.datanode.data.dir</name> <value>/var/bigdata/hadoop/local/dfs/data</value> </property>
<!-- SecondaryNameNode在哪个端口启动--> <property> <name>dfs.namenode.secondary.http-address</name> <value>node01:50090</value> </property>
<!-- SecondaryNameNode的路径--> <property> <name>dfs.namenode.checkpoint.dir</name> <value>/var/bigdata/hadoop/local/dfs/secondary</value> </property>

15.配置Slave

vi slaves
node01

16.初始化&启动

hdfs namenode -format 

创建目录,并且初始化一个空的fsimage

VERSION CID

start-dfs.sh

17.修改windows: C:\Windows\System32\drivers\etc\hosts(注意这边IP要与端口一样)

192.168.150.11 node01
192.168.150.12 node02
192.168.150.13 node03
192.168.150.14 node04

18.简单创建目录

hdfs dfs -mkdir /bigdata
hdfs dfs -mkdir -p /user/root

19.HDFS的常见命令

hadoop fs == hdfs dfs

命令的执行要在bin目录下
例:./hadoop fs -ls /
hadoop fs -ls / 查看
hadoop fs -lsr
hadoop fs -mkdir /user/haodop 创建文件夹
hadoop fs -put a.txt /user/hadoop 上传到hdfs
hadoop fs -get /user/hadoop/a.txt 从hdfs下载
hadoop fs -cp src dst 复制
hadoop fs -@H_629_24@mv src dst 移动
hadoop fs -cat /user/hadoop/a.txt 查看文件内容
hadoop fs -rm /user/hadoop/a.txt 删除文件
hadoop fs -rmr /user/hadoop 删除文件夹
hadoop fs -text /user/hadoop/a.txt 查看文件内容
hadoop fs -copyFromLocal localsrc dst  与hadoop fs -put功能类似
hadoop fs -@H_629_24@moveFromLocal localsrc dst 将本地文件上传到hdfs,同时删除本地文件
    2、帮助命令查看

hadoop帮助命令查看,不需要输入Help,只需要在bin目录下输入即可。
例:./hadoop 
    ./hadoop fs

关于完全分布式的修改

1.建立4台Linux主机

Big Data(三)环境的搭建

2.修改自己的主机名和网关

vim /etc/sysconfig/network-scripts/ifcfg-eth0

Big Data(三)环境的搭建

Ipaddr分配4个不一样的IP

Big Data(三)环境的搭建

分配4个主机名

vim /etc/sysconfig/network

 

Big Data(三)环境的搭建

3.重启网卡

service network restart

4.重启网卡要记住删除文件

rm -f /etc/udev/rules.d/70-persistent-net.rules

5.文件命令

scp xxx node:0x/xx scp是一种远程拷贝

6.`pwd`可以在另一台主机同样位置进行定位

大佬总结

以上是大佬教程为你收集整理的Big Data(三)环境的搭建全部内容,希望文章能够帮你解决Big Data(三)环境的搭建所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。