大佬教程收集整理的这篇文章主要介绍了Centos6.5 64位 安装Hadoop2.7.0, MapReduce日志分析, Hive2.1.0, JDBC连接Hive查询 (1),大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
文章分为四篇,1 是安装 Hadoop, 2 MapReduce日志分析样例,3 安装Hive,4 JDBC连接Hive查询数据.
第一篇 Hadoop安装
Hadoop 安装,网上的例子很多,本人也是根据网上的步骤一步一步的执行,安装完成后,运行WordCount.jar时发现,从hadoop官网下的是32位,没有编译好的64的,于是想自己编译下64位的,本人费尽周折,在公司以及在家的电脑上折腾了好久,编译无法通过,主要的原因是下载所需的jar包的过程中超时,于是网上搜索了编译后的64位的hadoop.
http://download.csdn.net/detail/tianhuimin/874736
这位分享的是能用的,但不是2.7.1,是2.7.0
接下来是枯燥的安装过程...
下面的内容是大部分是转载的,因为大部分配置都差不多,转自 http://www.open-open.com/lib/view/open1435761287778.html
总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs、mapreduce等主从关系。
1、环境,两台CentOS6.5,64位,在每台的hosts文件中绑定:
master 10.68.128.215 slave1 10.68.128.212
ssh-keygen -t rsa
cat id_rsa.pub>> authorized_keys ssh root@10.68.128.212 cat ~/.ssh/id_rsa.pub>> authorized_keys
export JAVA_HOME=/usr/local/java/jdk1.7.0_79 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
java -version显示
[root@master hadoop]# java -version java version "1.7.0_79" Java(TM) SE Runtime Environment (build 1.7.0_79-b15) Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02,mixed mode)
tar -xzvf hadoop-2.7.0.tar.gz
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://10.68.128.215:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/tmp</value> </property> <property> <name>io.file.buffer.size</name> <value>131702</value> </property> <!-- JDBC 连接自定义验证 Hive使用的配置 --> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> </configuration>
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>10.68.128.215:9001</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> </configuration>
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>10.68.128.215:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>10.68.128.215:19888</value> </property> </configuration>
<configuration> <property> <name>yarn.app.mapreduce.am.resource.mb</name> <value>1228</value> </property> <property> <name>yarn.app.mapreduce.am.command-opts</name> <value>-Xmx983m</value> </property> <property> <name>mapreduce.map.memory.mb</name> <value>1228</value> </property> <property> <name>mapreduce.reduce.memory.mb</name> <value>1228</value> </property> <property> <name>mapreduce.map.java.opts</name> <value>-Xmx983m</value> </property> <property> <name>mapreduce.reduce.java.opts</name> <value>-Xmx983m</value> </property> <property> <name>mapreduce.job.tracker</name> <value>hdfs://10.68.128.215:9001</value> <final>true</final> </property> <property> <name>mapreduce.jobhistory.address</name> <value>10.68.128.215:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>10.68.128.215:19888</value> </property> </configuration>
export JAVA_HOME=/usr/local/java/jdk1.7.0_79
master slave1
scp -r /home/hadoop 10.68.128.212:/home/
sbin/start-all.sh
如果正常,大概是以下信息
[root@master sbin]# ./start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh Starting namenodes on [master] master: starting namenode,logging to /home/hadoop/hadoop-2.7.0/logs/hadoop-root-namenode-master.out master: starting datanode,logging to /home/hadoop/hadoop-2.7.0/logs/hadoop-root-datanode-master.out slave1: starting datanode,logging to /home/hadoop/hadoop-2.7.0/logs/hadoop-root-datanode-slave1.out Starting secondary namenodes [master] master: starting secondarynamenode,logging to /home/hadoop/hadoop-2.7.0/logs/hadoop-root-secondarynamenode-master.out starting yarn daemons starting resourcemanager,logging to /home/hadoop/hadoop-2.7.0/logs/yarn-root-resourcemanager-master.out slave1: starting nodemanager,logging to /home/hadoop/hadoop-2.7.0/logs/yarn-root-nodemanager-slave1.out master: starting nodemanager,logging to /home/hadoop/hadoop-2.7.0/logs/yarn-root-nodemanager-master.out
(3)停止的话,输入命令,sbin/stop-all.sh
(4)输入命令,jps,可以看到相关信息
13、Web访问,要先开放端口或者直接关闭防火墙
(1)输入命令,service iptables stop
(2)浏览器打开http://10.68.128.215:8088/
(3)浏览器打开http://10.68.128.215:50070/
OK,Hadoop 安装好了. 下一篇,MapReduce示例 :)
以上是大佬教程为你收集整理的Centos6.5 64位 安装Hadoop2.7.0, MapReduce日志分析, Hive2.1.0, JDBC连接Hive查询 (1)全部内容,希望文章能够帮你解决Centos6.5 64位 安装Hadoop2.7.0, MapReduce日志分析, Hive2.1.0, JDBC连接Hive查询 (1)所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。