第20章 HIVE 安装
在安装HIVE之前，需要安装JDK、Hadoop，由于在安装Spark时，已经安装过并配置过JDK，因此该章将从Hadoop的安装和配置开始。
20.1Hadoop安装
在安装Hadoop之前，先验证机器上是否已经安装Hadoop，检验是否安装过Hadoop的命令： hadoop version。如果机器已经安装，将会给出如下响应信息：
如果没有，安装步骤如下：
Step_1:下载Hadoop
下载Hadoop 2.7.3文件，通过下面的命令从Apache软件基金下载：
wgethttp://apache.claz.org/hadoop/common/hadoop-2.7.3/
解压下载的文件： tar xzf hadoop-2.7.3.tar.gz
移动文件：mv hadoop-2.4.1/* hadoop/
Step_2：以伪分布方式安装Hadoop
Step_2.1:设置Hadoop环境变量
设置hadoop系统环境变量，并把变量追加在~/.bashrc文件中，
export HADOOP_HOME=/usr/local/hadoopexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
设置完毕，然后在当前系统运行命令:
source ~/.bashrc
Step_2.2:配置Hadoop
在路径”$HADOOP_HOME/etc/hadoop “路径下，查找Hadoop配置文件，执行命令: cd$HADOOP_HOME/etc/hadoop，为了能使用Java开发Hadoop程序，需要重新设置 hadoop-env.sh文件中的java的环境变量，用系统本地的java来替换 JAVA_HOME中的值： exportJAVA_HOME=/usr/local/jdk1.7.0_71
1) core-site.xml
core-site.xml文件包含信息如下：hadoop实例的端口号、相关文件系统的内存、存储数据的内存限制、读/写缓存的大小。打开 core-site.xml文件，在之间添加如下属性：
2) hdfs-site.xml
hdfs-site.xml包含的信息有：备份数据的值、命名节点的路径、本地问价系统数据节点路径。它意味着要存储Hadoop基础架构的位置。打开 hdfs-site.xml文件，在之间添加如下属性：
3) yarn-site.xml
在hadoop中配置yarn。打开 yarn-site.xml文件 ，在之间添加如下属性：
4) mapred-site.xml
该文件用来指定使用的MapReduce框架。默认情况下，hadoop包含一个 yarn-site.xml模板。首先，需要把文件 mapred-site.xml.template复制到 mapred-site.xml文件，使用如下命令如下： cp mapred-site.xml.template mapred-site.xml
打开 mapred-site.xml文件 ，在之间添加如下属性：
Step_3:验证Hadoop安装
Step_3.1：建立命名节点
用命令 “hdfs namenode -format”建立命名节点，期望的输出结：
Step_3.2:验证Hadoop dfs
用命令： start-dfs.sh启动dfs，执行该命令启动hadoop文件系统，期望输出结果如下：
Step_3.3：验证Yarn脚本
用命令: start-yarn.sh启动yarn脚本。执行该命令启动yarndaemons，期望输出结果如下：
Step_3.4:浏览器进入Hadoop
Hadoop的默认端口号是50070.使用URL：http://localhost:50070/，进入Hadoop服务：
Step_3.5：验证集群中的所有应用程序
接入集群中所有应用程的默认接口是：8088。使用URL: http://localhost:8088/，浏览服务：
Original: https://blog.51cto.com/u_15685799/5385796
Author: WEL测试
Title: 大数据学习笔记——————-(20_1)
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/517356/
转载文章受原作者版权保护。转载请注明原作者出处！