前言
Hadoop集群= HDFS集群+ YARN集群
特点：两个集群逻辑上分离，通常物理上在一起；并且都是标准的主从架构集群
Hadoop安装
方式一源码编译安装
方式二官方编译安装包 (✔)
环境
Centos +虚拟机
集群规划
服务器 运行角色 node1.itcast.cn namenode datanode resourcemanager nodemanager node2.itcast.cn secondarynamenode datanode nodemanager node3.itcast.cn datanode nodemanager
服务器环境准备
1、主机名-allservers
/* 建立服务器的主机名*/
vim /etc/hostname
添加主机名
/*验证：*/
hostname或cat /etc/hostname、
2、Hosts映射-allservers
/*建立服务器主机名和IP地址映射*/
vim /etc/hosts
添加IP地址 主机名1 主机名2..
/*验证：*/
cat /etc/hosts
3、集群时间同步-allservers
/*安装ntpdate命令*/
yum -y install ntpdate (若有可跳过)
/*同步时间*/
ntpdate ntp4.aliyun.com
4、关闭防火墙-allservers
systemctl stop firewalld.service #停止firewalld服务
systemctl disable firewalld.service #开机禁用firewalld服务
5、SSH免密登录-node1
Hadoop名称节点（NameNode）需要启动集群中所有机器的Hadoop守护进程，这个过程可用通过SSH登录实现。
#只需要配置node1至node1、node2、node3即可
#node1生成公钥私钥--一直确认
ssh-keygen
#node1配置免密登录到node1 node2 node3
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
#验证,进行登录
ssh node1
ssh node2
ssh node3
4、创建存放路径
mkdir -p /export/server/ #软件安装路径
mkdir -p /export/data/ #数据存储路径
mkdir -p /export/sofrware/ #安装包存放路径
5、安装JDK-allservers
`
JDK安装包上传至/export/server/
解压
tar -zxvf jdk-8u241-linux-x64.tar.gz
解压文件：jdk1.8.0_241
解压后的文件分发同步到node2、node3,路径保持一致
scp -r /export/server/jdk1.8.0_241 root@node2:/export/server/
scp -r /export/server/jdk1.8.0_241 root@node3:/export/server/
修改配置文件:/hadoop-3.3.0/etc/hadoop
hadoop-env.sh
core-site.xml #核心模块配置
hdfs-site.xml #hdfs文件系统模块配置
mapred-site.xml #MapReduce模块配置
yarn-site.xml #yarn模块配置
workers
分发同步hadoop安装包
cd /export/server
scp -r hadoop-3.3.0 root@node2:$PWD
scp -r hadoop-3.3.0 root@node3:$PWD
Original: https://www.cnblogs.com/alexanders/p/16286955.html
Author: AlexanderOscar
Title: Hadoop集群模式安装笔记
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/642946/
转载文章受原作者版权保护。转载请注明原作者出处！