利用VMware的克隆功能,克隆出 hadoop102
、 hadoop103
、 hadoop104
三台主机
克隆完成后,记得修改文件( root
用户下)
vim /etc/sysconfig/network-scripts/ifcfg-ens33
vim /etc/hostname
在主机 hadoop102
中安装JDK
上传jdk到 /opt/software
文件夹中
cd /opt/software
安装到module中
tar -zxvf jdk-8u301-linux-x64.tar.gz -C /opt/module
配置jdk环境变量
系统启动时会加载 /etc/profile.d/
中的所有 .sh
文件
新建文件 my_env.sh
cd /etc/profile.d/
vim sudo vim my_env.sh
写入环境
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_301
export PATH=$PATH:$JAVA_HOME/bin
保存退出后,刷新环境
source /etc/profile
检查是否安装成功
java
上传hadoop到 /opt/software
文件夹中
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module
配置环境变量
sudo vim /etc/profile.d/my_env.sh
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
保存退出后,刷新环境
source /etc/profile
检查是否安装成功
hadoop
编写集群分发脚本,递归复制到目的主机
主机和IP做过映射关系:
swcode@IP/主机
下面是三种拷贝方式,使用哪一种都可以
在 hadoop102
上使用 scp
拷贝
cd /opt/module
scp -r jdk1.8.0_301/ swcode@hadoop103:/opt/module
在 hadoop103
上使用 scp
拉取
cd /opt/module
scp -r swcode@hadoop102:/opt/module/hadoop-3.1.3 ./
在 hadoop103
上使用 scp
将 hadoop102
拷贝到 hadoop104
scp -r swcode@hadoop102:/opt/module/* swcode@192.168.10.104:/opt/module/
1、安装( root
用户下)
sudo yum install -y rsync
2、编写脚本 xsync
,放到 ~/bin
下即可使用,别忘了 chomd
执行权限( swcode
用户下)
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
echo =============== $host ===============
#3. 遍历所有目录,挨个发送
for file in $@
do
#4. 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$filename $host:$pdir
else
echo $file does not exists!
fi
done
done
3、同步环境( root
用户下)
/home/swcode/bin/xsync /etc/profile.d/my_env.sh
在拷贝时需要输入很多次密码,为了方便使用,需要配置主机之间的免密登录
在 hadoop102
中配置( swcode
用户下)
ssh-keygen -t rsa
三次回车后,我们将公钥复制到免密登录的主机
映射关系 hadoop103 192.168.10.103
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104
同理,配置 hadoop103
、 hadoop104
,三台主机之间互相登录都是免密的
如果需要配置 root
用户之间的免密,需要切换到 root
用户,重复上述操作
Original: https://www.cnblogs.com/sw-code/p/15558029.html
Author: sw-code
Title: 大数据——克隆主机并配置集群
原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/585582/
转载文章受原作者版权保护。转载请注明原作者出处!