大数据——克隆主机并配置集群

利用VMware的克隆功能,克隆出 hadoop102hadoop103hadoop104三台主机

克隆完成后,记得修改文件( root用户下)

vim /etc/sysconfig/network-scripts/ifcfg-ens33
vim /etc/hostname

在主机 hadoop102中安装JDK

上传jdk到 /opt/software文件夹中

cd /opt/software
安装到module中
tar -zxvf jdk-8u301-linux-x64.tar.gz -C /opt/module

配置jdk环境变量

系统启动时会加载 /etc/profile.d/中的所有 .sh文件

新建文件 my_env.sh

cd /etc/profile.d/
vim sudo vim my_env.sh
写入环境
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_301
export PATH=$PATH:$JAVA_HOME/bin

保存退出后,刷新环境

source /etc/profile

检查是否安装成功

java

上传hadoop到 /opt/software文件夹中

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module

配置环境变量

sudo vim /etc/profile.d/my_env.sh

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存退出后,刷新环境

source /etc/profile

检查是否安装成功

hadoop

编写集群分发脚本,递归复制到目的主机

主机和IP做过映射关系: swcode@IP/主机

下面是三种拷贝方式,使用哪一种都可以

hadoop102上使用 scp拷贝

cd /opt/module
scp -r jdk1.8.0_301/ swcode@hadoop103:/opt/module

hadoop103上使用 scp拉取

cd /opt/module
scp -r swcode@hadoop102:/opt/module/hadoop-3.1.3 ./

hadoop103上使用 scphadoop102拷贝到 hadoop104

scp -r swcode@hadoop102:/opt/module/* swcode@192.168.10.104:/opt/module/

1、安装( root用户下)

sudo yum install -y rsync

2、编写脚本 xsync,放到 ~/bin下即可使用,别忘了 chomd执行权限( swcode用户下)

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!

    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo =============== $host ===============
    #3. 遍历所有目录,挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$filename $host:$pdir
            else
                echo $file does not exists!

        fi
    done
done

3、同步环境( root用户下)

/home/swcode/bin/xsync /etc/profile.d/my_env.sh

在拷贝时需要输入很多次密码,为了方便使用,需要配置主机之间的免密登录

hadoop102中配置( swcode用户下)

ssh-keygen -t rsa

三次回车后,我们将公钥复制到免密登录的主机

映射关系 hadoop103  192.168.10.103
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104

同理,配置 hadoop103hadoop104,三台主机之间互相登录都是免密的

如果需要配置 root用户之间的免密,需要切换到 root用户,重复上述操作

Original: https://www.cnblogs.com/sw-code/p/15558029.html
Author: sw-code
Title: 大数据——克隆主机并配置集群

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/585582/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • 5.2 Vi和Vim之间到底有什么关系?

    我们知道,Vi 编辑器是 Unix 系统最初的编辑器。它使用控制台图形模式来模拟文本编辑窗口,允许查看文件中的行、在文件中移动、插入、编辑和替换文本。 尽管 Vi 可能是世界上复杂…

    Linux 2023年6月7日
    084
  • ETCD分布式存储部署

    一、ETCD 概述 ETCD 是一个分布式一致性k-v存储系统,可用于服务注册发现与共享配置。具有一下优点: 简单: 相比于晦涩难懂的paxos算法,etcd基于相对简单且易实现的…

    Linux 2023年6月14日
    083
  • 【小记】Ubuntu 工具链升级 gcc 流程

    我的是 Ubuntu Server 20.04 LTS,默认 gcc-9,工具链升级至 gcc-11,和 Ubuntu 22.04 LTS 保持一致。 如果本文发文时间比较旧,你所…

    Linux 2023年6月13日
    062
  • 手套—牛客网

    left[i] 和right[i] 是匹配的数值 0 和 1 左边0个 右边1个 因为数据中有0这种数值 说明有不能匹配的手套。所以这些手套必须加上 避免没有全拿时 拿到了不匹配的…

    Linux 2023年6月13日
    081
  • Visual studio prebuild/postbuild 设置条件不生效

    这两天有一个需求就是,在编译完成后,对生成的dll进行混淆加密处理,并且自动上传到nuget。混淆加密和自动上传已经写成了cmd命令,但是又不想在Debug模式下调用这个命令,毕竟…

    Linux 2023年6月13日
    076
  • js打印前几天或后几天的日期

    创作对你我有价值的,喜欢交朋友,失忆王子,期待与你共同探讨,技术qq群153039807 Original: https://www.cnblogs.com/hshanghai/p…

    Linux 2023年6月13日
    093
  • VS 2010 LINK fatal error LNK1123转换到 COFF 期间失败 文件无效或损坏

    1. 解决LINK : fatal error LNK1123: 转换到 COFF 期间失败: 文件无效或损坏 VS 2010 【LINK : fatal error LNK112…

    Linux 2023年6月13日
    079
  • 八、网络管理

    常见查看网络命令ifconfigip addr showroute -n 查看路由(也可以查看网关)pingtraceroute www.sina.comarping -I eno…

    Linux 2023年6月7日
    0102
  • 网络安全常见术语

    黑客帽子之分 白帽 白帽:亦称白帽黑客、白帽子黑客,是指那些专门研究或者从事网络、计算机技术防御的人,他们通常受雇于各大公司,是维护世界网络、计算机安全的主要力量。很多白帽还受雇于…

    Linux 2023年6月14日
    082
  • 同城双活-流量分流

    引言 现阶段,在同城带宽时延问题没有经过大规模的生产实践、验证的情况下,我们只导入”白名单或1%”的小比例请求流量,进入双活环境,确保环境有效的(活的),同…

    Linux 2023年6月14日
    089
  • 玩转redis-延时消息队列

    上一篇基于 redis的list实现了一个简单的消息队列:玩转redis-简单消息队列 源码地址 使用demo 产品经理经常说的一句话,我们不光要有 X功能,还要 Y功能,这样客户…

    Linux 2023年5月28日
    0100
  • docker save与docker export实现docker镜像与容器的备份

    本来想写一篇关于docker save/export/commit/load/import之间的关系的文章,后来看了看,已经有很多人写过了,我就不做重复工作了。 参见: docke…

    Linux 2023年6月6日
    097
  • Linux 下 SVN 的安装和配置

    SVN 是一个自由开源的版本管理系统,它可以按照时间的顺序去管理文件、目录以及对其进行的修改。于今,它被广泛的用于互联网公司的项目版本管理中 工作原理 它的工作原理如下图所示 它是…

    Linux 2023年6月13日
    088
  • Linux、Windows下Redis的安装即Redis的基本使用详解

    前言 什么是Redis Redis是一个基于 内存的key-value结构数据库。Redis 是互联网技术领域使用最为广泛的存储中间件,它是「 Remote Dictionary …

    Linux 2023年6月6日
    0108
  • 【已解决】Windows环境下启动redis服务失败

    在redis安装目录下打开cmd窗口: 依次输入: redis-cli.exe shutdown exit redis-server.exe redis.windows.conf …

    Linux 2023年6月14日
    049
  • DHCP欺骗攻击—模拟

    实验拓扑: 基本配置: DHCP服务器配置: 客户端配置: 攻击者配置: 使用云与kail桥接 云: kail虚拟机配置: 为kali linux也添加一张网卡,桥接到VMnet1…

    Linux 2023年6月13日
    084
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球