大数据——克隆主机并配置集群

利用VMware的克隆功能,克隆出 hadoop102hadoop103hadoop104三台主机

克隆完成后,记得修改文件( root用户下)

vim /etc/sysconfig/network-scripts/ifcfg-ens33
vim /etc/hostname

在主机 hadoop102中安装JDK

上传jdk到 /opt/software文件夹中

cd /opt/software
安装到module中
tar -zxvf jdk-8u301-linux-x64.tar.gz -C /opt/module

配置jdk环境变量

系统启动时会加载 /etc/profile.d/中的所有 .sh文件

新建文件 my_env.sh

cd /etc/profile.d/
vim sudo vim my_env.sh
写入环境
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_301
export PATH=$PATH:$JAVA_HOME/bin

保存退出后,刷新环境

source /etc/profile

检查是否安装成功

java

上传hadoop到 /opt/software文件夹中

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module

配置环境变量

sudo vim /etc/profile.d/my_env.sh

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存退出后,刷新环境

source /etc/profile

检查是否安装成功

hadoop

编写集群分发脚本,递归复制到目的主机

主机和IP做过映射关系: swcode@IP/主机

下面是三种拷贝方式,使用哪一种都可以

hadoop102上使用 scp拷贝

cd /opt/module
scp -r jdk1.8.0_301/ swcode@hadoop103:/opt/module

hadoop103上使用 scp拉取

cd /opt/module
scp -r swcode@hadoop102:/opt/module/hadoop-3.1.3 ./

hadoop103上使用 scphadoop102拷贝到 hadoop104

scp -r swcode@hadoop102:/opt/module/* swcode@192.168.10.104:/opt/module/

1、安装( root用户下)

sudo yum install -y rsync

2、编写脚本 xsync,放到 ~/bin下即可使用,别忘了 chomd执行权限( swcode用户下)

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!

    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo =============== $host ===============
    #3. 遍历所有目录,挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$filename $host:$pdir
            else
                echo $file does not exists!

        fi
    done
done

3、同步环境( root用户下)

/home/swcode/bin/xsync /etc/profile.d/my_env.sh

在拷贝时需要输入很多次密码,为了方便使用,需要配置主机之间的免密登录

hadoop102中配置( swcode用户下)

ssh-keygen -t rsa

三次回车后,我们将公钥复制到免密登录的主机

映射关系 hadoop103  192.168.10.103
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104

同理,配置 hadoop103hadoop104,三台主机之间互相登录都是免密的

如果需要配置 root用户之间的免密,需要切换到 root用户,重复上述操作

Original: https://www.cnblogs.com/sw-code/p/15558029.html
Author: sw-code
Title: 大数据——克隆主机并配置集群

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/585582/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • 用shell抓取某考试试题

    一、背景 最近公司组织考信息安全,但考试机构没有整理出试题,只给了以下几个在线练习的链接,想着用博客整理下题库题型,奈何这个只能用拍照图片,然后用图片转文字的方式太慢,累死个人了,…

    Linux 2023年6月6日
    0101
  • NoteOfMySQL-14-日志管理

    一、MySQL日志 日志是MySQL数据库的重要组成部分,日志文件记录了MySQL数据库的日常操作和错误信息,可以通过分析这些日志文件了解MySQL数据库的运行情况。MySQL数据…

    Linux 2023年6月14日
    088
  • MybatisPlus——全网配置最全的代码生成器

    MybatisPlus代码生成器 这里讲解的是新版 (mybatis-plus 3.5.1+版本),旧版不兼容 官方文档:https://baomidou.com/(建议多看看官方…

    Linux 2023年6月7日
    0109
  • Android系统中有哪些日志信息和工具

    Android系统日志和工具 我们经常需要查看设备里面的各种日志信息。所以有必要了解android系统里面有哪些日志,以及用什么方式可以提取这些日志。以我手头的红米note4xpl…

    Linux 2023年6月7日
    093
  • centos7启动docker容器时提示Error response from daemon: Unknown runtime specified docker-runc

    记录centos7启动docker 过程 csharp;gutter:true; systemctl start docker 启动docker 程序docker start xx…

    Linux 2023年6月8日
    097
  • K8S 从私有仓库拉取镜像

    通常来讲,我们在通过公共镜像仓库拉取docker镜像的时候,不需要任何的认证操作,但我们在构建了企业的私有镜像以后,就不得不在拉取镜像之前通过用户名密码来完成认证。 在docker…

    Linux 2023年6月6日
    092
  • centos 安装bochs

    下载地址 https://sourceforge.net/projects/bochs/files/bochs/ 我这里安装2.6.2 tar xvfz bochs-2.6.2.t…

    Linux 2023年6月7日
    091
  • Linux(RedHat、Ubuntu)安装docker

    Linux(RedHat、Ubuntu)安装docker 前言 docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的…

    Linux 2023年6月6日
    094
  • 系统执行命令记录到message 日志文件中

    直接 配置 /etc/profile 配置文件添加一样,简单高定。 export PROMPT_COMMAND='{ msg=$(history 1 | { read x y; e…

    Linux 2023年6月8日
    076
  • java 连接 redis

    Jedis 导入对应的依赖 redis.clients jedis 4.2.3 com.alibaba fastjson 1.2.79 连接数据库 记得在本地打开 redis //…

    Linux 2023年6月7日
    092
  • Python eval()函数

    The eval() takes three parameters: expression – this string as parsed and evaluated …

    Linux 2023年6月8日
    091
  • GIT合并部分文件的CLI

    | 0.24分钟 | 399.2字符 | 1、引言&背景 2、解决方案 3、声明与参考资料 | SCscHero | 2022/5/2 PM10:16 | 系列 | 已完成…

    Linux 2023年6月13日
    082
  • anaconda创建虚拟环境

    anaconda创建虚拟环境 1·查看当前存在的虚拟环境 conda env list 或者 conda info -e 2·创建虚拟环境,环境名重要 conda create -…

    Linux 2023年6月14日
    097
  • .htaccess文件解析漏洞

    前言 htaccess文件(或者”分布式配置文件”),全称是Hypertext Access(超文本入口)。提供了针对目录改变配置的方法, 即,在一个特定的…

    Linux 2023年6月13日
    076
  • 数据库备份数据脚本

    #!/bin/bash currentpath=dirname $0 if [ ${currentpath} == ‘.’ ];then currentpath=pwd fi ba…

    Linux 2023年6月8日
    077
  • Java实现两种队列(数组和链表)

    @date 2022-09-13 17:50*/public class QueueLinked{ private static class Node{E item;Node ne…

    Linux 2023年6月14日
    0130
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球