大数据——克隆主机并配置集群

利用VMware的克隆功能,克隆出 hadoop102hadoop103hadoop104三台主机

克隆完成后,记得修改文件( root用户下)

vim /etc/sysconfig/network-scripts/ifcfg-ens33
vim /etc/hostname

在主机 hadoop102中安装JDK

上传jdk到 /opt/software文件夹中

cd /opt/software
安装到module中
tar -zxvf jdk-8u301-linux-x64.tar.gz -C /opt/module

配置jdk环境变量

系统启动时会加载 /etc/profile.d/中的所有 .sh文件

新建文件 my_env.sh

cd /etc/profile.d/
vim sudo vim my_env.sh
写入环境
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_301
export PATH=$PATH:$JAVA_HOME/bin

保存退出后,刷新环境

source /etc/profile

检查是否安装成功

java

上传hadoop到 /opt/software文件夹中

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module

配置环境变量

sudo vim /etc/profile.d/my_env.sh

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存退出后,刷新环境

source /etc/profile

检查是否安装成功

hadoop

编写集群分发脚本,递归复制到目的主机

主机和IP做过映射关系: swcode@IP/主机

下面是三种拷贝方式,使用哪一种都可以

hadoop102上使用 scp拷贝

cd /opt/module
scp -r jdk1.8.0_301/ swcode@hadoop103:/opt/module

hadoop103上使用 scp拉取

cd /opt/module
scp -r swcode@hadoop102:/opt/module/hadoop-3.1.3 ./

hadoop103上使用 scphadoop102拷贝到 hadoop104

scp -r swcode@hadoop102:/opt/module/* swcode@192.168.10.104:/opt/module/

1、安装( root用户下)

sudo yum install -y rsync

2、编写脚本 xsync,放到 ~/bin下即可使用,别忘了 chomd执行权限( swcode用户下)

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!

    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo =============== $host ===============
    #3. 遍历所有目录,挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$filename $host:$pdir
            else
                echo $file does not exists!

        fi
    done
done

3、同步环境( root用户下)

/home/swcode/bin/xsync /etc/profile.d/my_env.sh

在拷贝时需要输入很多次密码,为了方便使用,需要配置主机之间的免密登录

hadoop102中配置( swcode用户下)

ssh-keygen -t rsa

三次回车后,我们将公钥复制到免密登录的主机

映射关系 hadoop103  192.168.10.103
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104

同理,配置 hadoop103hadoop104,三台主机之间互相登录都是免密的

如果需要配置 root用户之间的免密,需要切换到 root用户,重复上述操作

Original: https://www.cnblogs.com/sw-code/p/15558029.html
Author: sw-code
Title: 大数据——克隆主机并配置集群

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/585582/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • Linux——基础命令用法(上)

    一、Linux基础命令 1、Linux命令的语法 一条完整的Linux命令的组成部分: 命令 选项 参数 命令:是某个具体的功能 选项:是对函数的修改(通常以-开头,-表示选项的短…

    Linux 2023年5月27日
    070
  • Redis的数据时如何避免丢失的?

    Redis之所以足够快,一部分的原因是它的数据都是基于内存存储的。虽然Redis更多的是作为一个旁路缓存【先在redis中查询,查询不到数据的时候,在查询持久化数据库】来使用。如果…

    Linux 2023年6月7日
    071
  • MybatisPlus核心功能——实现CRUD增删改查操作 (包含条件构造器)

    CRUD 官方文档:https://baomidou.com/(建议多看看官方文档,每种功能里面都有讲解)【本文章使用的mybatisplus版本为3.5.2】 条件构造器 一般都…

    Linux 2023年6月7日
    0104
  • redis 使用lua 生成流水号

    在实际的业务场景中,我们会用到流水号。之前的流水号做法是,使用redis的全局锁。然后对数据库进行更新,数据库更新 这个也会有一些问题,比如对于同一个流水号,多个线程去更新,由于事…

    Linux 2023年5月28日
    082
  • hadoop分布式集群部署①

    Linux系统的安装和配置。(在VM虚拟机上) 一:安装虚拟机VMware Workstation 14 Pro 以上,虚拟机软件安装完成。 二:创建虚拟机。 三:安装CentOS…

    Linux 2023年6月13日
    072
  • ceph存储集群搭建以及介绍

    转载至https://blog.csdn.net/weixin_44989941/article/details/123370410 Original: https://www.c…

    Linux 2023年6月14日
    081
  • python爬虫_入门_翻页

    写出来的爬虫,肯定不能只在一个页面爬,只要要爬几个页面,甚至一个网站,这时候就需要用到翻页了 其实翻页很简单,还是这个页面http://bbs.fengniao.com/forum…

    Linux 2023年6月6日
    066
  • spring boot实现不同生产环境下的文件配置

    spring boot项目开发时不同开发环境,打包生成不同的文件。(避免生产环境得到开发环境时的配置文件) 配置不同生产环境 本文适用于开发环境下需要打包项目至生产环境,避免开发环…

    Linux 2023年6月7日
    078
  • 尤娜,我去面试了

    前情回顾 从前,有一个简单的通道系统叫尤娜…… 尤娜系统的第一次飞行中换引擎的架构垂直拆分改造 四种常用的微服务架构拆分方式 面试前几天 尤娜系统经过一次拆…

    Linux 2023年6月14日
    097
  • Linux FastDFS安装

    1.0、 fastDFS fastDFS介绍 FastDFS是用c语言编写的一款开源的分布式文件系统,它是由淘宝资深架构师余庆编写并开源。FastDFS专为互联网量身定制,充分考虑…

    Linux 2023年6月7日
    074
  • python递归查找文件目录

    1 # -*- coding:utf-8 -*- 2 3 import os 4 5 allfile = [] 6 def get_all_file(path): 7   allf…

    Linux 2023年6月6日
    068
  • Linux服务器下oracle数据库启动服务操作步骤

    一、在Linux下启动Oracle1.登录到Linux服务器,切换到oracle用户权限(命令是:# su –l oracle) 2.进入sqlplus界面(命令是:$ sqlpl…

    Linux 2023年6月13日
    085
  • 【异常】Jenkins构建任务控制台乱码,但是直接执行shell脚本却没有问题

    1 问题现象 构建各种问号 2 检查各种配置 查看Jenkins的文件编码为 ANSI_X3.4-1968 然后直接执行mvn -v命令显示的也不是UTF-8 3 解决方案,直接在…

    Linux 2023年5月28日
    099
  • 【深度学习】PyTorch Dataset类的使用与实例分析

    Dataset类 介绍 当我们得到一个数据集时,Dataset类可以帮我们提取我们需要的数据,我们用子类继承Dataset类,我们先给每个数据一个编号(idx),在后面的神经网络中…

    Linux 2023年6月13日
    083
  • 剑指offer计划21( 位运算简单)—java

    1.1、题目1 剑指 Offer 15. 二进制中1的个数 1.2、解法 通过判断每一位的与来识别1的数量。 1.3、代码 public class Solution { // y…

    Linux 2023年6月11日
    0109
  • redis中setbit的用法

    原文地址:http://www.zhihu.com/question/27672245 在redis中,存储的字符串都是以二级制的进行存在的。举例:设置一个 key-value ,…

    Linux 2023年5月28日
    077
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球