1. Johngo学长首页
  2. 技术点详细复盘专题
  3. 大数据

Hadoop运行环境搭建

• 大数据 • 阅读 98

目录：

  1. 准备虚拟机（最小化安装）

  2. 配置一台纯净版模板机
    — 固定ip地址、修改主机名
    — 用xshell工具连接模板机
    — 通过yum安装方式安装必要的软件
    — 关防火墙
    — 修改hosts文件
    — 创建普通户用（atguigu）并且提升它能拥有root权限
    — 在Linux的/opt目录下创建 software 和 module
    — 将software 和 module 目录的所有者和所属组修改为 atguigu

  3. 准备hadoop102 机器（通过克隆模板机的方式创建）
    — 修改IP
    — 修改主机名

  4. 在hadoop102上安装jdk
    — 将jdk的安装包上传到 /opt/software 下
    — 将jdk安装到 /opt/module 下
    — 配置jdk的环境变量
    — 在/etc/profile.d 目录下创建自定的配置文件 my_env.sh
    — 在my_env.sh写入以下内容

声明JAVA_HOME变量

JAVA_HOME=/opt/module/jdk1.8.0_212

将JAVA_HOME变量追加到PATH变量上

PATH=$PATH:$JAVA_HOME/bin

提升JAVA_HOME变量为系统变量

export JAVA_HOME PATH

  1. 在hadoop102上安装hadoop
    — 将hadoop的安装包上传到 /opt/software 下
    — 将hadoop安装到 /opt/module 下
    — 配置hadoop的环境变量
    — 在my_env.sh写入以下内容

声明JAVA_HOME变量

JAVA_HOME=/opt/module/jdk1.8.0_212

声明HADOOP_HOME变量

HADOOP_HOME=/opt/module/hadoop-3.1.3

将JAVA_HOME变量追加到PATH变量上

将HADOOP_HOME/bin 、HADOOP_HOME/sbin 追加到PATH变量上

PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

提升JAVA_HOME、PATH、HADOOP_HOME 变量为系统变量,

export JAVA_HOME PATH HADOOP_HOME

具体操作过程：

1.最小化安装一个虚拟机

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:f0cece21-af96-4d14-b5de-3ab099ab249a

[En]

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:0943b5d7-427d-443e-ab4a-62d13d6ae090

Hadoop运行环境搭建

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:8336720b-ff38-4955-bfd1-4061d9593a62

[En]

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:084c5a04-fe80-4c2e-89ac-e993448d0e3b

2.配置一台纯净版模板机

1)模板虚拟机必要环境

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:19222090-a357-4dbc-be55-1c796b73a571

[En]

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:f8f3d32c-536b-4640-9394-068d44252e52

[root@hadoop100 ~]# yum install -y epel-release
[root@hadoop100 ~]# yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

2）关闭防火墙，关闭防火墙开机自启。

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld

3）创建普通用户，修改用户密码。

[root@hadoop100 ~]# useradd user1
[root@hadoop100 ~]# passwd 123456

4）给普通用户root权限，方便之后加sudo使用root的权限。

[root@hadoop100 ~]# vim /etc/sudoers

修改/etc/sudoers文件，找到下面一行（91行），在root下面添加一行，如下所示：

## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
user1   ALL=(ALL)     NOPASSWD:ALL

5）在/opt目录下创建文件夹，并修改所属主和所著组。

（1）在/opt目录下创建module、software文件夹

[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software

（2）修改module、software文件夹的所有者和所属组均为atguigu用户

[root@hadoop100 ~]# chown user1：user1 /opt/module
[root@hadoop100 ~]# chown user1：user1 /opt/software

6）重启虚拟机

[root@hadoop100 ~]# reboot

3.用克隆的方式创建另一台机器

以下是克隆过程：

Hadoop运行环境搭建

克隆新的系统后需要做两件事，一是修改主机名，二是修改IP地址。

（1）修改克隆虚拟机的静态IP

保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

改成

DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.1.102
PREFIX=24
GATEWAY=192.168.1.2
DNS1=192.168.1.2

要保证Linux系统和Windows系统的IP地址相同，所以上面的192.168.1.102和192.168.1.2里面的1可能不是填1，这个要看自己Windows系统和虚拟机的地址填多少。

比如点击VMware上方的编辑，查看虚拟网络编辑器，

Hadoop运行环境搭建

上面显示IP为192.168.217.0，所以在设置Linux系统IP的时候就需要设置192.168.217.102，最后这个数不固定。

（2）修改克隆虚拟机的主机名，映射文件。

修改主机名称

[root@hadoop100 ~]# vim /etc/hostname
hadoop2

配置linux克隆机主机名称映射hosts文件

[root@hadoop100 ~]# vim /etc/hosts

添加如下内容

192.168.1.100 hadoop2

之后重启

[root@hadoop100 ~]# reboot

修改Windows的映射文件

在C:\Windows\System32\drivers\etc\hosts

添加

192.168.1.100 hadoop2

4.安装JDK、Hadoop。

将jdk和hadoop的tar包导入到opt目录的software下，解压到opt目录的module下，这两个文件夹都是之前创建的。

[user1@hadoop2 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

配置jdk的环境

（1）新建/etc/profile.d/my_env.sh文件

[user1@hadoop2 ~]$ sudo vim /etc/profile.d/my_env.sh

添加内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

（2）保存后退出 ：wq！

（3）source一下/etc/profile文件，让新的环境变量PATH生效

[user1@hadoop2 ~]$ source /etc/profile

同样解压hadoop

[user1@hadoop2 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

配置hadoop的环境变量

sudo vim /etc/profile.d/my_env.sh

在末尾加下面内容

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（3）保存后退出

（4）让修改后的文件生效

[user1@hadoop2 hadoop-3.1.3]$ source /etc/profile

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:1516109e-e1fd-451f-8053-074af41cf8dc

[En]

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:7f2674c3-401b-405a-97f6-c3f164926ef1

[user1@hadoop2 hadoop-3.1.3]$ sudo reboot

Original: https://www.cnblogs.com/lkylin/p/16459271.html
Author: 手下留情
Title: Hadoop运行环境搭建

原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/563058/

转载文章受原作者版权保护。转载请注明原作者出处！

赞 (0)
0

【自取】最近整理的，有需要可以领取学习：



Linux核心资料大放送~

全栈面试题汇总（持续更新&可下载）

一个提高学习100%效率的工具！

【超详细】深度学习面试题目！

LeetCode Python刷题答案下载！

LeetCode Java版刷题答案下载！

LeetCode C++ 版本，抓紧保存！

LeetCode GO语言 刷题答案下载！

大家都在看

亲爱的 Coder【最近整理，可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球