大数据——搭建第一台Hadoop主机

工具准备

1、VMware

2、CentOS 7 最小安装版

3、远程工具推荐使用 FinalShell

安装系统

1、打开VMware,根据自己的情况配置好虚拟机,选择系统镜像就可以安装了,可自行百度”VMware如何安装CentOS”

2、打开虚拟机后,选中 Test this media & install CentOS 7,回车进行安装

大数据——搭建第一台Hadoop主机

3、语言设置为 中文:简体中文

4、时间日期:根据实际情况设置即可

5、配置磁盘,使用默认配置也行

大数据——搭建第一台Hadoop主机

选中 我要配置分区,点击 完成,进入 手动分区

大数据——搭建第一台Hadoop主机
  • /boot:1G
  • swap:4G
  • /:剩下全部

6、学习用机,可以关闭KDUMP

7、设置完成后,可以点击 开始安装,安装过程中记得设置 root用户密码

配置网络

我们需要配置3处

1、配置VMware

右上角 编辑->虚拟机网络编辑器,进入 更改设置后,选中VMnet8进行设置

大数据——搭建第一台Hadoop主机
  • 子网IP: 192.168.10.0
  • 子网掩码: 255.255.255.0
  • 在NAT设置中将网关设置为: 192.168.10.2

2、配置Windows网卡

我们打开网络连接界面:按”Win+R”,打开【运行】;输入”ncpa.cpl”,回车。

找到VMnet8,右键属性,找到”Internet 协议版本 4(TCP/IPv4)”,双击进入属性设置

大数据——搭建第一台Hadoop主机

根据第一步,填写相应的位置

[En]

According to step 1, fill in the corresponding position

3、配置CentOS 7

我们以 root用户登录

vi /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO="dynamic"更改为 BOOTPROTO="static"

在结尾处添加以下句子,注意不要犯拼写错误

[En]

Add the following sentences at the end, be careful not to make spelling mistakes

IPADDR=192.168.10.100
GATEWAY=192.168.10.2
DNS1=192.168.10.2

修改 hostname,改为 hadoop100(随意啦,你自己记得就行)

vi /etc/hostname

添加主机名和IP的映射关系(方便用主机名代替IP)

vi /etc/hosts

#我就象征性写了几个,后面用到再添加也可以
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104

重启

reboot

4、测试网络

重启进入系统后,测试网络是否畅通

[En]

After rebooting and entering the system, test whether the network is unblocked

ping www.baidu.com

如果无法访问网络,请检查拼写错误。网络的畅通是必要的,解决问题后再进行下一步。

[En]

If the network is unreachable, check for spelling errors. The smooth flow of the network is necessary, solve the problem before moving on to the next step.

配置环境

1、最小系统需要安装下面的工具

net-tool工具包

yum install -y net-tools

vim编辑器

yum install -y vim

epel-release软件仓库

yum install -y epel-release

rsync:数据同步工具

yum install -y rsync

2、关闭防火墙,禁用开机自启(学习用途)

systemctl stop firewalld
systemctl disable firewalld.service

3、创建用户,并修改密码

useradd swcode
passwd swcode

4、配置用户的 root权限,否则 sudo无法执行

vim /etc/sudoers
在 %wheel 下面添加,NOPASSWD无需密码
swcode  ALL=(ALL)       NOPASSWD:ALL

:wq!强制保存即可

5、在 /opt目录下创建文件夹,并修改所属主和所属组(root下执行)

mkdir /opt/module
mkdir /opt/software

chown swcode:swcode /opt/module
chown swcode:swcode /opt/software

下面是成功的样子

drwxr-xr-x. 2 swcode swcode 6 11月 14 11:34 module
drwxr-xr-x. 2 swcode swcode 6 11月 14 11:34 software

6、卸载虚拟机自带 JDK(最小版是没有的,可以忽略这一步)

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
  • rpm -qa:查询所安装的所用 rpm软件包
  • grep -i:忽略大小写
  • xargs -n1:每次只传递一个参数
  • rpm -e --nodeps:强制卸载软件

7、重启虚拟机

reboot

下篇文章:克隆主机并配置集群
所有文章:
搭建第一台Hadoop主机
克隆主机并配置集群
配置并启动集群/开启历史服务器和日志聚集

Original: https://www.cnblogs.com/sw-code/p/15554868.html
Author: sw-code
Title: 大数据——搭建第一台Hadoop主机

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/524367/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • linux常用的一些命令

    时隔一年半,楼主又回来了,以前就想看一下鸟叔的教程,现在如愿了!也没有认真的去啃一本书真是惭愧啊,其实在linux环境中命令的用法真的可以查看命令的help,现学现用也是不错的 以…

    Linux 2023年6月8日
    096
  • 嵌入式软件架构设计-函数调用

    1 前言 函数调用很好理解,即使刚学没多久的朋友也知道函数调用是怎么实现的,即调用一个已经封装好的函数,实现某个特定的功能。 把一个或者多个功能通过函数的方式封装起来,对外只提供一…

    Linux 2023年6月7日
    086
  • PYTORCH: 60分钟 | 神经网络

    神经网络可以使用 torch.nn包构建。 现在你已经对autograd有所了解, nn依赖 autograd 定义模型并对其求微分。 nn.Module 包括层,和一个返回 ou…

    Linux 2023年6月16日
    0158
  • 阿里云IoT流转到postgresql数据库方案

    之前写过一篇如使用阿里云上部署.NET 3.1自定义运行时的文章,吐槽一下,虽然现在已经2022年了,但是阿里云函数计算的支持依然停留在.NET Core 2.1,更新缓慢,由于程…

    Linux 2023年6月6日
    0105
  • 性能测试—性能监控

    性能测试中,首先需要确定需求 测什么?怎么测?达到什么标准?。确定好性能测试的需要之后选择性能测试工具,jmeter或者LoadRunner。 分析是否需要分布式压测,如果需要分布…

    Linux 2023年6月8日
    067
  • SpringBoot + Vue + ElementUI 实现后台管理系统模板 — 后端篇(二): 整合 Redis(常用工具类、缓存)、整合邮件发送功能

    (1) 相关博文地址: SpringBoot + Vue + ElementUI 实现后台管理系统模板 — 前端篇(一):搭建基本环境:https://www.cnblogs.c…

    Linux 2023年6月11日
    0105
  • Redis核心技术与实战:学习总结目录

    1 Redis学习路径 在《Redis核心技术与实战》课程的学习中,我经常看到一位课代表的发言,他就是Kaito,他总结了一份 Redis学习路径脑图(建议收藏),将Redis的知…

    Linux 2023年5月28日
    082
  • 一劳永逸,解决.NET发布云服务器的时区问题

    国内大多数开发者使用的电脑,都是使用的北京时间,日常开发的过程中其实并没有什么不便;不过,等遇到了阿里云等云服务器,系统默认使用的时间大多为 UTC时间,这个时候,时区和时间的问题…

    Linux 2023年6月6日
    092
  • Golang中字符串、数组、切片排序

    使用Golang的sort包用来排序,包括二分查找等操作。下面通过实例代码来分享下sort包的使用技巧: 使用接口排序: sort.Sort(data Interface) 自定义…

    Linux 2023年6月6日
    0106
  • [ Terminal ] 在 Windows Terminal 中使用 Git Bash

    https://www.cnblogs.com/yeungchie/ Git 自带的 git-bash 太简陋了,ConEmu 又太卡了,还是这个 Windows Terminal…

    Linux 2023年6月7日
    0106
  • redis之SDS

    SDS:的优点1.获取长度复杂度为O(1)2.避免strcat内存重分配(可能涉及系统调用), 通过[预分配策略]和[惰性空间释放]实现 3.以二进制存储,主要是安全设计,若存储的…

    Linux 2023年5月28日
    081
  • Xftp 远程工具的使用与jdk 安装(Linux最小安装版)

    Xftp 的安装使用 下载链接:Xftp7 – Dominic 的蓝奏云分享 安装和注册步骤可参考 Xshell:Linux 最小安装与 Xshell 远程工具的使用 …

    Linux 2023年6月8日
    0119
  • python串口助手

    最近项目中要使用模拟数据源通过向外发送数据,以前都是用C#编写,最近在研究python,所以就用python写了一个串口助手,方便以后的测试。 在电脑上通过虚拟串口助手产生两个虚拟…

    Linux 2023年6月14日
    098
  • Linux的OpenLava配置

    OpenLava OpenLava是基于LSF早期的开源版本发展而来,其 免费、 开源、 兼容IBM LSF的工作负载调度器。当你需要执行某项业务时候(比如跑渲染之类的),当有服务…

    Linux 2023年6月6日
    099
  • 每周一个linux命令(ping)

    基础环境 ping命令介绍 ping命令主要用来…

    Linux 2023年6月8日
    088
  • js中对象深度拷贝的方法(浅拷贝)

    JS中,一般的赋值传递的都是对象/数组的引用,并没有真正的深拷贝一个对象(浅拷贝),某些情况下需要用到深度拷贝,可以使用如下写法 let data = {username:&quo…

    Linux 2023年6月14日
    098
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球