手把手大数据架构部署1:Linux基础环境配置

目标:构建三台Linux虚拟机。

内容:1、VMware安装CentOS;2、网络配置;3、ssh免密登陆;4、时间同步。

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:2c649351-229d-4e44-bdec-7b47c106183e

[En]

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:428761b1-fcf5-4166-81a0-79bd48ffa6b8

1、首先在VMware中安装一台CentOS虚拟机:

VMware建议选择12以上版本,CentOS选择7以上版本,

CPU、内存给到物理设备的1/8~1/4左右(比如电脑是8核16线程+16GB内存,就分配1核2线程+2G内存 ~ 2核4线程+4G内存),磁盘至少在20GB以上,建议40G。

网络类型选择NAT模式。

详细过程参考以下连接:

https://www.runoob.com/w3cnote/vmware-install-centos7.html

2、安装完后,再克隆两台虚拟机(快捷键:ALT+M => M => C):

手把手大数据架构部署1:Linux基础环境配置

3、然后我们来配置一下网络:

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:6f983f0e-871f-4392-8d5b-85682be8ac13

[En]

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:c491e0be-7a60-4a84-9549-4b73f35a1306

192.168.20.131 cube01

192.168.20.132 cube02

192.168.20.133 cube03

首先打开虚拟网络编辑器(快捷键:ALT+E => N):

手把手大数据架构部署1:Linux基础环境配置

编辑NAT网络,设置子网192.168.20.0,掩码255.255.255.0,网关192.168.20.2。

手把手大数据架构部署1:Linux基础环境配置

开启并以root身份登陆centos虚拟机,查看网络配置目录:

手把手大数据架构部署1:Linux基础环境配置

修改网络配置文件(每台机器可能不一样,我的是ifcfg-eno16777736):

手把手大数据架构部署1:Linux基础环境配置

手把手大数据架构部署1:Linux基础环境配置

主要修改点:IPADDR, HWADDR, GATEWAY,

其中HWADDR(即mac地址)可以虚拟机设置(ALT + M => D)里查看,或者使用Linux命令ip addr。

修改完成后保存,输入

service network restart

/etc/init.d/netword restart

来重启网络。

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:07146e92-8c42-4f23-b67b-c258b415695f

[En]

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:eada06a3-62f5-4fe6-be06-45c9c2471a49

手把手大数据架构部署1:Linux基础环境配置

这是由Mac地址变更引起的,解决方法如下:

vi /etc/udev/rules.d/90-eno-fix.rules (注意,名字有可能有所区别)

手把手大数据架构部署1:Linux基础环境配置

把ATTR后面的MAC地址改成实际一致,然后reboot就行了。(记住要reboot!)

手把手大数据架构部署1:Linux基础环境配置

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:8d6d0176-54f2-4e21-b10e-b2ca1cd7d5f2

[En]

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:0db099bf-ae2c-4474-8a28-8f03b0252f24

手把手大数据架构部署1:Linux基础环境配置

4、修改hostname

其实这一步本来应该放前面,为啥放这里呢?因为配置完网络,我们就可以使用各种强大的终端模拟软件通过ssh协议来连接服务器了,

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:fb79b0d0-2832-416c-aa45-293b9c241d46

[En]

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:bbe4d228-0dfb-4dd0-9860-a6a23e78ff7f

这里我推荐使用xshell6,免费版本即可。当然也可以根据个人习惯选择SCRT等。

hostnamectl set-hostname cube01

修改hosts文件:

vi /etc/hosts

添加以下内容并保存,

192.168.20.131 cube01

192.168.20.132 cube02

192.168.20.133 cube03

配置完尝试下连通性:

ping cube02

5、配置ssh免密登陆。

生成密钥、公钥:

ssh-keygen -t rsa P ""

把公钥发送到远程主机(3台互相发):

ssh-copy-id cube01
ssh-copy-id cube02
ssh-copy-id cube03

6、设置时间同步。

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:20658a70-5836-42bd-855c-e4bf3a63a67d

[En]

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:f34dd8b8-8af9-4d4c-b7b6-eb97603a5aad

ntp服务可以很方便地帮我们处理这个问题。

这里我们用到xshell的一个小功能,只要按下快捷键”ALT + A”,就可以把命令发送到所有终端了。

#检查是否安装了ntp服务
rpm -q ntp
#没有则安装
yum install -y ntp#立即同步时间ntpdate ntp1.aliyun.com#设置自动同步,每分钟同步一次。echo "*/1 * * * * /usr/sbin/ntpdate ntp1.aliyun.com > /dev/null 2>&1" >> /var/spool/cron/root#查看定时任务crontab -l#查看三台服务器时间是否已同步。date

7、VMwareTool

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:eba79bc3-8cb6-4324-b75e-58cc4d5eb0c2

[En]

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:aa191668-1992-4c80-8184-31304d090ef1

一、首先,点击这里和这里,系统会自动帮你下载ISO文件。

手把手大数据架构部署1:Linux基础环境配置

二、以root角色执行以下命令,就OK了。

mount /dev/cdrom /mnt/cdrom
tar zxf /mnt/cdrom/VMwareTools-10.3.25-20206839.tar.gz -C /cube/make #版本号自己cd /mnt/cdrom查看
perl /cube/make/vmware-tools-distrib/vmware-install.pl -d
umount /mnt/cdrom
rm -r /cube/make/vmware-tools-distrib/ #对话框输入"y",我是直接rm -rf的,我怕你们删错东西找我

这样我们就完成了3台服务器的基本配置。

最后,我们可以打一个快照(快捷键:ALT+M => N => T)来保存我们的劳动成果。

好了,现在我们拥有了3台带快照的Linux服务器,接下来,我们将安装第一个大数据组件,hadoop。

Original: https://www.cnblogs.com/zhuisuidefeng/p/15314279.html
Author: 追随的风
Title: 手把手大数据架构部署1:Linux基础环境配置

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/562205/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球