开发背景
因为要开发一套通话详单系统。该系统上每天产生1亿条通话话单，要保存一个月的通话话单。也就是保存30亿条通话，能够做到准实时的通话详单查询。于是采用大数据架构进行话单的保存和查询。
服务器规划
为了验证系统的可用性，我先搭建了一个小型的大数据库系统，使用了5台服务器。
服务器配置为CPU ： Intel® Xeon® Gold 5118 CPU @ 2.30GHz 8C，内存32G，硬盘1T。
; 设置主机名
使用命令hostnamect
hostnamectl set-hostname bigdata-pro01.kfk.com
vim /etc/sysconfig/network
bigdata-pro01.kfk.com
添加用户
useradd kfk
passwd kfk
编辑/etc/sudoers
kfk ALL=(root) NOPASSWD: ALL
编辑/etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.23.100 bigdata-pro01.kfk.com bigdata-pro01
192.168.23.102 bigdata-pro02.kfk.com bigdata-pro02
192.168.23.103 bigdata-pro03.kfk.com bigdata-pro03
192.168.23.104 bigdata-pro04.kfk.com bigdata-pro04
192.168.23.106 bigdata-pro05.kfk.com bigdata-pro05
关闭防火墙
iptables -F
[root@hadoop0 ~]# service iptables status
Redirecting to /bin/systemctl status iptables.service
● iptables.service – IPv4 firewall with iptables
Loaded: loaded (/usr/lib/systemd/system/iptables.service; disabled; vendor preset: disabled)
Active: inactive (dead)
[root@hadoop0 ~]#
hadoop2.8.0版本下载及安装
下载地址是https://archive.apache.org/dist/hadoop/hadoop-2.8.0.tar.gz。用浏览器下载太慢了，推荐用迅雷单线程模式下载。
; hadoop安装
将hdoop-2.8.0.tar.gz 上传到kfk的家目录。对是kfk用户的家目录。不要用其他砖家说的的将hdoop放到/opt/module中。
然后使用tar将hdoop-2.8.0.tar.gz加压即可。
配置/etc/bashrc
将java的环境变量，hadoop的环境变量及PATH路径在/etc/bashrc中进行配置。
export JAVA_HOME=/opt/modules/jdk-18.0.2.1
export HADOOP_HOME=/home/kfk/hadoop-2.8.0
PATH=P A T H : PATH:P A T H :HADOOP_HOME/bin:H A D O O P H O M E / s b i n : HADOOP_HOME/sbin:H A D O O P H O M E /s b i n :JAVA_HOME/bin:.
export PATH
其中JDK的安装，请自行百度，此处不再赘述。将PATH中把JAVA及HADOOP的可执行文件的路径做了配置。
Original: https://blog.csdn.net/lzyzuixin/article/details/127815105
Author: 醉心编码
Title: 大数据实战之前戏
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/653366/
转载文章受原作者版权保护。转载请注明原作者出处！