Linux_hadoop2.2.0伪分布式搭建安装

1.1 开启网络,ifconfig指令查看ip

1.2 修改主机名为自己名字(hadoop)
centos 7 连接:https://zhuanlan.zhihu.com/p/375497418
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop

1.3修改主机名和IP的映射关系

vim /etc/hosts

192.168..(ip) hadoop

1.4关闭防火墙
centos 7 连接:https://blog.csdn.net/qq_39997939/article/details/122801049

查看防火墙状态

service iptables status

关闭防火墙

service iptables stop

关闭防火墙开机启动

chkconfig iptables off

1.5重启Linux
reboot

ps.有自带jdk的话先删除自带的jdk

连接:https://blog.csdn.net/username666/article/details/104614514

安装jdk连接:https://blog.csdn.net/weixin_44397907/article/details/107433377
2.1 filezilla上传jdk到opt

2.2 解压jdk
cd 进入jdk所在目录里
tar -zxvf jdk-7u76-linux-x64.tar.gz

2.3 将java添加到环境变量中
vim /etc/profile

在文件最后添加

export JAVA_HOME=/opt/jdk1.7.0_76 (jdk安装路径)
export PATH=$PATH:$JAVA_HOME/bin

刷新配置

source /etc/profile

3.1 filezilla上传hadoop安装包,配置文档(hadoop2.2.0伪分布式搭建.txt)

3.2解压hadoop安装包

解压

tar -zxvf hadoop-2.2.0.tar.gz

3.3修改配置文件(5个) 路径:/opt/hadoop-2.2.0/etc/hadoop
第一个:hadoop-env.sh

在27行修改

export JAVA_HOME=/opt/jdk1.7.0_76

第二个:core-site.xml

第三个:hdfs-site.xml

第四个:mapred-site.xml.template 需要重命名: mv mapred-site.xml.template mapred-site.xml

第五个:yarn-site.xml

3.4将hadoop添加到环境变量
vim /etc/profile

export JAVA_HOME=/opt/jdk1.7.0_55
export HADOOP_HOME=/opt/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile
3.5格式化HDFS(namenode)第一次使用时要格式化
hadoop namenode -format

3.6启动hadoop
先启动HDFS
start-dfs.sh

再启动YARN
start-yarn.sh

3.7验证是否启动成功
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

http://192.168.182.128:50070 (HDFS管理界面)
http://192.168.182.128:8088 (MR管理界面)

cd ~,进入到我的home目录
cd .ssh/

ssh-keygen -t rsa (四个回车)
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免登陆的机器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

ssh-copy-id -i localhost

Original: https://www.cnblogs.com/zzc1102/p/16127361.html
Author: and脱发周大侠
Title: Linux_hadoop2.2.0伪分布式搭建安装

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/599198/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • 第十六章:接口

    本篇翻译自《Practical Go Lessons》 Chapter 16: Interfaces 1 你将在本章学到什么? 什么是类型接口? 如何定义接口。 “实现…

    数据库 2023年6月6日
    0111
  • web开发模式

    前后端不分离 返回的是html的内容,需要在服务端拿到数据库的数据,再渲染给模板层,最后将渲染好的模板返回给浏览器! 前后端分离 前后端分离:只需要在浏览器上运行JS代码,使用aj…

    数据库 2023年6月14日
    0107
  • Redis安装

    Redis For Windows 安装 Redis 官方只提供源码包,不支持Windows 老版本 Windows 版本下载地址(最高版本为3)老版本地址 新版本 Windows…

    数据库 2023年6月6日
    0108
  • Nginx 静态资源、跨域、Rewrite

    Nginx服务器基础配置实例 前面我们已经对Nginx服务器默认配置文件的结构和涉及的基本指令做了详细的阐述。通过这些指令的合理配置,我们就可以让一台Nginx服务器正常工作,并且…

    数据库 2023年6月6日
    0163
  • Linux–>开关机+用户管理指令

    shutdown关机 语法: shutdown -h 关机时间 now 立刻1 1分种后 s…

    数据库 2023年6月14日
    0104
  • 加班整理出来的MySQL数据库基本操作送给大家,非常详细!

    哈喽兄弟们,中秋闲着没事,整理了一些数据库的基本操作,分享给大家,希望对大家有所帮助~ ; 一、SQL语句 (mysql 数据库中的语言) show databases;查看数据库…

    数据库 2023年6月14日
    0114
  • 解决:MyBatis-plus多数据源方法上方添加事务,数据源切换失败

    说明:MyBatis-plus配置了多数据源,添加事务后,数据源切换失败了… 一、场景描述 项目当中使用的多数据源,Impl中有个方法:MethodA。 @Servic…

    数据库 2023年6月6日
    0102
  • 2022-9-1 异步请求

    异步请求 ajax:异步刷新(局部刷新),前端技术。给后台发请求。异步:整个页面不会全部刷新,只有某个局部在刷新。验证用户名是否存在。刷新: 1.原生js的ajax get 请求 …

    数据库 2023年6月14日
    0100
  • mysql

    mysql 1.1数据库 关系型数据库:数据存储在硬盘上 [En] Relational database: the data is stored in the hard disk…

    数据库 2023年5月24日
    0107
  • Linux指令_入门基础

    2.pwd指令 : 用法:#pwd (print working directory ,打印当前工作目录) 3.cd指令 : 命令:# cd (change directory,改…

    数据库 2023年6月11日
    0109
  • linux常用命令(持续更新中…)

    查看所有开机启动服务:systemctl list-unit-files # 按Enter翻页 查看所有开机启动服务:systemctl list-unit-files | gre…

    数据库 2023年6月14日
    088
  • MongoDB中如何优雅地删除大量数据

    删除大量数据,无论是在哪种数据库中,都是一个普遍性的需求。除了正常的业务需求,我们需要通过这种方式来为数据库”瘦身”。 为什么要”瘦身&#822…

    数据库 2023年6月11日
    096
  • Dapper.FastCRUD与Dapper中的CustomPropertyTypeMap冲突

    在使用Dapper.NET时,由于生成的实体的属性与数据库表字段不同(如表字段叫USER_NAME,生成的对应的实体属性则为UserName)。 这时需要使用Dapper中的Cus…

    数据库 2023年6月14日
    0112
  • vue入门(一)

    模板语法 插值语法 功能:用于解析标签体内容 写法:{{xxx}},xxx是js表达式,且可以直接读取到data中的所有属性。 指令语法 功能:用于解析标签(包括:标签属性、标签内…

    数据库 2023年6月6日
    095
  • spring内嵌cglib包,这里藏着一个大坑

    问题发现 2022-01-21 早上 9 点,订单系统出现大面积的”系统未知错误”报错,导致部分用户无法正常下单。查询后台日志,可以看到大量的 duplic…

    数据库 2023年6月6日
    0124
  • MySQL数据类型和表操作

    MySQL数据类型和表修改 整型的定义 //创建有符号整数表 CREATE TABLE t1 (id TINYINT); //创建无符号整数表 CREATE TABLE t2 (i…

    数据库 2023年6月16日
    0120
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球