Linux_hadoop2.2.0伪分布式搭建安装

1.1 开启网络,ifconfig指令查看ip

1.2 修改主机名为自己名字(hadoop)
centos 7 连接:https://zhuanlan.zhihu.com/p/375497418
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop

1.3修改主机名和IP的映射关系

vim /etc/hosts

192.168..(ip) hadoop

1.4关闭防火墙
centos 7 连接:https://blog.csdn.net/qq_39997939/article/details/122801049

查看防火墙状态

service iptables status

关闭防火墙

service iptables stop

关闭防火墙开机启动

chkconfig iptables off

1.5重启Linux
reboot

ps.有自带jdk的话先删除自带的jdk

连接:https://blog.csdn.net/username666/article/details/104614514

安装jdk连接:https://blog.csdn.net/weixin_44397907/article/details/107433377
2.1 filezilla上传jdk到opt

2.2 解压jdk
cd 进入jdk所在目录里
tar -zxvf jdk-7u76-linux-x64.tar.gz

2.3 将java添加到环境变量中
vim /etc/profile

在文件最后添加

export JAVA_HOME=/opt/jdk1.7.0_76 (jdk安装路径)
export PATH=$PATH:$JAVA_HOME/bin

刷新配置

source /etc/profile

3.1 filezilla上传hadoop安装包,配置文档(hadoop2.2.0伪分布式搭建.txt)

3.2解压hadoop安装包

解压

tar -zxvf hadoop-2.2.0.tar.gz

3.3修改配置文件(5个) 路径:/opt/hadoop-2.2.0/etc/hadoop
第一个:hadoop-env.sh

在27行修改

export JAVA_HOME=/opt/jdk1.7.0_76

第二个:core-site.xml

第三个:hdfs-site.xml

第四个:mapred-site.xml.template 需要重命名: mv mapred-site.xml.template mapred-site.xml

第五个:yarn-site.xml

3.4将hadoop添加到环境变量
vim /etc/profile

export JAVA_HOME=/opt/jdk1.7.0_55
export HADOOP_HOME=/opt/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile
3.5格式化HDFS(namenode)第一次使用时要格式化
hadoop namenode -format

3.6启动hadoop
先启动HDFS
start-dfs.sh

再启动YARN
start-yarn.sh

3.7验证是否启动成功
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

http://192.168.182.128:50070 (HDFS管理界面)
http://192.168.182.128:8088 (MR管理界面)

cd ~,进入到我的home目录
cd .ssh/

ssh-keygen -t rsa (四个回车)
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免登陆的机器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

ssh-copy-id -i localhost

Original: https://www.cnblogs.com/zzc1102/p/16127361.html
Author: and脱发周大侠
Title: Linux_hadoop2.2.0伪分布式搭建安装

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/599198/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • 一、SQL高级语句

    摘抄别的博主的博客主要总去CSDN看不太方便自己整理一下加深记忆! 导入文件至数据库 #将脚本导入 source 加文件路径 mysql> source /backup/te…

    数据库 2023年5月24日
    0111
  • kettle插入更新

    kettle实现若主键存在则更新,若主键不存在则插入 Original: https://www.cnblogs.com/cheng9999/p/14085922.htmlAuth…

    数据库 2023年6月16日
    079
  • [Mysql]Ubuntu如何安装Mysql+启用远程连接[完整版]

    嗯。以下是我踩了好几个小时的所有坑总结出来的血泪史。我希望我能帮你少踩几个坑。正常情况下,一步一步地,不会有任何问题。 [En] Yeah. The following is th…

    数据库 2023年5月24日
    0110
  • Java学习-第一部分-第二阶段-第四节:常用类

    常用类 笔记目录:(https://www.cnblogs.com/wenjie2000/p/16378441.html) 包装类 包装类的分类 针对八种基本数据类型相应的引用类型…

    数据库 2023年6月11日
    0115
  • chrome架构发展与提供的性能分析工具

    谷歌早期多进程架构分为插件进程(Plugin Process)、渲染进程(Render Process)、浏览器主进程(Browser Process) 插件进程负责插件的运行,通…

    数据库 2023年6月6日
    0332
  • Java学习-第一部分-第三阶段-第三节:MySQL基础

    零基础学MySQL 笔记目录:(https://www.cnblogs.com/wenjie2000/p/16378441.html) 一个问题 淘宝网,京东、微信,抖音都有各自的…

    数据库 2023年6月11日
    0104
  • 项目中所用到的mysql重复过滤

    问题:首先用户会本地上传一批号码(可能重复)到我们项目,通过解析文件,把号码入库(只验证是不是号码其他不做改动)到号码表,然后对号码进行去重操作. 表结构为:主键(id),号码(m…

    数据库 2023年6月11日
    088
  • MySQL高可用架构搭建实战

    前言 对于 MySQL 数据库作为各个业务系统的存储介质,在系统中承担着非常重要的职责,如果数据库崩了,那么对于读和写数据库的操作都会受到影响。如果不能迅速恢复,对业务的影响是非常…

    数据库 2023年5月24日
    0119
  • ECMAScript版本知识点汇总

    ECMAScript版本知识点汇总 ES5 btoa、atob 对参数进行base64格式编码、解码 /** * btoa() * base64编码 * @param {strin…

    数据库 2023年6月11日
    0115
  • VMware Workstation 与 Device/Credential Guard 不兼容

    问题: 在确定已经禁用 Hyper-V 功能的前提下,启动虚拟机还是报错 ” VMware Workstation 与 Device/Credential Guard …

    数据库 2023年6月14日
    090
  • 浅谈一下“敏捷开发”

    为什么需要敏捷开发 在以前,软件项目的开发都是以年来计算的,这代表什么意思呢 ?需求设计了半年多,方案设计做了半年多,开发了三年多,测试了半年多,修改Bug用了半年多。总计花了很长…

    数据库 2023年6月14日
    0103
  • Git自学

    Linux git # 查看是否安装git sudo apt-get install git # Ubuntu/Debian自动安装Git Windows 配置用户信息 git c…

    数据库 2023年6月11日
    082
  • Sql的字符串匹配 like

    患者信息表: Patients +————–+———+ | Column Name | Type | +————–+——–…

    数据库 2023年6月14日
    096
  • 从零开始的常用MySQL语句练习大全

    很多时候深入学习固然很重要,但是想要写下一篇给新手都能看得懂看的很香,并且老鸟可以查漏补缺的的练习博客,还是挺有难度,所以今天尝试写一些关于MySQL的语句练习大全,供想要从零开始…

    数据库 2023年6月11日
    099
  • Python–迭代器

    区分:迭代器 Iterator 和可迭代对象It…

    数据库 2023年6月9日
    0116
  • String类常用的API

    String类常用API总结及注意事项 String类常用的API 字符串内容的比较: 注意: 不能使用 == 去比较两个字符串的内容。原理:比较的是字符串的地址。(如果两个字符串…

    数据库 2023年6月16日
    0113
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球