Linux_hadoop2.2.0伪分布式搭建安装

1.1 开启网络,ifconfig指令查看ip

1.2 修改主机名为自己名字(hadoop)
centos 7 连接:https://zhuanlan.zhihu.com/p/375497418
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop

1.3修改主机名和IP的映射关系

vim /etc/hosts

192.168..(ip) hadoop

1.4关闭防火墙
centos 7 连接:https://blog.csdn.net/qq_39997939/article/details/122801049

查看防火墙状态

service iptables status

关闭防火墙

service iptables stop

关闭防火墙开机启动

chkconfig iptables off

1.5重启Linux
reboot

ps.有自带jdk的话先删除自带的jdk

连接:https://blog.csdn.net/username666/article/details/104614514

安装jdk连接:https://blog.csdn.net/weixin_44397907/article/details/107433377
2.1 filezilla上传jdk到opt

2.2 解压jdk
cd 进入jdk所在目录里
tar -zxvf jdk-7u76-linux-x64.tar.gz

2.3 将java添加到环境变量中
vim /etc/profile

在文件最后添加

export JAVA_HOME=/opt/jdk1.7.0_76 (jdk安装路径)
export PATH=$PATH:$JAVA_HOME/bin

刷新配置

source /etc/profile

3.1 filezilla上传hadoop安装包,配置文档(hadoop2.2.0伪分布式搭建.txt)

3.2解压hadoop安装包

解压

tar -zxvf hadoop-2.2.0.tar.gz

3.3修改配置文件(5个) 路径:/opt/hadoop-2.2.0/etc/hadoop
第一个:hadoop-env.sh

在27行修改

export JAVA_HOME=/opt/jdk1.7.0_76

第二个:core-site.xml

第三个:hdfs-site.xml

第四个:mapred-site.xml.template 需要重命名: mv mapred-site.xml.template mapred-site.xml

第五个:yarn-site.xml

3.4将hadoop添加到环境变量
vim /etc/profile

export JAVA_HOME=/opt/jdk1.7.0_55
export HADOOP_HOME=/opt/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile
3.5格式化HDFS(namenode)第一次使用时要格式化
hadoop namenode -format

3.6启动hadoop
先启动HDFS
start-dfs.sh

再启动YARN
start-yarn.sh

3.7验证是否启动成功
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

http://192.168.182.128:50070 (HDFS管理界面)
http://192.168.182.128:8088 (MR管理界面)

cd ~,进入到我的home目录
cd .ssh/

ssh-keygen -t rsa (四个回车)
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免登陆的机器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

ssh-copy-id -i localhost

Original: https://www.cnblogs.com/zzc1102/p/16127361.html
Author: and脱发周大侠
Title: Linux_hadoop2.2.0伪分布式搭建安装

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/599198/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • 学会Linux,看完这篇就行了!

    转载请注明出处❤️ 作者:测试蔡坨坨 原文链接:caituotuo.top/797ab07d.html 你好,我是测试蔡坨坨。 对于测试同学来说,Linux基本属于必学必会内容,招…

    数据库 2023年6月11日
    072
  • MySQL函数学习(四)—–聚合函数

    注:笔记旨在记录 四、MySQL 聚合函数 \ 函 数 名 称 作 用 完 成 1 MAX 求最大值 勾 2 MIN 求最小值 勾 3 COUNT 求数量 勾 4 BIT_COUN…

    数据库 2023年6月16日
    076
  • Mysql的知识梳理

    数据准备: –建表 create table customer_jia(CID int(4), Cname varchar(20), Csex varchar(2), …

    数据库 2023年5月24日
    0108
  • 笔记-docker学习-1

    一、docker安装 1、CentOS Docker安装 安装命令如下: curl -fsSL https://get.docker.com | bash -s docker –…

    数据库 2023年6月9日
    051
  • java中重载(overload)与重写(override)的区别

    方法重载(overload): 方法重载就是在一个类中可以创建多个方法,它们具有相同的名字,但是具有不同的参数和不同的定义,调用方法时通过传递给它们的不同参数个数和参数类型来决定具…

    数据库 2023年6月6日
    094
  • 面试必问之 ConcurrentHashMap 线程安全的具体实现方式

    作者:炸鸡可乐原文出处:www.pzblog.cn 一、摘要 在之前的集合文章中,我们了解到 HashMap 在多线程环境下操作可能会导致程序死循环的线上故障! 既然在多线程环境下…

    数据库 2023年6月14日
    095
  • 从生命周期的角度看线程和进程之间的异同

    概述 进程与线程想必都不陌生,两者有诸多相同点,甚至可以这样说,线程就是”轻量级的进程”。而且两者基本的五个状态也几乎一样,但进程和线程在状态切换时的触发条…

    数据库 2023年6月11日
    077
  • 微服务架构项目搭建过程中的Mysql安装和相关问题

    搭建微服务架构的过程中需要使用Mysql数据库,Mysql数据库搭建着实不是一个容易的事情,会碰到各种各样的问题,如果没有一个安装数据库的思路真的很难把数据库安装好,并且掉入到安装…

    数据库 2023年6月6日
    049
  • web开发模式

    前后端不分离 返回的是html的内容,需要在服务端拿到数据库的数据,再渲染给模板层,最后将渲染好的模板返回给浏览器! 前后端分离 前后端分离:只需要在浏览器上运行JS代码,使用aj…

    数据库 2023年6月14日
    088
  • qt项目设置程序图标

    一、下载好.ico格式的图标文件并存放到项目的根目录这里附赠一个png,jpg等格式转为ico格式的网站 二、在.pro文件里面添加ico的名字 三、发现在debug模式下运行项目…

    数据库 2023年6月6日
    086
  • 即时通讯课设Android端问题记录

    转眼间,就已经是大四学生,目前正在写毕设。Android 端没有系统的学习过,都是哪里不会查哪里,基本靠度娘。所以,在此记录下课设开发过程中,Android 端遇到的问题。 在主线…

    数据库 2023年6月9日
    049
  • 钻石价格预测的ML全流程!从模型构建调优道部署应用!⛵

    💡 作者:韩信子@ShowMeAI📘 数据分析 ◉ 技能提升系列:http://www.showmeai.tech/tutorials/33📘 AI 面试题库系列:http://w…

    数据库 2023年6月15日
    088
  • SQL Server什么时候启用“锁定内存页”选项 (Windows)

    在SQL Server的配置中,尤其是那些应用服务器和数据库服务器共用/混用的情况下,最好启用”锁定内存页”选项。反而对于单独的SQL Server数据库服…

    数据库 2023年6月11日
    095
  • MySQL8.0 DDL原子性特性

    1. DDL原子性概述 8.0之前并没有统一的数据字典dd,server层和引擎层各有一套元数据,sever层的元数据包括(.frm,.opt,.par,.trg等),用于存储表定…

    数据库 2023年6月9日
    057
  • 如何识别 SQL Server 的版本

    本文介绍如何识别当前的Microsoft SQL Server 版本号和相应的产品或Service Pack 级别。同时介绍如何识别正在使用的SQL Server 具体版本。 如何…

    数据库 2023年6月11日
    075
  • 建造者设计模式

    可以看到这个学生类的属性是非常多的,所以构造方法不是一般的长,如果我们现在直接通过new的方式去创建: 可以看到,我们光是填参数就麻烦,我们还得一个一个对应着去填,一不小心可能就把…

    数据库 2023年6月14日
    074
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球