大数据环境—hadoop的安装

接着上一篇,趁着这个势头继续整理! 经常听说大数据,所以hadoop已经可谓如雷贯耳了。 早前曾经对于hadoop进行过一些安装。但是当时基础太过薄弱,因此效果甚微。 如今重新进行学习,并做好笔记!

安装过程:

首先解压并配置环境变量。 这个详细过程就不记录了。 记录一下配置的环境变量吧!

大数据环境---hadoop的安装

配置过程:

1.首先配置hadoop的环境配置文件(因为它也是基于java的)

大数据环境---hadoop的安装

大数据环境---hadoop的安装

2.配置core-site.xml文件:

大数据环境---hadoop的安装

大数据环境---hadoop的安装

3.配置yarn-site.xml:

大数据环境---hadoop的安装

大数据环境---hadoop的安装

4.配置slaves以及master:

大数据环境---hadoop的安装

大数据环境---hadoop的安装

大数据环境---hadoop的安装

大数据环境---hadoop的安装

注意,这里的名称均为节点中的主机名。

5.配置hdfs-site.xml:

大数据环境---hadoop的安装

大数据环境---hadoop的安装

6.配置mapred-site.xml:

大数据环境---hadoop的安装

大数据环境---hadoop的安装

最后,将整个配置好后的文件分发到整个集群中的每个机器中。由于配置了ssh免密登陆,所以这个步骤还是很轻松的。。。!!

如:

大数据环境---hadoop的安装

hadoop的运行:

1.在主节点中格式化:

大数据环境---hadoop的安装

然后启动hadoop集群: 命令: sbin/start-all.sh; 该文件位置相对于hadoop文件的根路径位置如图:

大数据环境---hadoop的安装

在各个节点执行jps可看到相关信息。

成功的标志:

大数据环境---hadoop的安装

大数据环境---hadoop的安装

使用hadoop:

大数据环境---hadoop的安装

大数据环境---hadoop的安装

大数据环境---hadoop的安装

大数据环境---hadoop的安装

背景知识:

大数据环境---hadoop的安装

hadoop的本质: 一个分布式系统基础架构。 它的核心是:hdfs 以及 mapreduce.

大数据环境---hadoop的安装

大数据环境---hadoop的安装

大数据环境---hadoop的安装

更多的详细信息我想在hadoop官网应该可以找到答案。

Original: https://blog.51cto.com/u_15707289/5446484
Author: wx62c2ea9a5dac8
Title: 大数据环境—hadoop的安装

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/516713/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球