一、什么是hadoop?

一、什么是hadoop

1. 背景

Hadoop为分布式文件系统和计算的基础框架系统,其中包含hadoop程序,hdfs系统等。

2. 名词解释

1.Hadoop, Apache开源的分布式框架。

2.HDFS, hadoop的分布式文件系统

3.NameNode, hadoop HDFS元数据主节点服务器,负责保存DataNode 文件存储元数据信息。

4.JobTracker, hadoop的Map/Reduce调度器,负责与TackTracker通信,分配计算任务并跟踪任务进度。

5.DataNode, hadoop数据节点,负责存储数据。

6.TaskTracker, hadoop调度程序,负责Map,Reduce 任务的具体启动和执行。

7.Fuse, 多文件系统内核程序,可将不同的文件系统mount成linux可读写模式

3、hadoop能解决那些问题?—基础与核心

  • 海量数据需要及时分析和处理 –MapReduce
  • 海量数据需要深入分析和挖掘–MapReduce
  • 数据需要长期保存–HDFS

4、当前问题

  • 磁盘IO成为一种瓶颈,而非CPU资源
  • 网络带宽是一种稀缺资源
  • 硬件故障成为影响稳定的一大因素

5、学习hadoop的目的

Hadoop是IT行业的新热点,是实现云计算的一个具体实现。

作者:少帅

您的支持是对博主最大的鼓励,感谢您的认真阅读。

本文版权归作者所有,欢迎转载,但请保留该声明。

Original: https://blog.51cto.com/u_15683012/5382951
Author: 大数据工匠
Title: 一、什么是hadoop?

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/517428/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球