Hadoop Distributed File System 简称HDFS 一、HDFS设计目标
2、一次写多次读 3、运行在普通的硬件上面 4、数据块尽量散步到各个节点中
二、HDFS不适合的场景
1、不适合低延迟的数据，对一个大文件整个文件进行读取，即批量读取而非随机读取 2、小文件 3、无法对文件的内容任意修改
三、HDFS架构
1、一个文件被划分成大小固定的多个文件块，分布的存储在集群中的节点中
四、总结
1、Block：一个文件分块，默认为64M 2、NameNode：保存整个文件的目录信息、文件信息以及文件相应的分块信息，如果namenode支持很多的datanode数据节点信息时，因为读取任意一个文件都需要从namenode中读取信息，那读取namenode就将是文件读取的瓶颈，所以为了避免这个问题的出现，一般将namenode的信息保存到内存中，同时将一些信息持久化到磁盘中，防止读取失败时有备份信息。 3、DataNode：用于存储Blocks 4、HDFS的HA策略：NameNode一旦宕机，整个文件系统将无法工作。如果NameNode中的数据丢失，整个文件系统也就丢失了。所以从hadoop2.x开始，HDFS支持NameNode的active-standy模式，就是同时开启多个namenode当active模式工作时，standy模式会同步active所有的信息，当active不能工作时，standy就会转变为active模式来接管namenode。
作者：少帅
您的支持是对博主最大的鼓励，感谢您的认真阅读。
本文版权归作者所有，欢迎转载，但请保留该声明。
Original: https://blog.51cto.com/u_15683012/5383551
Author: 大数据工匠
Title: 二、HDFS学习
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/517410/
转载文章受原作者版权保护。转载请注明原作者出处！