1.HDFS架构的局限性
- 内存限制
由于NameNode在内存中存储所有的元数据（metadata），因此单个NameNode所能存储的对象数目受到NameNode所在JVM的heap size的限制。随着数据的飞速增长，存储的需求也随之增长。内存将成为限制系统横向扩展的瓶颈。
- 隔离问题
由于HDFS仅有一个NameNode，无法隔离各个程序，因此HDFS上的一个程序就很有可能影响整个HDFS上运行其它的程序
- 性能的瓶颈
由于是单个NameNode的HDFS架构，因此整个HDFS文件系统的吞吐量受限于单个NameNode的吞吐量。
2.HDFS Federation架构设计
不同应用可以使用不同NameNode进行数据管理，比如日志分析业务、图片业务、爬虫业务等，不同的业务模块使用不同的NameNode进行管理NameSpace。（隔离性）
3.Federation优点
- 通过多个namenode/namespace把元数据的存储和管理分散到多个节点中，使得namenode/namespace可以通过增加机器来进行水平扩展。
- 能把单个namenode的负载分散到多个节点中，在HDFS数据规模较大的时候不会也降低HDFS的性能。
- 可以通过多个namespace来隔离不同类型的应用，把不同类型应用的HDFS元数据的存储和管理分派到不同的namenode中。
Original: https://blog.51cto.com/u_15704423/5434927
Author: wx62be9d88ce294
Title: HDFS Federation联邦
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/516894/
转载文章受原作者版权保护。转载请注明原作者出处！