一、Hadoop主要配置文件的作用
ps:有兴趣可以了解一下 HDFS 的配置文件及目录结构(这也是一开始接触一个新东西的一个重要重要的环节)
1,core-site.xml (Hadoop 核心配置,例如HDFS、MapReduce和YARN常用的I/O设置等)
fs.defaultFS
描述集群中NameNode节点的URI(包括协议、主机名称/ip地址、端口号)
例子:hdfs://master:9000
core-site.xml
主要配置
2,hdfs-site.xml (Hadoop守护(守护是后台的意思)进程的配置项,包括namenode、辅助namenode(即SecondNameNode)和datanode等 )
✿ hadoop 守护进程一般同时运行RPC 和HTTP两个服务器,RPC服务器支持守护进程间的通信,HTTP服务器则提供与用户交互的Web页面。
需要分别为各个服务器配置网络地址和端口号。
hdfs-site.xml
主要配置
3,mapred-site.xml ( MapReduce守护进程的配置项,包括作业历史服务器 )
4,yarn-site.xml ( YARN守护进程的配置项,包括资源管理器、web应用代理服务器和节点管理器 )
参考文章:《Hadoop配置文件详解》
《详解Hadoop六个配置文件的作用》
《hdfs-site.xml 详解 》
本文来自博客园,作者:,转载请注明原文链接:
Original: https://blog.51cto.com/u_15657677/5358324
Author: 一乐yile
Title: Hadoop主要配置文件的作用
原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/517592/
转载文章受原作者版权保护。转载请注明原作者出处!