Hadoop主要配置文件的作用

一、Hadoop主要配置文件的作用

ps:有兴趣可以了解一下 HDFS 的配置文件及目录结构(这也是一开始接触一个新东西的一个重要重要的环节)

1,core-site.xml (Hadoop 核心配置,例如HDFS、MapReduce和YARN常用的I/O设置等)

fs.defaultFS

描述集群中NameNode节点的URI(包括协议、主机名称/ip地址、端口号)

例子:hdfs://master:9000

core-site.xml

主要配置

2,hdfs-site.xml (Hadoop守护(守护是后台的意思)进程的配置项,包括namenode、辅助namenode(即SecondNameNode)和datanode等 )

hadoop 守护进程一般同时运行RPC 和HTTP两个服务器,RPC服务器支持守护进程间的通信,HTTP服务器则提供与用户交互的Web页面。

需要分别为各个服务器配置网络地址和端口号。

hdfs-site.xml

主要配置

3,mapred-site.xml ( MapReduce守护进程的配置项,包括作业历史服务器 )

4,yarn-site.xml ( YARN守护进程的配置项,包括资源管理器、web应用代理服务器和节点管理器 )

参考文章:《Hadoop配置文件详解》​​

《详解Hadoop六个配置文件的作用》

hdfs-site.xml 详解

本文来自博客园,作者:​​​,转载请注明原文链接:​​

Original: https://blog.51cto.com/u_15657677/5358324
Author: 一乐yile
Title: Hadoop主要配置文件的作用

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/517592/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球