HDFS集群配置

1 node1-4关闭和禁用防火墙

[root@node1 ~]● firewalld.service - firewalld - dynamic firewall daemon   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)   Active: inactive (dead)     Docs: man:firewalld(1)[root@node1 ~][root@node1 ~]

2 环境变量配置

export HADOOP_HOME=/opt/hadoop-3.1.3export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport HADOOP_HOME=/opt/hadoop-3.1.3export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /etc/profilescp /etc/profile node[34]:pwd /etc/profile

3 hadoop-env.sh配置

cd /opt/hadoop-3.1.3/etc/hadoop/export JAVA_HOME=/usr/java/default

由于通过SSH远程启动进程的时候默认不会加载/etc/profile设置,JAVA_HOME变量就加载不到,需要手动指定

4 workers配置

修改workers(hadoop2.x为slaves)文件,指定datanode的位置
node2
node3
node4
注意:该文件中不能出现空行,添加的内容结尾也不能出现空格。

5 core-site.xml配置

fs.defaultFS  hdfs://node1:9820     hadoop.tmp.dir  /var/itbaizhan/hadoop/full

6 hdfs-site.xml配置

Original: https://blog.51cto.com/u_15704423/5434913
Author: wx62be9d88ce294
Title: HDFS集群配置

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/516922/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球