hadoop集群崩了,用了一天才重新弄好。

今天弄虚拟机的时候发现打开Hadoop集群的那个sbin/start-dfs.sh命令不好使了,报了一堆错,是这样的

​​Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)​​

咋打也打不开,网页搜索http://hadoop102:9870也搜不到了,遇到这种集群崩了的处理办法,我总结了我的处理方法,当启动Hadoop报上面那个错误的时候是因为你的ssh免密登录出现了问题。

在网上也是查找了很多的修改方法,大同小异,无非是让你修改sshd_config文件,再创建密钥,修改权限,但我发现一点效果也没有,而且修改完成之后我连xshell都连不上虚拟机了,当时非常崩溃。

所以我建议大家尽量不要相信网上的修改方法,因为不懂虚拟机的运行原理,有可能越改越乱,最后啥也弄不好了。

我知道我是ssh免密登录没弄好,所以我回过头去整了一下我的ssh发现确实少了个文件,可能是写代码的时候用idea删掉了。

解决方法:进入到以下目录,查看是否生成过秘钥对,如果有的话直接ssh-copy-id 主机名 没有的话执行ssh-keygen -t rsa后再重新执行ssh-copy-id 主机(不要忘记本机),停掉hadoop,重新启动。

无论你之前是安好hadoop之后又崩坏的还是一直没安好出现的这个问题,按照我的方法都适用。

下面是具体的ssh免密配置方法:

(1)免密登录原理

hadoop集群崩了,用了一天才重新弄好。

(2)生成公钥和私钥
[atguigu@hadoop102 .ssh]$ pwd
/home/atguigu/.ssh
[atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲(三个回车),就会生成两个文件 id_rsa(私钥)、id_rsa.pub(公钥)

(3)将公钥拷贝到要免密登录的目标机器上
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104

注意:
还需要在 hadoop103 上采用 atguigu 账号配置一下无密登录到 hadoop102、hadoop103、
hadoop104 服务器上。
还需要在 hadoop104 上采用 atguigu 账号配置一下无密登录到 hadoop102、hadoop103、
hadoop104 服务器上。
还需要在 hadoop102 上采用 root 账号,配置一下无密登录到 hadoop102、hadoop103、
hadoop104;

3).ssh 文件夹下(~/.ssh)的文件功能解释

known_hosts :记录 ssh 访问过计算机的公钥(public key)
id_rsa :生成的私钥
id_rsa.pub : 生成的公钥
authorized_keys :存放授权过的无密登录服务器公钥

Original: https://blog.51cto.com/u_15689028/5396731
Author: 冷酷冰川狼
Title: hadoop集群崩了,用了一天才重新弄好。

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/517226/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球