hdfs fsck / 检查hdfs中block问题

迁移hdfs节点过程中,退役datanode节点,出现这个问题:
;
使用命令检查块报告[en]<u>Use the command to check the block report</u>
hdfs fsck /

返回结果截图如下:[en]The screenshot of the returned result is as follows:

hdfs fsck / 检查hdfs中block问题

参数说明:[en]Parameter description:

Total size : hdfs集群存储大小,不包括复本大小。如:75423236058649 B (字节)。(字节->KB->m->G->TB,75423236058649/1024/1024/1024/1024=68.59703358591014TB)

Total blocks (validated) : 总共的块数量,不包括复本。(5363690 (avg. block size 14061818 B) (Total open file blocks (not validated): 148),计算: 14061818 *5363690=75423232588420 集群的容量大小,不包括复本的)

Number of data-nodes : datanode的节点数量

Number of racks : 机架数量

Default replication factor : 默认的复制因子

Average block replication : 当前块的平均复制数,如果小 default replication factor,则有块丢失

Under-replicated blocks : 正在复制块数量

Mis-replicated blocks : 正复制的缺少复制块的数量

Missing replicas : 缺少复制块的数量,通常情况下Under-replicated blocks\Mis-replicated blocks\Missing replicas 都为0,则集群健康,如果不为0,则缺失块了

Corrupt blocks : 坏块的数量,这个值不为0,则说明当前集群有不可恢复的块,即数据有丢失了

当节点从盘架上移除时,复制不足的数据块错误复制的数据块丢失复制副本。这三个参数将显示当前要填充的块数,集群将自动完成。当三个参数都为0时,簇块的复制块完成。[en]When the node is removed from the shelf, Under-replicated blocks Mis-replicated blocks Missing replicas. These three parameters will show the current number of blocks to be filled, and the cluster will automatically complete. When all three parameters are 0, the copied block of the cluster block is complete.

截图如下:[en]The screenshot is as follows:

hdfs fsck / 检查hdfs中block问题

hadoop fsck / -openforwrite | egrep -v ‘^.+$’ | egrep “MISSING|OPENFORWRITE” | grep -o “/[^ ]*” | sed -e “s/:$//” | xargs -i hadoop fs -rmr {};

Original: https://www.cnblogs.com/wang3680/p/15411760.html
Author: TimBlog
Title: hdfs fsck / 检查hdfs中block问题

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/6022/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

发表回复

登录后才能评论
免费咨询
免费咨询
扫码关注
扫码关注
联系站长

站长Johngo!

大数据和算法重度研究者!

持续产出大数据、算法、LeetCode干货,以及业界好资源!

2022012703491714

微信来撩,免费咨询:xiaozhu_tec

分享本页
返回顶部