hdfs节点退役如何加快副本迁移速度

【自取】最近整理的,有需要可以领取学习:

一、场景

当hdfs更换机器需要退役当前节点数据时候,通过查看namenode节点50070web服务

hdfs节点退役如何加快副本迁移速度

问题:发现正在迁移的节点数据blocks太大,一千多万个block,大约在5T左右,速度太慢了,基本上得跑3周,20天左右才能把数据迁移完

当您处于退役进行中状态时,请注意执行此操作。

[En]

Be careful to do it when you are in decommisstion in progress status.

方法:

向接口添加自定义参数:

[En]

Add custom parameters to the interface:

dfs.namenode.replication.max-streams

dfs.namenode.replication.work.multiplier.per.iteration

dfs.namenode.replication.max-streams-hard-limit

该值应大于或等于dfs.namenode.plication.max-Streams

[En]

The value should be greater than or equal to dfs.namenode.replication.max-streams

默认参数为2-4-2,可更改为10-20-5

[En]

The default parameter is 2-4-2, which can be changed to 10-20-5

效果:

测试2w数据块(约15g),速度提高4-5倍

[En]

Test 2w blocks (about 15G), speed up 4-5 times

注意点:

如果生产环境的值修改太多,会影响网络,并导致其他批处理运行产生影响。

[En]

If the value of the production environment is modified too much, it will affect the network and cause other batch runs to have an impact.

Original: https://www.cnblogs.com/wang3680/p/16333091.html
Author: Tim&Blog
Title: hdfs节点退役如何加快副本迁移速度

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/6907/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

发表回复

登录后才能评论
免费咨询
免费咨询
扫码关注
扫码关注
联系站长

站长Johngo!

大数据和算法重度研究者!

持续产出大数据、算法、LeetCode干货,以及业界好资源!

2022012703491714

微信来撩,免费咨询:xiaozhu_tec

分享本页
返回顶部