hdfs节点退役如何加快副本迁移速度

一、场景

当hdfs更换机器需要退役当前节点数据时候,通过查看namenode节点50070web服务

hdfs节点退役如何加快副本迁移速度

问题:发现正在迁移的节点数据blocks太大,一千多万个block,大约在5T左右,速度太慢了,基本上得跑3周,20天左右才能把数据迁移完

当您处于退役进行中状态时,请注意执行此操作。

[En]

Be careful to do it when you are in decommisstion in progress status.

方法:

向接口添加自定义参数:

[En]

Add custom parameters to the interface:

dfs.namenode.replication.max-streams

dfs.namenode.replication.work.multiplier.per.iteration

dfs.namenode.replication.max-streams-hard-limit

该值应大于或等于dfs.namenode.plication.max-Streams

[En]

The value should be greater than or equal to dfs.namenode.replication.max-streams

默认参数为2-4-2,可更改为10-20-5

[En]

The default parameter is 2-4-2, which can be changed to 10-20-5

效果:

测试2w数据块(约15g),速度提高4-5倍

[En]

Test 2w blocks (about 15G), speed up 4-5 times

注意点:

如果生产环境的值修改太多,会影响网络,并导致其他批处理运行产生影响。

[En]

If the value of the production environment is modified too much, it will affect the network and cause other batch runs to have an impact.

Original: https://www.cnblogs.com/wang3680/p/16333091.html
Author: Tim&Blog
Title: hdfs节点退役如何加快副本迁移速度

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/6907/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

最近整理资源【免费获取】:   👉 程序员最新必读书单  | 👏 互联网各方向面试题下载 | ✌️计算机核心资源汇总