一、场景
当hdfs更换机器需要退役当前节点数据时候,通过查看namenode节点50070web服务

问题:发现正在迁移的节点数据blocks太大,一千多万个block,大约在5T左右,速度太慢了,基本上得跑3周,20天左右才能把数据迁移完
当您处于退役进行中状态时,请注意执行此操作。
[En]
Be careful to do it when you are in decommisstion in progress status.
方法:
向接口添加自定义参数:
[En]
Add custom parameters to the interface:
dfs.namenode.replication.max-streams
dfs.namenode.replication.work.multiplier.per.iteration
dfs.namenode.replication.max-streams-hard-limit
该值应大于或等于dfs.namenode.plication.max-Streams
[En]
The value should be greater than or equal to dfs.namenode.replication.max-streams
默认参数为2-4-2,可更改为10-20-5
[En]
The default parameter is 2-4-2, which can be changed to 10-20-5
效果:
测试2w数据块(约15g),速度提高4-5倍
[En]
Test 2w blocks (about 15G), speed up 4-5 times
注意点:
如果生产环境的值修改太多,会影响网络,并导致其他批处理运行产生影响。
[En]
If the value of the production environment is modified too much, it will affect the network and cause other batch runs to have an impact.
Original: https://www.cnblogs.com/wang3680/p/16333091.html
Author: Tim&Blog
Title: hdfs节点退役如何加快副本迁移速度
原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/6907/
转载文章受原作者版权保护。转载请注明原作者出处!