一、场景
当hdfs更换机器需要退役当前节点数据时候，通过查看namenode节点50070web服务
问题：发现正在迁移的节点数据blocks太大，一千多万个block，大约在5T左右，速度太慢了，基本上得跑3周，20天左右才能把数据迁移完
当您处于退役进行中状态时，请注意执行此操作。
[En]
Be careful to do it when you are in decommisstion in progress status.
方法：
向接口添加自定义参数：
[En]
Add custom parameters to the interface:
dfs.namenode.replication.max-streams
dfs.namenode.replication.work.multiplier.per.iteration
dfs.namenode.replication.max-streams-hard-limit
该值应大于或等于dfs.namenode.plication.max-Streams
[En]
The value should be greater than or equal to dfs.namenode.replication.max-streams
默认参数为2-4-2，可更改为10-20-5
[En]
The default parameter is 2-4-2, which can be changed to 10-20-5
效果：
测试2w数据块(约15g)，速度提高4-5倍
[En]
Test 2w blocks (about 15G), speed up 4-5 times
注意点：
如果生产环境的值修改太多，会影响网络，并导致其他批处理运行产生影响。
[En]
If the value of the production environment is modified too much, it will affect the network and cause other batch runs to have an impact.
Original: https://www.cnblogs.com/wang3680/p/16333091.html
Author: Tim&Blog
Title: hdfs节点退役如何加快副本迁移速度
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/6907/
转载文章受原作者版权保护。转载请注明原作者出处！
