Yarn 调度 MapReduce 过程？

迷失技术de小猪 Hadoop 193

hadoop6-1

 

  1. Mr程序提交到客户端所在的节点(MapReduce)
  2. yarnrunner向Resourcemanager申请一个application。
  3. rm将该应用程序的资源路径返回给yarnrunner
  4. 该程序将运行所需资源提交到HDFS上
  5. 程序资源提交完毕后，申请运行mrAppMaster
  6. RM将用户的请求初始化成一个task
  7. 其中一个NodeManager领取到task任务。
  8. 该NodeManager创建容器Container，并产生MRAppmaster
  9. Container从HDFS上拷⻉资源到本地
  10. MRAppmaster向RM申请运行maptask容器
  11. RM将运行maptask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器.
  12. MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动maptask，maptask对数据分区排序。
  13. MRAppmaster向RM申请2个容器，运行reduce task。
  14. reduce task向maptask获取相应分区的数据。
  15. 程序运行完毕后，MR会向RM注销自己。

回复

共1条回复 我来回复
  • 迷失技术de小猪
    迷失技术de小猪
    稍等伙伴们，思考简介中～
    评论

    hadoop6-1

     

    1. Mr程序提交到客户端所在的节点(MapReduce)
    2. yarnrunner向Resourcemanager申请一个application。
    3. rm将该应用程序的资源路径返回给yarnrunner
    4. 该程序将运行所需资源提交到HDFS上
    5. 程序资源提交完毕后，申请运行mrAppMaster
    6. RM将用户的请求初始化成一个task
    7. 其中一个NodeManager领取到task任务。
    8. 该NodeManager创建容器Container，并产生MRAppmaster
    9. Container从HDFS上拷⻉资源到本地
    10. MRAppmaster向RM申请运行maptask容器
    11. RM将运行maptask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器.
    12. MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动maptask，maptask对数据分区排序。
    13. MRAppmaster向RM申请2个容器，运行reduce task。
    14. reduce task向maptask获取相应分区的数据。
    15. 程序运行完毕后，MR会向RM注销自己。
    1个月前 0条评论

相关问题

亲爱的 Coder【最近整理，可免费获取】👉 最新必读书单  | 👏 面试题下载