Spark on yarn 模式下的 Cluster 模式和 Client 模式有什么区别?

Johngo学长 Spark 33
  1. yarn-cluster适用于生产环境
    yarn-client适用于交互和调试,也就是希望快速地看到application的输出。
  2. yarn-cluster和yarn-client模式的区别其实就是ApplicationMaster进程的区别:
    yarn-cluster模式下, driver 运行在 AM(Application Master)中,它负责向 YARN 申请资源,并监督作业的运行状况。当用户提交了作业之后,就可以关掉 Client,作业会继续在 YARN 上运行。然而 yarn-cluster 模式不适合运行交互类型 的作业。而 yarn-client 模式下,Application Master 仅仅向 YARN 请求 executor,Client 会和请求的 container 通信来调度他们工作,也就是说 Client 不能离开。

回复

我来回复
  • 暂无回复内容

免费咨询
免费咨询
扫码关注
扫码关注
联系站长

站长Johngo!

大数据和算法重度研究者!

持续产出大数据、算法、LeetCode干货,以及业界好资源!

2022012703491714

微信来撩,免费咨询:xiaozhu_tec

分享本页
返回顶部