讲一下 spark 的运行架构?

Johngo学长 Spark 42

spark1-1

  • Cluster Manager(Master):在standalone模式中即为Master主节点,控制整个集群,监控worker。在 YARN模式中为资源管理器
  • Worker节点:从节点,负责控制计算节点,启动Executor或者Driver。
  • Driver:运行Application 的main()函数
  • Executor:执行器:是为某个Application运行在worker node上的一个进程

回复

我来回复
  • 暂无回复内容

免费咨询
免费咨询
扫码关注
扫码关注
联系站长

站长Johngo!

大数据和算法重度研究者!

持续产出大数据、算法、LeetCode干货,以及业界好资源!

2022012703491714

微信来撩,免费咨询:xiaozhu_tec

分享本页
返回顶部