分析一下一段 spark 代码中哪些部分在 Driver 端执行,哪些部分在Worker端执行?

Johngo学长 Spark 63

Driver Program是用户编写的提交给Spark集群执行的application。

它包含两部分

  • 作为驱动: Driver与Master、Worker协作完成application进程的启动、DAG划分、计算任务封装、计算任 务分发到各个计算节点(Worker)、计算资源的分配等。
  • 计算逻辑本身:当计算任务在Worker执行时,执行计算逻辑完成application的计算任务。

一般来说transformation算子均是在worker上执行的,其他类型的代码在driver端执行。

回复

我来回复
  • 暂无回复内容

免费咨询
免费咨询
扫码关注
扫码关注
联系站长

站长Johngo!

大数据和算法重度研究者!

持续产出大数据、算法、LeetCode干货,以及业界好资源!

2022012703491714

微信来撩,免费咨询:xiaozhu_tec

分享本页
返回顶部