讲一下Flink on yarn的部署?

Johngo学长 Flink 35

Flink作业提交有两种类型

1、yarn session

需要先启动集群,然后在提交作业,接着会向yarn申请一块空间后,资源永远保持不变。如果资源满了,下 一个作业就无法提交,只能等到yarn中的其中一个作业执行完成后,释放了资源,那下一个作业才会正常提 交.

  • 客户端模式
    对于客户端模式而言,你可以启动多个yarn session,一个yarn session模式对应一个JobManager,并按 照需求提交作业,同一个Session中可以提交多个Flink作业。如果想要停止Flink Yarn Application,需 要通过yarn application -kill命令来停止.
  • 分离式模式
    对于分离式模式,并不像客户端那样可以启动多个yarn session,如果启动多个,会出现下面的session 一直处在等待状态。JobManager的个数只能是一个,同一个Session中可以提交多个Flink作业。如果想 要停止Flink Yarn Application,需要通过yarn application -kill命令来停止

2、Flink run(Per-Job)

直接在YARN上提交运行Flink作业(Run a Flink job on YARN),这种方式的好处是一个任务会对应一个job,即 没提交一个作业会根据自身的情况,向yarn申请资源,直到作业执行完成,并不会影响下一个作业的正常运 行,除非是yarn上面没有任何资源的情况下

flink3

回复

我来回复
  • 暂无回复内容

免费咨询
免费咨询
扫码关注
扫码关注
联系站长

站长Johngo!

大数据和算法重度研究者!

持续产出大数据、算法、LeetCode干货,以及业界好资源!

2022012703491714

微信来撩,免费咨询:xiaozhu_tec

分享本页
返回顶部