flink on native k8s by application mode

flink1.13于5月4日发布,版本迭代之快,更是体现了其势不可挡的发展速度。社区活跃度逐步攀升,当然少不了与云原生等技术的集成。 本文主要讲解flink的原生k8s application模式部署步骤,原生k8本质上是flink内部集成了k8s,能够做到Taskmanager的弹性伸缩。

flink on native k8s by application mode

而之所以采用application模式部署,是因其规避了session模式的资源隔离问题、per-job模式的集群生命周期问题,以及两者共同的客户端资源消耗问题,也因其显著优点被广泛用于生产环境。

flink on native k8s by application mode

flink on native k8s by application mode
  • Kubernetes版本大于等于1.9。
  • 可以访问列表,创建,删除容器和服务,可以通过进行配置~/.kube/config。您可以通过运行来验证权限`kubectl auth can-i
  • 启用Kubernetes DNS。
  • RBAC:default service account 具有创建,删除Pod的权限。

dockerfile如下:

flink on native k8s by application mode

flink on native k8s by application mode

flink on native k8s by application mode

进入flink-client pod内部

flink on native k8s by application mode

执行如下命令:

最后三行为向jar包传的自定义参数

flink on native k8s by application mode

执行命令后会自动 1个jobmanager、1个或多个taskmanager。

flink on native k8s by application mode

jobmanager、taskmanager均有日志输出用于查看程序执行进程。

flink on native k8s by application mode

flink on native k8s by application mode

也可通过k8s master节点ip加上图中暴露的端口7447访问flink dashboard.

flink on native k8s by application mode

关注公众号后台回复flinkclient即可获得部署文件,添加作者微信,一起讨论更多。

flink on native k8s by application mode

Original: https://www.cnblogs.com/dhavin/p/16338500.html
Author: dhf123
Title: flink on native k8s by application mode

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/562861/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球