flink1.13于5月4日发布,版本迭代之快,更是体现了其势不可挡的发展速度。社区活跃度逐步攀升,当然少不了与云原生等技术的集成。 本文主要讲解flink的原生k8s application模式部署步骤,原生k8本质上是flink内部集成了k8s,能够做到Taskmanager的弹性伸缩。
而之所以采用application模式部署,是因其规避了session模式的资源隔离问题、per-job模式的集群生命周期问题,以及两者共同的客户端资源消耗问题,也因其显著优点被广泛用于生产环境。
- Kubernetes版本大于等于1.9。
- 可以访问列表,创建,删除容器和服务,可以通过进行配置
~/.kube/config
。您可以通过运行来验证权限`kubectl auth can-i - 启用Kubernetes DNS。
- RBAC:default service account 具有创建,删除Pod的权限。
dockerfile如下:
进入flink-client pod内部
执行如下命令:
最后三行为向jar包传的自定义参数
执行命令后会自动 1个jobmanager、1个或多个taskmanager。
jobmanager、taskmanager均有日志输出用于查看程序执行进程。
也可通过k8s master节点ip加上图中暴露的端口7447访问flink dashboard.
关注公众号后台回复flinkclient即可获得部署文件,添加作者微信,一起讨论更多。
Original: https://www.cnblogs.com/dhavin/p/16338500.html
Author: dhf123
Title: flink on native k8s by application mode
原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/562861/
转载文章受原作者版权保护。转载请注明原作者出处!