文章目录
- 01 引言
- 02 Flink 知识结构
* - 2.1 Flink介绍
- 2.2 环境准备
- 2.3 Flink编程模型
- 2.4 DataStream API
- 2.5 Flink状态管理和容错
- 2.6 DataSet API
- 2.7 Table API & SQL
- 2.8 Flink组件栈
- 2.9 Flink部署与应用
- 2.10 Flink监控与性能优化
- 03 Flink 知识图谱
- 04 文末
01 引言
最近因为工作需要用到了 Flink，所以博主开了《Flink教程》专栏来记录Flink的笔记。
在学习Flink之前，我们必须要了解Flink究竟要学习什么？本文列了一个目录，主要用于为后续的教程作一个指南针向导，有个学习的方向。
02 Flink 知识结构
如果用文本来描述Flink图谱，如下：
2.1 Flink介绍
|- Flink介绍
|——Apache Flink是什么
|——数据架构的演变
|————传统数据基础架构
|————大数据基础架构
|————有状态流计算架构
|————为什么会是Flink
|——Flink应用场景
|——Flink基础架构
|————基本组件栈
|————基本架构图
2.2 环境准备
|- 环境准备
|——运行环境介绍
|——Flink项目模板
|————基于Java实现的项目模板
|————基于Scala实现的项目模板
|——Flink开发环境配置
|————下载IDEA
|————安装Scala Plugins
|————导入Flink应用代码
|————项目配置
|————运行Scala REPL
|————Flink源码编译
2.3 Flink编程模型
|- Flink编程模型
|——数据集类型
|——Flink编程接口
|——Flink程序结构
|——Flink数据类型
|————数据类型支持
|————TypeInfomation信息获取
2.4 DataStream API
|- DataStream API
|——DataStream编程模型
|————DataSources数据输入
|————DataStream转换操作
|————DataSlinks数据输出
|——时间概念与Watermark
|————时间概念
|————EventTime和Watermark
|——Windows窗口计算
|————Windows Assigner
|————Windows Function
|————Trigger窗口触发器
|————Evictors数据剔除器
|————延迟数据处理
|————连续窗口计算
|————Windows多流合并
|——作业链和资源组
|————作业链
|————Slots资源组
|————Asynchronous I/O异步操作
2.5 Flink状态管理和容错
|- Flink状态管理和容错
|——有状态计算
|——Checkpoints和Savepoints
|————Checkpoints检查点机制
|————Savepoints机制
|——状态管理器
|————StateBackend类别
|————状态管理器适配
|——Querable State
2.6 DataSet API
|- DataSet API
|——DataSet API
|————应用实例
|————DataSources数据接入
|————DataSet转换操作
|————DataSlinks数据输出
|——迭代计算
|————全量迭代
|————增量迭代
|——广播变量
|——分布式缓存
|——语义注解
|————Forwarded Fields注解
|————Non-Forwarded Fields注解
|————Read Fields注解
2.7 Table API & SQL
|- Table API & SQL
|——TableEnviroment
|————开发环境构建
|————TableEnvironment基本操作
|————外部连接器
|————时间概念
|————Temporal Tables临时表
|——Flink Table API
|————Table API 应用实例
|————数据查询和过滤
|————窗口操作
|————聚合操作
|————多表关联
|————集合操作
|————排序操作
|————数据写入
|——Flink SQL使用
|————Flink SQL实例
|————执行SQL
|————数据过滤与查询
|————Group Windows操作
|————数据聚合
|————多表关联
|————集合操作
|————数据输出
|——自定义函数
|————Scalar Function
|————Table Function
|————Agreegation Function
|——自定义数据源
|————TableSource定义
|————TableSlink定义
|————TableFactory定义
2.8 Flink组件栈
|- Flink组件栈
|——Flink复杂事件处理
|————基础概念
|————Pattern API
|————事件获取
|————应用实例
|——Flink Gelly图计算应用
|————基本概念
|————Graph API
|————迭代图处理
|————图生成器
|——FlinkML机器学习
|————基本概念
|————有监督学习算子
|————数据预处理
|————推荐算法
|————Pipelines In FlinkML
2.9 Flink部署与应用
|- Flink部署与应用
|——Flink集群部署
|————Standalone Cluster 部署
|————Yarn Cluster部署
|————Kubernetes Cluster部署
|——Flink高可用配置
|————Standalone集群高可用配置
|————Yarn Session集群高可用配置
|——Flink安全管理
|————认证目标
|————认证配置
|————SSL配置
|——Flink集群升级
|————任务重启
|————状态维护
|————版本升级
2.10 Flink监控与性能优化
|- Flink监控与性能优化
|——监控指标
|————系统监控指标
|————监控指标注册
|————监控指标报表
|——Backpressure监控与优化
|————Backpressure进程抽样
|————Backpressure页面监控
|————Backpressure配置
|——Checkpointing监控与优化
|————Checkpointing页面监控
|————Checkpointing优化
|——Flink内存优化
|————Flink内存配置
|————Network Buffers配置
03 Flink 知识图谱
; 04 文末
参阅文献：《Flink原理、实战与性能优化》
本文主要列出需要 Flink的知识点，谢谢大家的阅读，本文完！
Original: https://blog.csdn.net/qq_20042935/article/details/123266428
Author: 杨林伟
Title: Flink教程（01）- Flink知识图谱
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/554843/
转载文章受原作者版权保护。转载请注明原作者出处！