Apache
Flink
SparkSteaming
Storm
架构介于spark和storm之间，主从结构与sparkStreaming相似，DataFlow Grpah与storm 相似，数据流可以被表示为一个有向图，每个顶点是一个定义的运算，每向边表示数据的流动
Native
架构依赖Spark，主从模式，每个batch批次处理都依赖driver主，可以理解为时间维度上的spark DAG
Micro-Batch
主从模式，且依赖ZK，处理过程中对主的依赖不大
Native
基于Ghandy-Lamport distributed snapshots checkpoint机制
Medium
WAL 及RDD 血统机制
High（高）
Records Ack
Medium（一般）
处理模型与延时
单条时间处理
亚秒级低延时
一个事件窗口内的所有事件
秒级低延时
每次传入的一个事件
亚秒级低延时
吞吐量
High
High
Low （低）
数据处理保证
Exactly once
High
Exactly once(实现架用Chandy-Lamport算法，即marker-checkpoint)
High
Medium
高级API
Flink ，栈中提供了很多高级API 和满足不同场景的类库：机器学习、图分析、关系式数据处理
High
能够很容易的对接Spark 生态圈里面的组件，同时额能够对接主流的消息传输组件及存储系统
High
应用需要按照特定的storm 定义的规模编写
Low
易用性
支持SQL Streaming ，Batch 和Streaming 采用统一编程框架
High
支持SQL Streaming ，Batch 和Streaming 采用统一编程框架
High
不支持SQL Streaming
Medium
成熟性
新兴项目，处于发展阶段
Low
已经发展一段时间
Medium
相对较早的流系统，比较稳定
High
部署性
部署相对简单，只依赖JRE环境
Low
部署相对简单，只依赖JRE环境
Low
依赖JRE环境和ZK
High
Original: https://www.cnblogs.com/cheng9999/p/11903655.html
Author: cheng_blog
Title: Spark学习(4) Spark Streaming
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/621506/
转载文章受原作者版权保护。转载请注明原作者出处！