关于 kafka 消息的顺序问题一二

顺序就像就是 12345,任何 12354、12543、51234等都不行。

因为是 mq,所以必然涉及三个主体:发送方、消息服务器、消费方。

一、kafka 消息服务器

kafka brokers 顺序接收客户端请求,将消息顺序追加到 partition 尾部,kafka 能保证单个分区里消息的顺序性。

二、发送方

由第一点可知,我们只要把消息按顺序发送到同一个分区就好了。但这里也存在几个问题:

1、怎么保证要发送的消息的顺序性?

对于单节点服务:使用全局唯一的 producer。

对于多节点、分布式服务,则需要 全局锁来控制涉及同一数据变更的操作( 串行操作)。

2、怎么把顺序的消息发送到同一个分区?

基于特定的分区策略将需要保障顺序的消息路由到特定的分区,kafka 默认如果存在键的话,采用基于键的哈希模分区策略。

3、严格的消息顺序?

配置:在接收到服务器响应之前能够发送多少消息 max.in.flight.requests.per.connection = 1。

或者

max.in.flight.requests.per.connection

Original: https://www.cnblogs.com/niejunlei/p/14720191.html
Author: WindWant
Title: 关于 kafka 消息的顺序问题一二

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/534009/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球