灵感来袭,基于Redis的分布式延迟队列(续)

背景

上一篇(灵感来袭,基于Redis的分布式延迟队列)讲述了基于Java DelayQueue和Redis实现了分布式延迟队列,这种方案实现比较简单,应用于延迟小,消息量不大的场景是没问题的,毕竟Java DelayQueue是占用内存的。针对现用方案的不足,于是利用Redis的Sorted Set数据结构简单实现分布式延迟队列。

Sorted Set

  • Redis 有序集合和集合一样也是string类型元素的集合,且不允许重复的成员。
  • 不同的是每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。
  • 有序集合的成员是唯一的,但分数(score)却可以重复。

设计思路

灵感来袭,基于Redis的分布式延迟队列(续)
  1. 使用Redis的Sorted Set作为中转队列,为防止延迟消息量过大,维护多个Sorted Set,将延迟消息按照hash值平均分布到不同的Sorted Set中。
  2. 由于Sorted Set本身具备有序性,将延迟时间作为score值和延迟消息绑定到一起存入Sorted Set中。
  3. 另起Java定时任务,每隔一定时间扫描所有Sorted Set,并通过ZRANGEBYSCORE操作取出符合条件的延迟消息,然后放入目标队列等待消费者消费。

代码实现

延迟队列创建

灵感来袭,基于Redis的分布式延迟队列(续)

根据queueName分别创建中转队列(Sorted Set)和 目标队列key值,其中queueSize是中转队列的大小。

延迟消息投递

灵感来袭,基于Redis的分布式延迟队列(续)

根据延迟消息的hash值,平均分配到不同的中转队列(Sorted Set)中去。

中转定时任务

灵感来袭,基于Redis的分布式延迟队列(续)

通过分布式锁来锁定唯一的线程来执行延迟消息迁移到目标队列的操作。遍历全部的中转队列,因为延迟消息是和延迟时间戳关联的,使用ZRANGEBYSCORE命令,取出延迟时间小于当前时间的50条消息并通过LPUSH命令放入目标队列里。

延迟消息消费

灵感来袭,基于Redis的分布式延迟队列(续)

通过RPOP命令不断的从目标队列获取延迟消息,执行相应的消费逻辑。

总结

本文描述的实现方案还有诸多异常情况尚未考虑,比如生产者发送失败、消费者消费失败的情况,无法保证极端情况下生产者和消费者两端的数据一致性。该方案可以满足业务量不是很大、延迟时间较长、允许部分数据可能丢失的场景,比如用户签到提醒,可以根据用户签到的时间,第二天在相应的时间点推送消息提醒用户继续签到。

Original: https://www.cnblogs.com/hujunzheng/p/13767887.html
Author: 胡峻峥
Title: 灵感来袭,基于Redis的分布式延迟队列(续)

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/528946/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • 【MQTT】使用MQTT.fx上报温度到腾讯云

    打开 腾讯云官网, 注册并登录. 2.登录之后点击右上角的控制台点进去 3.在搜索框[物联网通信],点击进入 4.点击创建新产品 5.选择普通产品,名称随便,选择密钥认证,选择js…

    Linux 2023年6月13日
    097
  • Linux 时间操作及其同步

    本文将以 Arch Linux 为例,讨论 Linux 的时间操作和同步方法。 操作系统的时间 (clock) 由三或四部分决定: 时间值; 是否为 UTC 时间; 时区; (如果…

    Linux 2023年5月27日
    099
  • 线段树扫描线(二)矩形周长 以hdu1828为例

    还是老规矩,传送门 hdu 1828 依然不做过多解释,给出n个矩形,求这些矩形组合而成的图形的周长(中间镂空的部分也算) 还是像扫面线(一)一样,自下而上扫描, 我们先只考虑横线…

    Linux 2023年6月6日
    098
  • 进程调度算法实现【先来先服务FCFS】【短进程优先SJF】

    #include #include #include #define MAX_DURANCE 1e6 using namespace std; /* * codeBy: slien…

    Linux 2023年6月8日
    0102
  • Git常用命令

    克隆拉取远程代码 git clone https://xxxxxxxxx 本地添加远程仓库地址 git remote add origin(设定名字,随意。不过一般都叫这个名字) …

    Linux 2023年6月8日
    091
  • JuiceFS V1.0 RC1 发布,大幅优化 dump/load 命令性能, 深度用户不容错过

    各位社区的伙伴, JuiceFS v1.0 RC1 今天正式发布了! 这个版本中,最值得关注的是对元数据迁移备份工具 dump/load 的优化。 这个优化需求来自于某个社区重度用…

    Linux 2023年6月14日
    082
  • redis开启远程访问

    redis默认只允许本地访问,要使redis可以远程访问可以修改redis.conf 打开redis.conf文件在 NETWORK部分有说明 By default, if no …

    Linux 2023年5月28日
    0155
  • 【spring-boot】配置Redis工具类

    如何在spring-boot中使用Redis工具类 修改pom.xml文件 新增spring-boot-starter-data-redis配置 org.springframewo…

    Linux 2023年5月28日
    0104
  • 从零开始制作一个linux iso镜像

    一、前言 对于一个极简化的linux系统而言,只需要三个部分就能组成,它们分别是一个linux内核、一个根文件系统和引导。以下是本文制作linux iso镜像所用到的系统和软件: …

    Linux 2023年5月27日
    089
  • 文件的压缩与打包

    文件的压缩与打包 常用文件拓展名 *.tar.gz tar程序打包的文件,并且经过gzip的压缩 *.tar.bz2 tar程序打包的文件,并且经过bzip2的压缩 tar 命令,…

    Linux 2023年6月11日
    086
  • django基础

    目录 django三板斧 登录功能 静态文件 request对象方法 pycharm链接MySQL django链接MySQL django orm简介 orm基本使用 *orm数…

    Linux 2023年6月7日
    0120
  • 五分钟通俗理解自动驾驶

    大家好,我是良许。 这几年,自动驾驶这个概念非常火热,无论是百度还是谷歌,都做出了还不错的原型机,但是你真的知道什么是自动驾驶吗? 本文就花 5 分钟左右的时间,向大家科普一下什么…

    Linux 2023年6月14日
    0101
  • 微服务,【容器亚健康状态】问题,研究和解决

    —【前言】— 我问:”程序有『亚健康状态』吗?” 一个正常的人,应该这样回答:”什么?程序,亚健康。。。?你神经病吧?我…

    Linux 2023年6月14日
    088
  • Python之pexpect详解

    Pexpect程序主要用于人机对话的模拟,就是那种系统提问,人来回答yes/no,或者账号登陆输入用户名和密码等等的情况。因为这种情况特别多而且繁琐,所以很多语言都有各种自己的实现…

    Linux 2023年6月14日
    092
  • Android系统中有哪些日志信息和工具

    Android系统日志和工具 我们经常需要查看设备里面的各种日志信息。所以有必要了解android系统里面有哪些日志,以及用什么方式可以提取这些日志。以我手头的红米note4xpl…

    Linux 2023年6月7日
    095
  • 使用idea操作git(ssh协议)

    问题 我们发现,使用IDEA上的git功能,当使用ssh协议出现了可以commit但无法push和pull的问题,经过测试发现原因是Could not read from rems…

    Linux 2023年6月6日
    0133
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球