1. Johngo学长首页
  2. 技术点详细复盘专题
  3. 数据结构和算法

SpringBoot 中使用Redis Stream 实现消息监听

• 数据结构和算法 • 阅读 132

SpringBoot 中使用Redis Stream 实现消息监听

视频介绍

SpringBoot 中使用Redis Stream 实现消息监听

Demo环境

  • JDK8
  • Maven3.6.3
  • springboot2.4.3
  • *redis_version:6.2.1

仓库地址

https://gitee.com/hlovez/redismq.git.

POM依赖


<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0modelVersion>
    <parent>
        <groupId>org.springframework.bootgroupId>
        <artifactId>spring-boot-starter-parentartifactId>
        <version>2.4.3version>
        <relativePath/>
    parent>
    <groupId>vip.huhailonggroupId>
    <artifactId>redismqartifactId>
    <version>0.0.1-SNAPSHOTversion>
    <name>redismqname>
    <description>base redis stream mqdescription>
    <properties>
        <java.version>1.8java.version>
    properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.bootgroupId>
            <artifactId>spring-boot-starterartifactId>
        dependency>
        <dependency>
            <groupId>org.springframework.bootgroupId>
            <artifactId>spring-boot-starter-webartifactId>
        dependency>
        <dependency>
            <groupId>org.projectlombokgroupId>
            <artifactId>lombokartifactId>
        dependency>
        <dependency>
            <groupId>org.springframework.bootgroupId>
            <artifactId>spring-boot-starter-data-redisartifactId>
        dependency>

        <dependency>
            <groupId>org.springframework.bootgroupId>
            <artifactId>spring-boot-starter-testartifactId>
            <scope>testscope>
        dependency>
    dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.bootgroupId>
                <artifactId>spring-boot-maven-pluginartifactId>
            plugin>
        plugins>
    build>

project>

这里是一个简单的Demo，所以关于redis的一些序列化配置就省略了。

配置监听消息类

配置监听消息类，这里类需要实现StreamListener接口，该接口下只有一个要实现的方法——onMessage方法，代码：

package vip.huhailong.redismq.redistool;

import lombok.extern.slf4j.Slf4j;
import org.springframework.data.redis.connection.stream.MapRecord;
import org.springframework.data.redis.stream.StreamListener;
import org.springframework.stereotype.Component;

@Slf4j
@Component
public class ListenerMessage implements StreamListener<String, MapRecord<String, String, String>> {

    @Override
    public void onMessage(MapRecord<String, String, String> entries) {
        log.info("接受到来自redis的消息");
        System.out.println("message id "+entries.getId());
        System.out.println("stream "+entries.getStream());
        System.out.println("body "+entries.getValue());
    }

}

配置完该类后我们再创建一个类将该监听器注入进去，代码：

package vip.huhailong.redismq.config;

import lombok.var;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.connection.stream.Consumer;
import org.springframework.data.redis.connection.stream.ReadOffset;
import org.springframework.data.redis.connection.stream.StreamOffset;
import org.springframework.data.redis.stream.StreamMessageListenerContainer;
import org.springframework.data.redis.stream.Subscription;
import vip.huhailong.redismq.redistool.ListenerMessage;

import java.time.Duration;

@Configuration
public class RedisStreamConfig {

    @Autowired
    private ListenerMessage streamListener;

    @Bean
    public Subscription subscription(RedisConnectionFactory factory){
        var options = StreamMessageListenerContainer
                .StreamMessageListenerContainerOptions
                .builder()
                .pollTimeout(Duration.ofSeconds(1))
                .build();
        var listenerContainer = StreamMessageListenerContainer.create(factory,options);
        var subscription = listenerContainer.receiveAutoAck(Consumer.from("mygroup","huhailong"),
                StreamOffset.create("mystream", ReadOffset.lastConsumed()),streamListener);
        listenerContainer.start();
        return subscription;
    }
}

代码分析：

  1. 首先将我们实现了StreamListener的监听器类注入。
  2. subscription方法返回的是一个Subscription类型，它是与当前正在运行任务的链接，可以理解为订阅的链接，它有俩个方法
  3. boolean await(Duration timeout): 当订阅变为活动或超时时，同步阻塞呼叫将返回
  4. boolean isActive(): 如果当前正在订阅则为true
  5. 代码中的var是使用了Lombok的可变局部变量。主要是为了方便
  6. StreamMessageListenerContainer: 消息侦听容器，不能在外部实现。创建后，StreamMessageListenerContainer可以订阅Redis流并使用传入的消息。 StreamMessageListenerContainer允许多个流读取请求，并为每个读取请求返回一个Subscription句柄。取消订阅最终将终止后台轮询。使用键和值序列化器转换消息以支持各种序列化策略。具体文档
  7. StreamMessageListenerContainerOptions: 它是上面4的选项，代码中pollTimeout表示轮询超时时间
  8. create方法使用给定的RedisConnectionFactory和上面的配置选项创建侦听器。
  9. 接下来使用receiveAutoAck创建一个新订阅，注意这里接受到消息后会被自动的确认，如果不想自动确认请使用其他的创建订阅方式。该方法共有三个参数
  10. 消费组 consumer group ，它不能为null （Consumer类型）
  11. stream offset ，stream的偏移量（StreamOffset 类型）
  12. listener 不能为null （StreamListener 代码中表示消费者来自名称为mygroup的组，消费者名称为huhailong，这里偏移量设置为了lastConsumed，它表示读取ID大于消费者组使用的最后一个元素的所有新到达的元素。

现在就可以运行项目来验证了，将项目运行起来后通过终端给对应key的stream添加一条消息

> XADD mystream * message springboot

这时可以看到spring boot的控制台打印除了一下消息：

message id 1615532778588-0
stream mystream
body {message=springboot}

说明侦听成功，它会一直处于监听状态，只要对应key的stream添加了新的消息都会被侦听到，到此也就简单的实现了消息队列功能。

监听俩个stream的实现

有网友想实现俩个或俩个以上的stream监听，可以这样实现（有其他更好的方法请留言评论，谢谢）
在上面监听一个stream的基础上在RedisStreamConfig类里增加监听方法，如下：

@Configuration
public class RedisStreamConfig {

    @Autowired
    private ListenerMessage streamListener;

    @Bean
    public Subscription subscription(RedisConnectionFactory factory){
        var options = StreamMessageListenerContainer
                .StreamMessageListenerContainerOptions
                .builder()
                .pollTimeout(Duration.ofSeconds(1))
                .build();
        initStream("mystream","mygroup");
        var listenerContainer = StreamMessageListenerContainer.create(factory,options);
        var subscription = listenerContainer.receiveAutoAck(Consumer.from("mygroup","huhailong"),
                StreamOffset.create("mystream", ReadOffset.lastConsumed()),streamListener);
        listenerContainer.start();
        return subscription;
    }

    @Bean
    public Subscription subscription2(RedisConnectionFactory factory){
        var options = StreamMessageListenerContainer
                .StreamMessageListenerContainerOptions
                .builder()
                .pollTimeout(Duration.ofSeconds(1))
                .build();
        initStream("mystream","mygroup");
        var listenerContainer = StreamMessageListenerContainer.create(factory,options);
        var subscription = listenerContainer.receiveAutoAck(Consumer.from("mygroup","huhailong"),
                StreamOffset.create("mystream2", ReadOffset.lastConsumed()),streamListener);
        listenerContainer.start();
        return subscription;
    }
}

记得创建该stream和对应的组，让后启动程序，在控制台模拟添加数据，如图：

SpringBoot 中使用Redis Stream 实现消息监听
然后idea控制台的打印可以看到分别接收到了来自不同的stream的消息
SpringBoot 中使用Redis Stream 实现消息监听
其他类和配置与监听一个的时候相同，不需要改变。

【问题补充】确认完消息删除消息

消息确认完后消息实际上没有在redis中消失，这也是redis stream中的一个特性，如果要想真正的删除该消息，需要我们进行指定字段ID删除，如下：

在RedisUtil中添加删除方法：

public void delField(String key, String fieldId){
        redisTemplate.opsForStream().delete(key,fieldId);
}

然后再ListenerMessage中的onMessage方法里处理完消息后添加删除该消息的方法：

@Component
public class ListenerMessage implements StreamListener<String, MapRecord<String, String, String>> {

    @Autowired
    RedisUtil redisUtil;

    @Override
    public void onMessage(MapRecord<String, String, String> entries) {
        log.info("接受到来自redis的消息");
        System.out.println("message id "+entries.getId().getValue());
        System.out.println("stream "+entries.getStream());
        System.out.println("body "+entries.getValue());

        redisUtil.delField("mystream",entries.getId().getValue());
    }

}

【问题补充】自动初始化stream的key和group问题-最新更新-2021年12月4日

最近看到评论大部分有报找不到key和group的错信息，这个是因为没有初始化导致的，当时在写这个demo的时候为了简单测试直接写死了我已经存在的key和group，部分朋友不知道这个是需要初始化的，所以我更新了一下代码，增加了初始化key和group的方法，这样大家直接运行代码就可以了，不需要在做多余的操作。
RedisUtil中增加增加的代码：

public RecordId addStream(String key, Map<String,Object> message){
        RecordId add = redisTemplate.opsForStream().add(key, message);
        return add;
    }

public void addGroup(String key, String groupName){
     redisTemplate.opsForStream().createGroup(key,groupName);
 }

public boolean hasKey(String key){
     if(key==null){
         return false;
     }else{
         return redisTemplate.hasKey(key);
     }

 }

然后再RedisStreamConfig中增加初始化方法，这里注意要判断key是否存在：

private void initStream(String key, String group){

    boolean hasKey = redisUtil.hasKey(key);
    if(!hasKey){
        Map<String,Object> map = new HashMap<>();
        map.put("field","value");
        RecordId recordId = redisUtil.addStream(key, map);
        redisUtil.addGroup(key,group);

        redisUtil.delField(key,recordId.getValue());
        log.info("stream:{}-group:{} initialize success",key,group);
    }
}

然后再上面配置监听的方法里调用这个初始化方法就可以了

@Bean
    public Subscription subscription(RedisConnectionFactory factory){
        var options = StreamMessageListenerContainer
                .StreamMessageListenerContainerOptions
                .builder()
                .pollTimeout(Duration.ofSeconds(1))
                .build();
        initStream("mystream","mygroup");
        var listenerContainer = StreamMessageListenerContainer.create(factory,options);
        var subscription = listenerContainer.receiveAutoAck(Consumer.from("mygroup","huhailong"),
                StreamOffset.create("mystream", ReadOffset.lastConsumed()),streamListener);
        listenerContainer.start();
        return subscription;
    }

https://gitee.com/hlovez/redismq.git已更新，有疑问的小伙伴可以留言评论，如果有帮助到你，记得点个赞（嘻嘻），代码已优化整理上传，整理信息请看这篇文章SpringBoot 中使用Redis Stream 实现消息监听优化

Original: https://www.cnblogs.com/hhl1011/p/16336429.html
Author: 胡海龙
Title: SpringBoot 中使用Redis Stream 实现消息监听

原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/588015/

转载文章受原作者版权保护。转载请注明原作者出处！

赞 (0)
0

【自取】最近整理的，有需要可以领取学习：



Linux核心资料大放送~

全栈面试题汇总（持续更新&可下载）

一个提高学习100%效率的工具！

【超详细】深度学习面试题目！

LeetCode Python刷题答案下载！

LeetCode Java版刷题答案下载！

LeetCode C++ 版本，抓紧保存！

LeetCode GO语言 刷题答案下载！

大家都在看

亲爱的 Coder【最近整理，可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球