Redis 缓存更新一致性

在使用 Redis 作为数据库缓存的场景中对数据的读取流程通常是先读取缓存如果命中则返回,未命中则从数据库读取并把数据写到缓存中。

当更新数据时则数据库和缓存都要进行更新,此时我们要考虑两个问题:删除缓存还是更新缓存?先更新缓存还是先更新数据库?

  • 删除缓存: 删除旧缓存后,读取时会因为未命中缓存而从数据库中读取新的数据并更新到缓存中
  • 更新缓存: 直接将新的数据写入缓存覆盖过期数据

更新缓存和更新数据库有两种顺序:

  • 先数据库后缓存
  • 先缓存后数据库

两两组合共有四种更新策略:

  • 先更新数据库,再删除缓存
  • 先更新数据库,再更新缓存
  • 先删除缓存,再更新数据库
  • 先更新缓存,再更新数据库

先说结论:

在没有 CAS、分布式锁等机制的保护的情况下,四种更新方式都会在并发执行时出现不一致状态。

并发问题通常由于后开始的线程却先完成操作导致,我们把这种现象称为”抢跑”。 抢跑现象的实质是由于线程调度、网络抖动等原因导致多个线程以错误的时序运行引发的异常。它与并发量无直接关系,在较低的并发量下依然可能有抢跑现象存在。

下面我们逐一分析四种策略中”抢跑”带来的错误。

先更新数据库,再删除缓存

若数据库更新成功,删除缓存操作失败,则此后读到的都是缓存中过期的数据,造成不一致问题。

可能存在读写线程竞争导致的并发错误:

时间 线程A 线程B 数据库 缓存 1 缓存失效 v1 null 2 从数据库读取v1 v1 null 3 更新数据库 v2 null 4 删除缓存 v2 null 5 写入缓存 v2 v1

先更新数据库,再更新缓存

同删除缓存策略一样,若数据库更新成功缓存更新失败则会造成数据不一致问题。

该策略同样存在读写线程竞争导致数据不一致的问题:

时间 线程A 线程B 数据库 缓存 1 缓存失效 v1 null 2 从数据库读取v1 v1 null 3 更新数据库 v2 null 4 写入缓存 v2 v2 5 写入缓存 v2 v1

也可能因为两个写线程竞争导致并发错误:

时间 线程A 线程B 数据库 缓存 0 v0 v0 1 更新数据库为 v1 v1 v0 2 更新数据库为 v2 v2 v0 3 更新缓存为 v2 v2 v2 4 更新缓存为 v1 v2 v1

先删除缓存,再更新数据库

读写线程竞争可能导致并发错误:

时间 线程A 线程B 数据库 缓存 1 删除缓存 v1 null 2 缓存失效 v1 null 3 从数据库读取v1 v1 null 4 更新数据库为v2 v2 null 5 将v1写入缓存 v2 v1

先更新缓存,再更新数据库

若缓存更新成功数据库更新失败, 则此后读到的都是未持久化的数据。因为缓存中的数据是易失的,这种状态非常危险。

因为数据库中存在的键约束导致数据库写入失败的可能性较高,所以发生上述错误的概率会进一步升高。

该策略同样存在读写线程竞争导致的错误:

时间 线程A 线程B 数据库 缓存 1 缓存失效 v1 null 2 从数据库读取v1 v1 null 3 更新缓存 v1 v2 4 写入数据库 v2 v2 5 写入缓存 v2 v1

两个写线程竞争也会导致数据不一致:

时间 线程A 线程B 数据库 缓存 0 v0 v0 1 更新缓存为 v1 v0 v1 2 更新缓存为 v2 v0 v2 3 更新数据库为 v2 v2 v2 4 更新数据库为 v1 v1 v2

使用 CAS

CAS (Check-And-Set 或 Compare-And-Swap)是一种常见的保证并发安全的手段。CAS 当且仅当客户端最后一次取值后该 key 没有被其他客户端修改的情况下,才允许当前客户端将新值写入。

func CAS(oldVal, newVal) {
    if cache.get() == oldVal {
        cache.set(newVal)
    }
}

我们以上文提到的「先更新数据库,再更新缓存」方案中两个写线程竞争为例,尝试使用 CAS 来解决这个并发问题:

时间 线程A 线程B 数据库 缓存 0 v0 v0 1 更新数据库为 v1 v1 v0 2 更新数据库为 v2 v2 v0 3 执行 CAS 操作:当且仅当缓存中为 v0 时将 v2 写入缓存 v2 v2 4 执行 CAS 操作:当且仅当缓存中为 v0 时将v1写入缓存。当前缓存为 v2 故放弃写缓存 v2 v2

由上图可见,CAS 可以有效的避免并发错误的发生。

目前一些兼容 Redis 协议的中间件已经提供了 CAS 命令的支持,比如阿里的 Tair 以及腾讯的 Tendis。

Redis 官方提供了 Watch + 事务的方法来支持 CAS, 或者使用 redis 中 lua 脚本原子性执行的特点来实现 CAS。 不过由于代码较为复杂,这两种方案都不常见。

使用分布式锁

CAS 假设发生并发问题的概率不大, 所以 CAS 也被称为乐观锁。那么悲观锁能否解决我们的问题呢?

还是以「先更新数据库,再更新缓存」方案中两个写线程竞争为例, 我们要求任何线程在写入或读取数据库前都需要获取排它锁。

时间 线程A 线程B 数据库 缓存 0 v0 v0 1 获取排它锁 v0 v0 2 更新数据库为 v1 v1 v0 3 更新缓存为 v1 v1 v1 4 等待排它锁 v1 v1 5 释放排它锁 v1 v1 6 获得排它锁 v1 v1 7 更新数据库为 v2 v2 v1 8 更新缓存为 v2 v2 v2 9 释放排它锁 v2 v2

分布式锁同样可以解决并发问题,只是成本可能略高。

监听 binlog 进行异步更新

阿里开源了 MySQL 数据库binlog的增量订阅和消费组件 – canal。 canal 模拟从库获得主库的 binlog 更新,然后将更新数据写入 MQ 或直接进行消费。

我们可以让API服务器只负责写入数据库,另一个线程订阅数据库 binlog 增量进行缓存更新。

因为 binlog 是有序的,因此可以避免两个写线程竞争。但我们仍然需要解决读写线程竞争的问题:

时间 读线程 写线程 异步线程 数据库 缓存 1 缓存失效 v1 null 2 从数据库读取v1 v1 null 3 更新数据库为v2 v2 null 4 删除缓存/更新缓存 v2 null 5 写入缓存 v2 v1

这里同样可以 CAS 解千愁:

时间 读线程 写线程 异步线程 数据库 缓存 1 缓存失效 v1 null 2 从数据库读取v1 v1 null 3 更新数据库为v2 v2 null 4 更新缓存 v2 v2 5 CAS 若缓存为 null 则写入 v1。放弃更新 v2 v2

延时双删

使用删除缓存策略时读线程先开始却后写缓存会导致不一致,那么我们在读线程结束后再次清除缓存是不是就可以解除错误状态了?

时间 线程A 线程B 数据库 缓存 1 缓存失效 v1 null 2 从数据库读取v1 v1 null 3 更新数据库 v2 null 4 删除缓存 v2 null 5 写入缓存 v2 v1 6 延时一段时间后,再次删除缓存 v2 null

延时双删就是写线程等待一段时间”确保”读线程都结束后再次删除缓存,以此清除可能的错误缓存数据。

理论上我们无法给出一个时间来”确保”读线程都结束,所以仍有存在并发问题的可能。但是延时双删实现成本很低而且极大的减少了并发问题出现的概率,不失为一种简单实用的手段。

Original: https://www.cnblogs.com/Finley/p/12615111.html
Author: -Finley-
Title: Redis 缓存更新一致性

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/529398/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • 【已解决】wordpress 修改固定链接 伪静态URL出现nginx 404错误

    一、站点设置 打开站点设置,选择伪静态,选择wordpress 二、wordpress设置 打开wordpress后台,选择 设置 —》固定链接 选择一个你喜欢的格式点…

    Linux 2023年6月14日
    0130
  • 重写并自定义依赖的原生的Bean方法

    转载请注明出处: 在项目开发过程中,往往是直接应用很多jar包中依赖且声明好的Bean,拿来即用,但很多场景也需要对这些原生的Bean 进行自定义,定制化封装,这样在项目使用的过程…

    Linux 2023年6月15日
    0147
  • 【论文笔记】(FGSM)Explaining and Harnessing Adversarial Examples

    本文发表于 ICLR 2015,提出了经典的攻击方法 – FGSM(Fast Gradient Sign Method),这篇博客的第1-5节为重点部分,包括原文第5节…

    Linux 2023年6月7日
    0137
  • 【Leetcode】62. 不同路径

    一个机器人位于一个 m x n网格的左上角 (起始点在下图中标记为 “Start” )。 机器人每次只能向下或者向右移动一步。机器人试图达到网格的右下角(在…

    Linux 2023年6月6日
    0128
  • node-java的使用及源码分析

    上篇文章简单提了下node调用java的方法但也只属于基本提了下怎么输出helloworld的层度,这次将提供一些案例和源码分析让我们更好地了解如何使用node-java库。 前置…

    Linux 2023年6月14日
    0124
  • 【根文件系统】根文件系统是什么?

    简介 根文件系统也叫roofs,它不同于FATFS、FAT和EXT4,更像是一个文件夹或者目录。根目录和子目录中会有很多的文件,这些文件时Linux运行所必须的,比如库、常用软件和…

    Linux 2023年6月13日
    0118
  • nginx配置文件讲解及示例(可复制)

    【示例一】 运行用户 user www-data; 启动进程,通常设置成和cpu的数量相等 worker_processes 1; 全局错误日志及PID文件 error_log /…

    Linux 2023年6月6日
    097
  • 多态

    一.相关定义 1-1 多态 多态是同一个行为具有多个不同表现形式或形态的能力。同一个形参类型为基类的接口,使用不同的子类的实例可以执行不同操作。 1-2 绑定 绑定:将一个方法调用…

    Linux 2023年6月8日
    0106
  • 一篇文章剖析设计模式中的简单工厂、工厂方法和抽象工厂

    前言 大部分的面试者在IT行业面试中,提及设计模式,可以列举一大堆,但是面试官要求细说的时候,往往部分基础不够牢固的同学只能提及简单工厂。今天我们来对面试过程中最常见的简单工厂、工…

    Linux 2023年6月13日
    0128
  • 解决微信Windows客户端无法播放视频问题

    问题描述 我的Windows端微信版本是3.6.0,更新后点开视频,没有播放按钮出现,并且过一会就会卡死,并且整个微信程序崩掉。 问题解决 后来发现,是微信客户端的 播放器插件问题…

    Linux 2023年6月14日
    0422
  • Linux系统卡死后紧急处理

    前言:Linux系统卡死了的情况有很多,最常见的是系统负载过高导致的。还可以运行内存耗用极大的程序(如虚拟机),也会迅速提升系统负载。注意:不能再试图依赖任何图形界面的东西,如 G…

    Linux 2023年6月7日
    0122
  • Tensorflow-逻辑斯蒂回归

    1.交叉熵 逻辑斯蒂回归这个模型采用的是交叉熵,通俗点理解交叉熵 推荐一篇文章讲的很清楚: 因此,交叉熵越低,这个策略就越好,最低的交叉熵也就是使用了真实分布所计算出来的信息熵,因…

    Linux 2023年6月6日
    0103
  • 演示webuploader和cropperjs图片裁剪上传

    最近有个项目要在浏览器端裁剪并上传图片。由于缺乏人力,只能我上阵杀敌。通过参考各种文章,最后决定用cropperjs进行图片裁剪,用webuploader上传文件。本文涉及到的知识…

    Linux 2023年6月6日
    0127
  • WEB自动化-11-数据驱动

    11 数据驱动 数据驱动是测试框架中一个非常好的功能,使用数据驱动,可以在不增加代码量的情况下生成不同的测试策略。下面我们来看看在Cypress中的数据驱动使用方法。 11.1 数…

    Linux 2023年6月7日
    0136
  • AOP实现系统告警

    工作群里的消息怕过于安静,又怕过于频繁 一、业务背景 在开发的过程中会遇到各种各样的开发问题,服务器宕机、网络抖动、代码本身的bug等等。针对代码的bug,我们可以提前预支,通过发…

    Linux 2023年6月13日
    0116
  • Nginx基础入门篇(1)—优势及安装

    一、Nginx 的优势 1.1发展趋势: 2016年: 1.2、简介 Nginx (engine x) 是一个高性能的HTTP(解决C10k的问题)和反向代理服务器,也是一个IMA…

    Linux 2023年6月6日
    0121
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球