redis作为缓存场景使用，内存耗尽时，突然出现大量的逐出，在这个逐出的过程中阻塞正常的读写请求，导致 redis 短时间不可用；
redis 中的LRU是如何实现的？
逐出qps突增非常大的原因：一次需要逐出释放太多的空间会导致阻塞；具体的原因是 mem_tofree 的计算逻辑有问题；
mem_tofree 统计的是：实际已分配的内存总量 – AOF 缓冲区相关的内存；
如果这时候有rehash，会临时分配一个桶来做rehash，这部分内存未排除，所以在rehash阶段，算出来的mem_tofree 就会很大，造成一个时刻需要逐出大量的key，逐出的loop是阻塞的，这个阶段会block redis的请求；
逐出qps的计算：
freeMemoryIfNeeded(...)
// 计算出 Redis 目前占用的内存总数，但有两个方面的内存不会计算在内：
// 1）从服务器的输出缓冲区的内存
// 2）AOF 缓冲区的内存
// 3）AOF 重写缓冲区中的内存
mem_used = zmalloc_used_memory();
if (slaves) {
listIter li;
listNode *ln;
listRewind(server.slaves,&li);
while((ln = listNext(&li))) {
redisClient *slave = listNodeValue(ln);
unsigned long obuf_bytes = getClientOutputBufferMemoryUsage(slave);
if (obuf_bytes > mem_used)
mem_used = 0;
else
mem_used -= obuf_bytes;
}
}
if (server.aof_state != REDIS_AOF_OFF) {
mem_used -= sdslen(server.aof_buf);
mem_used -= aofRewriteBufferSize();
}
// 计算需要释放多少字节的内存
mem_tofree = mem_used - server.maxmemory;
propagateExpire(db,keyobj);
// 计算删除键所释放的内存数量
delta = (long long) zmalloc_used_memory();
dbDelete(db,keyobj);
delta -= (long long) zmalloc_used_memory();
mem_freed += delta;
// 对淘汰键的计数器增一
server.stat_evictedkeys++;
解决方案
github上 @Rosanta 给出的解决方案：释放内存的循环逻辑中最多执行一定次数，达到阈值了就不再逐出，到下个请求来时再释放一点空间；这个方案的好处是不会 block 整个进程，正常的业务读写请求无影响；潜在问题是可能单次写入的数据比释放的空间还大，导致总的内存是一直上升，而不是下降；
ref
Original: https://www.cnblogs.com/me115/p/8516838.html
Author: 大CC
Title: redis 突然大量逐出导致读写请求block
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/529110/
转载文章受原作者版权保护。转载请注明原作者出处！