【转载】 Redis缓存穿透、缓存雪崩、redis并发问题

港控/mmm° 2022-03-07 16:00 222阅读 0赞

本文系转载，多个文章内容组合，源头为  
击穿/穿透：[http://blog.csdn.net/kl1106/article/details/79478901][http_blog.csdn.net_kl1106_article_details_79478901]  
雪崩：[http://blog.csdn.net/qq\_36858183/article/details/78424690][http_blog.csdn.net_qq_36858183_article_details_78424690]  
热点key:[http://carlosfu.iteye.com/blog/2269678][http_carlosfu.iteye.com_blog_2269678]  
[https://blog.csdn.net/wang0112233/article/details/79558612][https_blog.csdn.net_wang0112233_article_details_79558612]

Redis作为缓存可以加快应用访问，提高系统性能。但是使用Redis时，也可能会碰到一系列问题，尤其是当数据量很大时，经典的几个问题如下：

# 1 缓存穿透 #

缓存系统，按照KEY去查询VALUE,当KEY对应的VALUE一定不存在的时候并对KEY并发请求量很大的时候，就会对后端造成很大的压力。

（查询一个必然不存在的数据。比如project表，查询一个不存在的id，每次都会访问DB，如果有人恶意破坏，很可能直接对DB造成影响。）

由于缓存中没有数据，每次都要查询持久层。这就失去了缓存的意义。

#### 解决方法： ####

1、缓存层缓存空值。  
— 缓存太多空值，占用更多空间。（优化：给个空值过期时间）  
— 存储层更新代码了，缓存层还是空值。（优化：后台设置时主动删除空值，并缓存把值进去）

2、将数据库中所有的查询条件，放到bloomfilter中。当一个查询请求来临的时候，先经过布隆过滤器进行检查，如果请求存在这个条件中，那么继续执行，如果不在，直接丢弃。

3，使用互斥锁排队  
比较普遍的一种做法，即根据key获取value值为空时，加上分布式锁，从数据库中load数据后再释放分布式锁。若其它线程获取锁失败，则等待一段时间后重试。这里要注意，分布式环境中要使用分布式锁，单机的话用普通的锁（synchronized、Lock）就够了。

4， 接口限流与熔断、降级  
重要的接口一定要做好限流策略，防止用户恶意刷接口，同时要降级准备，当接口中的某些服务不可用时候，进行熔断，失败快速返回机制。

备注：  
比如数据库中有10000个条件，那么布隆过滤器的容量size设置的要稍微比10000大一些，比如12000.

对于误判率的设置，根据实际项目，以及硬件设施来具体决定。但是一定不能设置为0，并且误判率设置的越小，哈希函数跟数组长度都会更多跟更长，那么对硬件，内存中间的要求就会相应的高。

private static BloomFilter bloomFilter = BloomFilter.create(Funnels.integerFunnel(), size, 0.0001);

有了size跟误判率，那么布隆过滤器就会产生相应的哈希函数跟数组。

综上：我们可以利用布隆过滤器，将redis缓存击穿控制在一个可容忍的范围内。

# 2 缓存雪崩（缓存失效） #

如果缓存集中在一段时间内失效，发生大量的缓存穿透，所有的查询都落在数据库上，造成了缓存雪崩。缓存层宕掉后，流量会像奔逃的野牛一样，打向后端存储

#### 解决方法： ####

1.  在缓存失效后，通过加锁或者队列来控制读数据库写缓存的线程数量。比如对某个key只允许一个线程查询数据和写缓存，其他线程等待。
2.  可以通过缓存reload机制，预先去更新缓存，再即将发生大并发访问前手动触发加载缓存
3.  不同的key，设置不同的过期时间，让缓存失效的时间点尽量均匀
4.  做二级缓存，或者双缓存策略。A1为原始缓存，A2为拷贝缓存，A1失效时，可以访问A2，A1缓存失效时间设置为短期，A2设置为长期。

# 3 热点key #

(1) 这个key是一个热点key（例如一个重要的新闻，一个热门的八卦新闻等等），所以这种key访问量可能非常大。

(2) 缓存的构建是需要一定时间的。（可能是一个复杂计算，例如复杂的sql、多次IO、多个依赖(各种接口)等等）

于是就会出现一个致命问题：在缓存失效的瞬间，有大量线程在构建缓存，造成后端负载加大，甚至可能会让系统崩溃 。

#### 解决方法： ####

1.  使用互斥锁(mutex key):这种解决方案思路比较简单，就是只让一个线程构建缓存，其他线程等待构建缓存的线程执行完，重新从缓存获取数据就可以了
2.  "提前"使用互斥锁(mutex key)：在value内部设置1个超时值(timeout1), timeout1比实际的memcache timeout(timeout2)小。当从cache读取到timeout1发现它已经过期时候，马上延长timeout1并重新设置到cache。然后再从数据库加载数据并设置到cache中。
3.  “永远不过期”：  
    这里的“永远不过期”包含两层意思：  
    (1) 从redis上看，确实没有设置过期时间，这就保证了，不会出现热点key过期问题，也就是“物理”不过期。  
    (2) 从功能上看，如果不过期，那不就成静态的了吗？所以我们把过期时间存在key对应的value里，如果发现要过期了，通过一个后台的异步线程进行缓存的构建，也就是“逻辑”过期
4.  资源保护：可以做资源的隔离保护主线程池，如果把这个应用到缓存的构建也未尝不可。

四种方案对比：  
作为一个并发量较大的互联网应用，我们的目标有3个:  
1. 加快用户访问速度，提高用户体验。  
2. 降低后端负载，保证系统平稳。  
3. 保证数据“尽可能”及时更新(要不要完全一致，取决于业务，而不是技术。)

# 4 缓存和数据库间数据一致性问题 #

分布式环境下容易出现缓存和数据库中数据不一致性问题，就一致性而言，如果业务对缓存的要求是强一致性的，那么不要使用缓存。我们只能采取合适的策略来降低缓存和数据库间数据不一致的概率，而无法保证两者间的强一致性。合适的策略包括 合适的缓存更新策略（例如我们定期从公司级别用户系统同步一些用户的profile信息到本系统中），更新数据库后要及时更新缓存（业务中的主要操作CUD都要更新对应的缓存信息，并且还有重建所有缓存功能）、缓存失败时增加重试机制（访问缓存失败时，可以直接访问对应业务，并且要重建对应的缓存）等等

总结

1.  热点key + 过期时间 + 复杂的构建缓存过程 => mutex key问题
2.  构建缓存一个线程做就可以了。

[http_blog.csdn.net_kl1106_article_details_79478901]: http://blog.csdn.net/kl1106/article/details/79478901
[http_blog.csdn.net_qq_36858183_article_details_78424690]: http://blog.csdn.net/qq_36858183/article/details/78424690
[http_carlosfu.iteye.com_blog_2269678]: http://carlosfu.iteye.com/blog/2269678
[https_blog.csdn.net_wang0112233_article_details_79558612]: https://blog.csdn.net/wang0112233/article/details/79558612