6个常见的高并发缓存问题，你知道几个？

偏执的太偏执、 2022-12-13 04:24 140阅读 0赞

##  ##

# 点击上方“java大数据修炼之道”,选择“设为星标” #

优质文章和精品资源, 第一时间送达

# ![format_png][] #

前言

一般来说，现在的互联网应用网站或者APP，它的整体流程可以用我们这个图里展示的来表示，用户请求开始，从这个界面是最里面的浏览器和APP，到网络转发，再到应用服务，最后到存储，这纯属可能是数据库文件系统，然后再返回到界面呈现内容。

![format_png 1][]

随着互联网的普及，内容信息越来越复杂，用户数和访问量越来越大，我们的应用需要支撑更多的并发量，同时，我们的应用服务器和数据库服务器所做的计算也越来越多，但是，往往我们的应用服务器的资源是有限的，而且技术变革是缓慢的，所以每秒能接收请求次数也是有限的，或者说文件的读写也是有限的。

如何能有效利用有限的资源来提供尽可能大的吞吐量呢？一个有效的办法就是引入缓存，打破图中的标准的流程，每个环节中请求可以从缓存中直接获取目标数据并返回，从而减少他们的计算量，来有效提升响应速度，让有限的资源服务更多的用户，像我们这个图里展示的缓存的使用，它其实可以出现在1到4的各个环节中。

##  ##

缓存一致性问题

当数据时效性要求很高时，需要保证缓存中的数据与数据库中的保持一致，而且需要保证缓存节点和副本中的数据也保持一致，不能出现差异现象。

这就比较依赖缓存的过期和更新策略。一般会在数据发生更改的时，主动更新缓存中的数据或者移除对应的缓存。

![format_png 2][]

##  ##

缓存并发问题

缓存过期后将尝试从后端数据库获取数据，这是一个看似合理的流程。但是，在高并发场景下，有可能多个请求并发的去从数据库获取数据，对后端数据库造成极大的冲击，甚至导致 “雪崩”现象。

此外，当某个缓存key在被更新时，同时也可能被大量请求在获取，这也会导致一致性的问题。那如何避免类似问题呢？

我们会想到类似“锁”的机制，在缓存更新或者过期的情况下，先尝试获取到锁，当更新或者从数据库获取完成后再释放锁，其他的请求只需要牺牲一定的等待时间，即可直接从缓存中继续获取数据。

![format_png 3][]

##  ##

缓存穿透问题

缓存穿透在有些地方也称为“击穿”。很多朋友对缓存穿透的理解是：由于缓存故障或者缓存过期导致大量请求穿透到后端数据库服务器，从而对数据库造成巨大冲击。

这其实是一种误解。真正的缓存穿透应该是这样的：

在高并发场景下，如果某一个key被高并发访问，没有被命中，出于对容错性考虑，会尝试去从后端数据库中获取，从而导致了大量请求达到数据库，而当该key对应的数据本身就是空的情况下，这就导致数据库中并发的去执行了很多不必要的查询操作，从而导致巨大冲击和压力。

可以通过下面的几种常用方式来避免缓存传统问题：

1、缓存空对象

对查询结果为空的对象也进行缓存，如果是集合，可以缓存一个空的集合（非null），如果是缓存单个对象，可以通过字段标识来区分。这样避免请求穿透到后端数据库。

同时，也需要保证缓存数据的时效性。这种方式实现起来成本较低，比较适合命中不高，但可能被频繁更新的数据。

2、单独过滤处理

对所有可能对应数据为空的key进行统一的存放，并在请求前做拦截，这样避免请求穿透到后端数据库。这种方式实现起来相对复杂，比较适合命中不高，但是更新不频繁的数据。

![format_png 4][]

##  ##

缓存颠簸问题

缓存的颠簸问题，有些地方可能被称为“缓存抖动”，可以看做是一种比“雪崩”更轻微的故障，但是也会在一段时间内对系统造成冲击和性能影响。一般是由于缓存节点故障导致。业内推荐的做法是通过一致性Hash算法来解决。

##  ##

缓存的雪崩现象

缓存雪崩就是指由于缓存的原因，导致大量请求到达后端数据库，从而导致数据库崩溃，整个系统崩溃，发生灾难。

导致这种现象的原因有很多种，上面提到的“缓存并发”，“缓存穿透”，“缓存颠簸”等问题，其实都可能会导致缓存雪崩现象发生。这些问题也可能会被恶意攻击者所利用。

还有一种情况，例如某个时间点内，系统预加载的缓存周期性集中失效了，也可能会导致雪崩。为了避免这种周期性失效，可以通过设置不同的过期时间，来错开缓存过期，从而避免缓存集中失效。

从应用架构角度，我们可以通过限流、降级、熔断等手段来降低影响，也可以通过多级缓存来避免这种灾难。

此外，从整个研发体系流程的角度，应该加强压力测试，尽量模拟真实场景，尽早的暴露问题从而防范。

![format_png 5][]

##  ##

缓存无底洞现象

该问题由 facebook 的工作人员提出的， facebook 在 2010 年左右，memcached 节点就已经达3000 个，缓存数千 G 内容。

他们发现了一个问题---memcached 连接频率，效率下降了，于是加 memcached 节点，添加了后，发现因为连接频率导致的问题，仍然存在，并没有好转，称之为”无底洞现象”。

![format_png 6][]

目前主流的数据库、缓存、Nosql、搜索中间件等技术栈中，都支持“分片”技术，来满足“高性能、高并发、高可用、可扩展”等要求。

有些是在client端通过Hash取模（或一致性Hash）将值映射到不同的实例上，有些是在client端通过范围取值的方式映射的。当然，也有些是在服务端进行的。

但是，每一次操作都可能需要和不同节点进行网络通信来完成，实例节点越多，则开销会越大，对性能影响就越大。

主要可以从如下几个方面避免和优化：

1、数据分布方式

有些业务数据可能适合Hash分布，而有些业务适合采用范围分布，这样能够从一定程度避免网络IO的开销。

2、IO优化

可以充分利用连接池，NIO等技术来尽可能降低连接开销，增强并发连接能力。

3、数据访问方式

一次性获取大的数据集，会比分多次去获取小数据集的网络IO开销更小。

当然，缓存无底洞现象并不常见。在绝大多数的公司里可能根本不会遇到。

![format_png 7][]

**推荐阅读：**

#### 1、[建议收藏 | Redis 使用 10 个小技巧][_ Redis _ 10]     2、[面试必问的一致性Hash在负载均衡中的应用][Hash]  3、[项目中常用的19条MySQL优化][19_MySQL]  4、[单怼多线程，60道面试题，你能答上几个？（附答案）][60]  5、[这21 个刁钻的HashMap 面试题，我把阿里面试官吊打了！][21 _HashMap]  6、[Java开发必须掌握的 20+ 种 Spring 常用注解][Java_ 20_ _ Spring]     7、[老要求用java将word转为PDF，这么搞？][java_word_PDF]     8、[Redis分布式锁没用明白，搞出了大故障…][Redis]  9、[程序员面试 10 大潜规则，千万不要踩坑！][10]     10、[*【收藏了】10分钟读懂进程线程、同步异步、阻塞非阻塞、并发并行*][10 1] ####

**看完有收获?请转发分享给更多有需要的人**

关注 java大数据修炼之道

每天学习java技术，你想学的Java知识这里都有!**![format_png 8][]**

![format_png 9][]微信扫描二维码，关注我的公众号

写留言

![format_png 10][] **你在看吗？**

[format_png]: /images/20221123/dee79fb74a3a4658a0cd200954514611.png
[format_png 1]: /images/20221123/ef9f511f3f954604b8de8129113b2732.png
[format_png 2]: /images/20221123/4762e0fa10164bfb87938e925289de1c.png
[format_png 3]: /images/20221123/396562a89a424e8e8c16e9178c782974.png
[format_png 4]: /images/20221123/f73a7c6cef8a434c94738dd9a05f05ff.png
[format_png 5]: /images/20221123/8444144814824f73bb93396bf4ca5c80.png
[format_png 6]: /images/20221123/4158a0461df14900b0f3d3c13de4a427.png
[format_png 7]: /images/20221123/0ca636f366724ea2a8286ec69a45b563.png
[_ Redis _ 10]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc22e05ccb5a713216d76a47efd7e4144ab9be9616235630f5f4edea4c8615182203fb8ef74&idx=1&mid=2247491785&scene=21&sn=a8cae67660d5733f1da6003c50d3529f#wechat_redirect
[Hash]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc22d53ccb5a4458368c5034905386313cc8eaf10dad2ba864989c613ae17febd1d1bfb91e3&idx=1&mid=2247492511&scene=21&sn=27c655b7b71e5a98abd810fd6f395450#wechat_redirect
[19_MySQL]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc22c17ccb5a501df41ddeaecf0f7e85e292b45d6c7522e4d6a4d9c4a93a389338ee175eae8&idx=1&mid=2247492315&scene=21&sn=37c6888e30892c7fae56d0769c35a571#wechat_redirect
[60]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc1d557ccb65c41ec5d3b7dedd6c7a22949ddcb5de1406de482c3b702a1a4768c66b730b219&idx=1&mid=2247490459&scene=21&sn=66bc23ae41a8abcb9a6f00be754b2e47#wechat_redirect
[21 _HashMap]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc1d429ccb65d3fc4be6ab008e4318d3beeccb1394801c72e33cbb9fd162868dce2b9b0c0f2&idx=1&mid=2247490277&scene=21&sn=63d44db7ae6930f25478119f423227d4#wechat_redirect
[Java_ 20_ _ Spring]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc22d67ccb5a471b0eb2969ac654b6d01b0c93d9c317164658f0486d5420f585c12599c56bd&idx=1&mid=2247492523&scene=21&sn=0c62a1d6bd02b85bc027d607286199b0#wechat_redirect
[java_word_PDF]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc22dc7ccb5a4d1b94f2a9bbce26082c9f845fbbf7d588a5540d072bcef39b2281d0b705f91&idx=1&mid=2247492363&scene=21&sn=6975a1a5de92dc49d04654f21ffa7c21#wechat_redirect
[Redis]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc1d038ccb6592e2d08ccd07a31a069ebbfc64d9abd2d1cfd88dba5efc1439f14cc78392bf3&idx=1&mid=2247491316&scene=21&sn=59fdccb5447abec7e33c881110c5be1f#wechat_redirect
[10]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc22cc6ccb5a5d09ec368b85dfe087d1b68f6ccbf67d7275356f64f203d353dcba684b4012e&idx=1&mid=2247492106&scene=21&sn=e25c3eea649006f34fd6f5cb62ea78be#wechat_redirect
[10 1]: http://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ%3D%3D&chksm=fbc1d748ccb65e5e8bfe2334dac9c4a1678fa77a4b1c6bb230fb4442682c36120cfb8d8941ae&idx=1&mid=2247489924&scene=21&sn=40b4b841430ae75879b25545291dbf0a#wechat_redirect
[format_png 8]: /images/20221123/8a22c81c1201417d8ff4af7c18f9e8b3.png
[format_png 9]: /images/20221123/5d8c955c6b03436fb3bd76afdb817e60.png
[format_png 10]: /images/20221123/c8a1d1497c4544ceb84a47c18f174235.png