美团在Redis上踩过的一些坑-5.redis cluster遇到的一些问题

灰太狼 2022-08-21 04:22 178阅读 0赞

转载请注明出处哈:[http://carlosfu.iteye.com/blog/2254154][http_carlosfu.iteye.com_blog_2254154]

--------------------

#      #

由于演讲时间有限，有关Redis-Cluster，演讲者没做太多介绍，简单的介绍了一些Redis-Cluster概念作用和遇到的两个问题，我们在Redis-Cluster也有很多运维经验，将来的文章会介绍。

但是讲演者反复强调，不要听信网上对于Redis-Cluster的毁谤（实践出真知），对于这一点我很赞同，我们从Redis-Cluster beta版 RC1~4 到现在的3.0-release均没有遇到什么大问题（线上维护600个实例）。

一、Redis-Cluster

有关Redis-Cluster的详细介绍有很多这里就不多说了，可以参考：

1. [redis-cluster研究和使用][redis-cluster]

2. [Redis Cluster 3.0.5集群实践][Redis Cluster 3.0.5]

3. [本博客的一些Redis-Cluster的介绍][Redis-Cluster](未更新完毕)

4. Redis设计与实现那本书（作者：黄建宏）：非常的推荐看这本书。

![83fb4728-95b7-38f5-9104-4c7b4eeb9bcf.jpg][]

总之Redis-Cluster是一个无中心的分布式Redis存储架构，解决了Redis高可用、可扩展等问题。

![d247a20b-e397-33b8-ba27-ba6a79c40682.jpg][]

二、两个问题：

1. Redis-Cluster主从节点不要在同一个机器部署

(1) 以我们的经验看redis实例本身基本不会挂掉，通常是机器出了问题（断电、机器故障）、甚至是机架、机柜出了问题，造成Redis挂掉。

(2) 如果Redis-Cluster的主从都在一个机器上，那么如果这台机器挂了，主从全部挂掉，高可用就无法实现。（如果full converage=true，也就意味着整个集群挂掉）

(3) 通常来讲一对主从所在机器：不跨机房、要跨机架、可以在一个机柜。

2. Redis-Cluster误判节点fail进行切换

(1) Redis-Cluster是无中心的架构，判断节点失败是通过仲裁的方式来进行（gossip和raft），也就是大部分节点认为一个节点挂掉了，就会做fail判定。

(2) 如果某个节点在执行比较重的操作（flushall, slaveof等等）（可能短时间redis客户端连接会阻塞(redis单线程)）或者由于网络原因，造成其他节点认为它挂掉了，会做fail判定。

(3) Redis-Cluster提供了cluster-node-timeout这个参数（默认15秒），作为fail依据（如果超过15秒还是没反应，就认为是挂掉了），具体可以参考这篇文章：[Redis-Cluster的FailOver失败案例分析][Redis-Cluster_FailOver]

以我们的经验看15秒完全够用。

![cc6668e0-7d71-3106-af42-046aba965ff3.jpg][]

三、未来要介绍的问题：

1. Redis-Cluster客户端实现Mget操作。

2. [Redis-Cluster--Too many Cluster redirections异常][Redis-Cluster--Too many Cluster redirections]。

3. Redis-Cluster无底洞问题解析。

4. 两个Redis-Cluster集群，meet操作问题后的恶果。

5. Redis-Cluster配置之full converage问题。

6. [Redis-Cluster故障转移测试][Redis-Cluster 1]。

7. Redis-Cluster常用运维技巧。

8. Redis-Cluster一键开通。

9. Redis-Cluster客户端jedis详解。

四、附赠一些不错的资料：

1.   [Redis-Cluster的FailOver失败案例分析][Redis-Cluster_FailOver]
2.   [Redis Cluster 迁移遇到的各种坑及解决方案][Redis Cluster]
3.   [Redis Cluster架构优化][Redis Cluster 1]
4.   [Redis常见集群方案、Codis实践及与Twemproxy比较][Redis_Codis_Twemproxy]
5.   [Redis Cluster架构优化][Redis Cluster 2]
6.  [【运维实践】鱼与熊掌：使用redis-cluster需要注意些什么？][redis-cluster 1]
7.   [Docker及和Redis Cluster的化学反应（上）By 芒果TV][Docker_Redis Cluster_By _TV]
8.   [Docker及和Redis Cluster的化学反应（下）By 芒果TV][Docker_Redis Cluster_By _TV 1]
9.   [Redis cluster使用经验——网易有道][Redis cluster]
10.  [Redis Cluster浅析和Bada对比][Redis Cluster_Bada]
11.  [互联网Redis应用场景探讨][Redis]
12.  [Redis集群技术及Codis实践][Redis_Codis]
13.  [谈Twitter的百TB级Redis缓存实践][Twitter_TB_Redis]
14.  [Hadoop、Spark、HBase与Redis的适用性讨论][Hadoop_Spark_HBase_Redis]
15. [Codis作者黄东旭细说分布式Redis架构设计和踩过的那些坑们][Codis_Redis]

[http_carlosfu.iteye.com_blog_2254154]: http://carlosfu.iteye.com/blog/2254154
[redis-cluster]: http://hot66hot.iteye.com/blog/2050676
[Redis Cluster 3.0.5]: http://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=400315209&idx=3&sn=4db6b96503aa8f9726907ba75aae7050&scene=2&srcid=11039LoaHY6uXMvS9ZnEwSP7&from=timeline&isappinstalled=0#wechat_redirect
[Redis-Cluster]: http://carlosfu.iteye.com/blog/2240426
[83fb4728-95b7-38f5-9104-4c7b4eeb9bcf.jpg]: /images/20220731/0e67f9f2adae4c2294fbc53bbe2fd3af.png
[d247a20b-e397-33b8-ba27-ba6a79c40682.jpg]: /images/20220731/e0df9053de7942819675b480022511bc.png
[Redis-Cluster_FailOver]: http://xiaoz5919.iteye.com/blog/2183833
[cc6668e0-7d71-3106-af42-046aba965ff3.jpg]: /images/20220731/884c6290a30345739d48ae3972e6b772.png
[Redis-Cluster--Too many Cluster redirections]: http://carlosfu.iteye.com/blog/2251034
[Redis-Cluster 1]: http://carlosfu.iteye.com/blog/2246647
[Redis Cluster]: http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=208060133&idx=1&sn=482812afe37a9c3c1ba8e2a2b768325d&scene=0#rd
[Redis Cluster 1]: http://blog.csdn.net/dc_726/article/details/48733265
[Redis_Codis_Twemproxy]: http://mp.weixin.qq.com/s?__biz=MzA3MDY5NjAzMw==&mid=205430639&idx=1&sn=f58e88be82134d52ea9b661a6d4b07fc&3rd=MzA3MDU4NTYzMw==&scene=6#rd
[Redis Cluster 2]: http://mp.weixin.qq.com/s?__biz=MzAwNjQwNzU2NQ==&mid=208950123&idx=2&sn=71854b5112338808595c0fd045c07967&3rd=MzA3MDU4NTYzMw==&scene=6#rd
[redis-cluster 1]: http://mp.weixin.qq.com/s?__biz=MzA3MjAyNzE1OQ==&mid=400257806&idx=1&sn=c5d5675b6ae442b08186ff5607adf1f7&3rd=MzA3MDU4NTYzMw==&scene=6#wechat_redirect
[Docker_Redis Cluster_By _TV]: http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=205944420&idx=1&sn=d46bba223bd6b72a91fbf57d5fc575e3&3rd=MzA3MDU4NTYzMw==&scene=6#rd
[Docker_Redis Cluster_By _TV 1]: http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=206308222&idx=1&sn=cf4f9e09fcc768bd9b834c55b740914c&3rd=MzA3MDU4NTYzMw==&scene=6#rd
[Redis cluster]: http://mp.weixin.qq.com/s?__biz=MzA3MDY5NjAzMw==&mid=205561145&idx=5&sn=f7b9cbc882376a8b31ba8ee0d9ac30aa&3rd=MzA3MDU4NTYzMw==&scene=6#rd
[Redis Cluster_Bada]: http://mp.weixin.qq.com/s?__biz=MjM5NzUwNDA5MA==&mid=204836798&idx=1&sn=1c51d7693e6fe70292cf6e268fc6bb2f&3rd=MzA3MDU4NTYzMw==&scene=6#rd
[Redis]: http://mp.weixin.qq.com/s?__biz=MjM5NTk0MTM1Mw==&mid=209700084&idx=2&sn=7a4d9d524db6af9b0dccd9ba78b7b2d2&3rd=MzA3MDU4NTYzMw==&scene=6#rd
[Redis_Codis]: http://mp.weixin.qq.com/s?__biz=MjM5NjQ4MjYwMQ==&mid=204950945&idx=1&sn=04dda1dbd5d178ab1c25629d4a470838&3rd=MzA3MDU4NTYzMw==&scene=6#rd
[Twitter_TB_Redis]: http://mp.weixin.qq.com/s?__biz=MzAwNjQwNzU2NQ==&mid=400157624&idx=1&sn=ed6abeefd78135d26159097828137bc7&3rd=MzA3MDU4NTYzMw==&scene=6#rd
[Hadoop_Spark_HBase_Redis]: http://mp.weixin.qq.com/s?__biz=MjM5NjMxODQ2Nw==&mid=200459350&idx=3&sn=8b7eb7512c2bb6a325db15c59215fcae&3rd=MzA3MDU4NTYzMw==&scene=6#rd
[Codis_Redis]: http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=208733458&idx=1&sn=691bfde670fb2dd649685723f7358fea&3rd=MzA3MDU4NTYzMw==&scene=6#rd