美团在Redis上踩过的一些坑-5.redis cluster遇到的一些问题

灰太狼 2022-08-21 04:22 240阅读 0赞

转载请注明出处哈:http://carlosfu.iteye.com/blog/2254154


#

由于演讲时间有限,有关Redis-Cluster,演讲者没做太多介绍,简单的介绍了一些Redis-Cluster概念作用和遇到的两个问题,我们在Redis-Cluster也有很多运维经验,将来的文章会介绍。

但是讲演者反复强调,不要听信网上对于Redis-Cluster的毁谤(实践出真知),对于这一点我很赞同,我们从Redis-Cluster beta版 RC1~4 到现在的3.0-release均没有遇到什么大问题(线上维护600个实例)。

一、Redis-Cluster

有关Redis-Cluster的详细介绍有很多这里就不多说了,可以参考:

  1. redis-cluster研究和使用

  2. Redis Cluster 3.0.5集群实践

  3. 本博客的一些Redis-Cluster的介绍(未更新完毕)

  4. Redis设计与实现那本书(作者:黄建宏):非常的推荐看这本书。

83fb4728-95b7-38f5-9104-4c7b4eeb9bcf.jpg

总之Redis-Cluster是一个无中心的分布式Redis存储架构,解决了Redis高可用、可扩展等问题。

d247a20b-e397-33b8-ba27-ba6a79c40682.jpg

二、两个问题:

  1. Redis-Cluster主从节点不要在同一个机器部署

    (1) 以我们的经验看redis实例本身基本不会挂掉,通常是机器出了问题(断电、机器故障)、甚至是机架、机柜出了问题,造成Redis挂掉。

    (2) 如果Redis-Cluster的主从都在一个机器上,那么如果这台机器挂了,主从全部挂掉,高可用就无法实现。(如果full converage=true,也就意味着整个集群挂掉)

    (3) 通常来讲一对主从所在机器:不跨机房、要跨机架、可以在一个机柜。

  1. Redis-Cluster误判节点fail进行切换

    (1) Redis-Cluster是无中心的架构,判断节点失败是通过仲裁的方式来进行(gossip和raft),也就是大部分节点认为一个节点挂掉了,就会做fail判定。

    (2) 如果某个节点在执行比较重的操作(flushall, slaveof等等)(可能短时间redis客户端连接会阻塞(redis单线程))或者由于网络原因,造成其他节点认为它挂掉了,会做fail判定。

    (3) Redis-Cluster提供了cluster-node-timeout这个参数(默认15秒),作为fail依据(如果超过15秒还是没反应,就认为是挂掉了),具体可以参考这篇文章:Redis-Cluster的FailOver失败案例分析

    1. 以我们的经验看15秒完全够用。

    cc6668e0-7d71-3106-af42-046aba965ff3.jpg

三、未来要介绍的问题:

  1. Redis-Cluster客户端实现Mget操作。

  2. Redis-Cluster—Too many Cluster redirections异常。

  3. Redis-Cluster无底洞问题解析。

  4. 两个Redis-Cluster集群,meet操作问题后的恶果。

  5. Redis-Cluster配置之full converage问题。

  6. Redis-Cluster故障转移测试。

  7. Redis-Cluster常用运维技巧。

  8. Redis-Cluster一键开通。

  9. Redis-Cluster客户端jedis详解。

四、附赠一些不错的资料:

  1. Redis-Cluster的FailOver失败案例分析
  2. Redis Cluster 迁移遇到的各种坑及解决方案
  3. Redis Cluster架构优化
  4. Redis常见集群方案、Codis实践及与Twemproxy比较
  5. Redis Cluster架构优化
  6. 【运维实践】鱼与熊掌:使用redis-cluster需要注意些什么?
  7. Docker及和Redis Cluster的化学反应(上)By 芒果TV
  8. Docker及和Redis Cluster的化学反应(下)By 芒果TV
  9. Redis cluster使用经验——网易有道
  10. Redis Cluster浅析和Bada对比
  11. 互联网Redis应用场景探讨
  12. Redis集群技术及Codis实践
  13. 谈Twitter的百TB级Redis缓存实践
  14. Hadoop、Spark、HBase与Redis的适用性讨论
  15. Codis作者黄东旭细说分布式Redis架构设计和踩过的那些坑们

发表评论

表情:
评论列表 (有 0 条评论,240人围观)

还没有评论,来说两句吧...

相关阅读

    相关 python一些

    找完工作,又开始忙于做毕设,很久没更新博客了,不过博客新上线的这个新界面太不好用了,分类下只有两篇文章,每次点击进去都出现很多篇其他类的,每次找一篇博文都要翻很久。体验真是极差

    相关 Redis一些-

    上上周和同事(龙哥)参加了360组织的互联网技术训练营第三期,美团网的DBA负责人侯军伟给大家介绍了美团网在redis上踩得一些坑,讲的都是干货和坑。     分为5个部分:

    相关 redis集群一些

    最近用到了redis的cluster模式,使用的是3主3从在两台机上,但是运行一段时间发现,有时候down了一台机,就无法提供服务了。而有时候却可以。。。经过一系列的实验和排查