Zookeeper原理--脑裂

Bertha 。 2022-10-24 13:12 206阅读 0赞

原文网址：[Zookeeper原理--脑裂\_IT利刃出鞘的博客-CSDN博客][Zookeeper_--_IT_-CSDN]

# 其他网址 #

[ZooKeeper 03 - ZooKeeper集群的脑裂问题 (Split Brain问题)\_秋夜无霜-CSDN博客][ZooKeeper 03 - ZooKeeper_ _Split Brain_-CSDN]  
[脑裂是什么？Zookeeper是如何解决的？][Zookeeper]

# 简介 #

**简介**

> 脑裂(split-brain)就是“大脑分裂”，也就是本来一个“大脑”被拆分了两个或多个“大脑”。我们都知道，如果一个人有多个大脑，并且相互独立的话，那么会导致人体“手舞足蹈”，“不听使唤”。
> 
> 脑裂通常会出现在集群环境中，比如ElasticSearch、Zookeeper集群，而这些集群环境有一个统一的特点，就是它们有一个大脑，比如ElasticSearch集群中有Master节点，Zookeeper集群中有Leader节点。

# **脑裂如何产生** #

**简介**

> **ZooKeeper集群中, 各个节点间的网络通信不良时, 容易出现脑裂(split-brain)现象:**
> 
> 集群中的节点监听不到leader节点的心跳, 就会认为leader节点出了问题, 此时集群将分裂为不同的小集群, 这些小集群会各自选举出自己的leader节点, 导致原有的集群中出现多个leader节点。—— 这就是脑裂现象

**示例**

> 对于一个集群，想要提高这个集群的可用性，通常会采用多机房部署，比如现在有一个由6台zkServer所组成的一个集群，部署在了两个机房：
> 
> ![image.png][]
> 
> 正常情况下，此集群只会有一个Leader，那么如果机房之间的网络断了之后，两个机房内的zkServer还是可以相互通信的，如果**不考虑过半机制**，那么就会出现每个机房内部都将选出一个Leader。
> 
> ![image.png][image.png 1]
> 
> 这就相当于原本一个集群，被分成了两个集群，出现了两个“大脑”，这就是脑裂。
> 
> 对于这种情况，我们也可以看出来，原本应该是统一的一个集群对外提供服务的，现在变成了两个集群同时对外提供服务，如果过了一会，断了的网络突然联通了，那么此时就会出现问题了，两个集群刚刚都对外提供服务了，数据该怎么合并，数据冲突怎么解决等等问题。
> 
> 刚刚在说明脑裂场景时，有一个前提条件就是没有考虑过半机制，所以实际上Zookeeper集群中是不会出现脑裂问题的，而不会出现的原因就跟过半机制有关。

# 如何解决脑裂 #

**3种可行的思路**

> **(1) Quorums（法定人数法）**
> 
> 通过设置法定人数, 进而确定集群的容忍度, 当集群中存活的节点少于法定人数, 集群将不可用. 比如:
> 
> 3个节点的集群中, Quorums = 2 —— 集群可以容忍 (3 - 2 = 1) 个节点失败, 这时候还能选举出leader, 集群仍然可用;  
> 4个节点的集群中, Quorums = 3 —— 集群同样可以容忍 1 个节点失败, 如果2个节点失败, 那整个集群就不可用了.

> **(2) Redundant communications（冗余通信）**
> 
> 集群中采用多种通信方式, 防止一种通信方式失效导致集群中的节点无法通信.

> **(3) Fencing（共享资源）**
> 
> 通过共享资源的方式, 将所有共享资源添加到集群中, 能对共享资源进行写操作(即加锁)的节点就是leader节点。

**ZooKeeper采用的方法**

> ZooKeeper默认采用了Quorums(法定人数)的方式: 只有获得超过半数节点的投票, 才能选举出leader。这种方式可以确保要么选出唯一的leader, 要么选举失败.
> 
> ZooKeeper中Quorums的作用:
> 
> ① 指定集群中选举leader所需的最少节点数, 保证集群可用;  
> ② client的数据被安全保存到集群中所需的最少节点数, 一旦这些节点保存了数据, 客户端将被通知数据已经安全保存, 可以继续其他任务 —— 基于最终一致性, 集群中剩余的节点最终也会保存相关的数据。
> 
> ZooKeeper的写也遵循quorum机制, 因此得不到大多数支持的写是无效的。

# 具体实现 #

**其他网址**

> 《从Paxos到Zookeeper 分布式一致性原理与实践》=> 7.6 Leader选举

## 源码分析 ##

在领导者选举的过程中，如果某台zkServer获得了超过半数的选票，则此zkServer就可以成为Leader了。

过半机制的源码实现其实非常简单：

public class QuorumMaj implements QuorumVerifier {
        private static final Logger LOG = LoggerFactory.getLogger(QuorumMaj.class);
        
        int half;
        
        // n表示集群中zkServer的个数（准确的说是参与者的个数，参与者不包括观察者节点）
        public QuorumMaj(int n){
            this.half = n/2;
        }
    
        // 验证是否符合过半机制
        public boolean containsQuorum(Set<Long> set){
            // half是在构造方法里赋值的
            // set.size()表示某台zkServer获得的票数
            return (set.size() > half);
        }
        
    }

大家仔细看一下上面方法中的注释，核心代码就是下面两行：

this.half = n/2;
    return (set.size() > half);

举个简单的例子： 如果现在集群中有5台zkServer，那么half=5/2=2，那么也就是说，领导者选举的过程中至少要有三台zkServer投了同一个zkServer，才会符合过半机制，才能选出来一个Leader。

## 过半数量相关问答 ##

**选举的过程中为什么一定要有一个过半机制验证？**

> 因为这样不需要等待所有zkServer都投了同一个zkServer就可以选举出来一个Leader了，这样比较快，所以叫快速领导者选举算法呗。

**过半机制中为什么是大于，而不是大于等于呢？**

> 这就是更脑裂问题有关系了，比如回到上文出现脑裂问题的场景：
> 
> ![image.png][image.png 2]
> 
> 当机房中间的网络断掉之后，机房1内的三台服务器会进行领导者选举，但是此时过半机制的条件是set.size() > 3，也就是说至少要4台zkServer才能选出来一个Leader，所以对于机房1来说它不能选出一个Leader，同样机房2也不能选出一个Leader，这种情况下整个集群当机房间的网络断掉后，整个集群将没有Leader。
> 
> 而如果过半机制的条件是set.size() >= 3，那么机房1和机房2都会选出一个Leader，这样就出现了脑裂。所以我们就知道了，为什么过半机制中是**大于**，而不是**大于等于**。就是为了防止脑裂。
> 
> 如果假设我们现在只有5台机器，也部署在两个机房：
> 
> ![image.png][image.png 3]
> 
> 此时过半机制的条件是set.size() > 2，也就是至少要3台服务器才能选出一个Leader，此时机房件的网络断开了，对于机房1来说是没有影响的，Leader依然还是Leader，对于机房2来说是选不出来Leader的，此时整个集群中只有一个Leader。
> 
> 所以，我们可以总结得出，有了过半机制，对于一个Zookeeper集群，要么没有Leader，要没只有1个Leader，这样就避免了脑裂问题。

## 旧leader复活 ##

假设: leader发生了假死, followers选举出了一个新的leader。

结果：当旧的leader复活并认为自己仍然是leader, 它向其他followers发出写请求时, 会被拒绝。

原因：ZooKeeper维护了一个叫epoch的变量, 每当新leader产生时, epoch都会递增, followers如果确认了新的leader存在, 同时也会知道其epoch的值，它们会拒绝epoch小于现任leader的epoch的所有旧leader的任何请求。

**注意: 仍然会存在有部分followers不知道新leader的存在, 但肯定不是大多数, 否则新leader将无法产生。**

[Zookeeper_--_IT_-CSDN]: https://knife.blog.csdn.net/article/details/113395975
[ZooKeeper 03 - ZooKeeper_ _Split Brain_-CSDN]: https://blog.csdn.net/shichen2010/article/details/104550629
[Zookeeper]: https://juejin.cn/post/6844903895387340813
[image.png]: /images/20221024/0a9e01c45250445e9f086b4b4c193944.png
[image.png 1]: /images/20221024/78e01f5c4bbe4f8cbab797668b9daf06.png
[image.png 2]: /images/20221024/83757f5e9bdc4822abbc12941aac35f3.png
[image.png 3]: /images/20221024/3b2df186a6344a2db3abe440623f4df3.png