zookeeper的leader选举机制

末蓝、 2023-01-16 11:10 152阅读 0赞

leader选举是zookeeper中最重要的技术之一，也是保证分布式数据一致性的关键所在。leader选举分为服务器启动时选举和服务器运行期间选举。

#### 服务器角色 ####

*  Leader：既能提供读服务也能提供写服务，负责更新（同步）数据及数据更新（同步）前的写请求的投票发起与决议，是整个集群（半数以上Server）数据一致性的保障，所有Follower与Observer的数据均由Leader同步所得
 *  Follower：用于接受客户端请求并想客户端返回结果，在选主过程中参与投票
 *  Observer：接受客户端连接，将写请求转发给leader，但不参加投票过程，只同步leader的状态（数据），设计observer的目的是为了扩展系统，提升数据读取速度与集群的负载能力

#### 集群服务器的状态 ####

*  LOOKING：寻找Leader 状态。当服务器处于该状态时，它会认为当前集群中没有Leader，因此需要进入 Leader 选举流程
 *  FOLLOWING：跟随者状态，表明当前服务器角色是 Follower
 *  LEADING：领导者状态，表明当前服务器角色是 Leader
 *  OBSERVING：观察者状态，表明当前服务器角色是 Observer

#### 服务器启动时期的leader选举 ####

Leader 选举的时候，需要注意的一点是，隐式条件便是 ZooKeeper 的集群规模至少是2台机器，这里我们以3台机器组成的服务器集群为例。在服务器集群初始化阶段，当有一台服务器（我们假设这台机器的 myid 为1，因此称其为 Server1）启动的时候，它是无法完成 Leader 选举的，是无法进行 Leader 选举的。当第二台机器（同样，我们假设这台服务器的 myid为 2，称其为 Server2）也启动后，此时这两台机器已经能够进行互相通信，每台机器都试图找到一个Leader，于是便进入了Leader 选举流程。

1.  每个server会发出一个投票

由于是初始情况，因此对于 Server1 和 Server2 来说，都会将自己作为 Leader 服务器来进行投票，每次投票包含的最基本的元素包括∶所推举的服务器的 myid 和 ZXID，我们以（myid，ZXID）的形式来表示。因为是初始化阶段，因此无论是 Serverl 还是 Server2，都会投给自己，即 Server1 的投票为（1，0），Server2的投票为（2，0），然后各自将这个投票发送给集群中其他所有机器。

1.  接收来自各个服务器的投票

每个服务器都会接收来自其他服务器的投票。集群中的每个服务器在接收到投票后，首先会判断该投票的有效性，包括检查是否是本轮投票、是否来自LOOKING状态的服务器。

1.  处理投票

在接收到来自其他服务器的投票后，针对每一个投票，服务器都需要将别人的投票和自己的投票进行 PK，PK 的规则如下。

*  优先检查 ZXID。ZXID 比较大的服务器优先作为 Leader。
 *  如果 ZXID 相同的话，那么就比较 myid。myid 比较大的服务器作为Leader服务器。

现在我们来看 Server1 和 Server2 实际是如何进行投票处理的。对于 Server1 来说，它自己的投票是（1，0），而接收到的投票为（2，0）。首先会对比两者的 ZXID，因为都是 0，所以无法决定谁是 Leader。接下来会对比两者的myid，很显然，Server1发现接收到的投票中的myid 是 2，大于自己，干是就会更新自己的投票为（2，0），然后重新将投票发出去。而对于 Server2 来说，不需要更新自己的投票信息，只是再一次向集群中所有机器发出上一次投票信息即可。

1.  统计投票

每次投票后服务器都会统计所有投票，判断是否已经有过半的机器接收到相同的投票信息。对于Server1和Server2都收到相同的投票新 （2，0）的时候，即认为已经选出了leader，这里依然采用"过半"思想。

1.  改变服务器状态

一且确定了Leader，每个服务器就会更新自己的状态;如果是 Follower，那么就变更为 FOLLOWING，如果是 Leader，那么就变更为 LEADING。

#### 服务器运行期间的leader选举 ####

在 ZooKeeper 集群正常运行过程中，一旦选出一个Leader，那么所有服务器的集群角色一般不会再发生变化——也就是说，Leader 服务器将一直作为集样的 Leader，即使集群中有非 Leader 集群挂了或是有新机器加入集群也不会影响 Leader。但是一旦 Leader 所在的机器挂了，那么整个集群将暂时无法对外服务，而是进入新一轮的Leader选举。服务器运行期间的 Leader 选举和启动时期的 Leader 选举基本过程是一致的。

我们假设当前正在运行的 ZooKeeper 服务器由 3 台机器组成，分别是 Server1、Server2和 Server3，当前的 Leader是 Server2。假设在某一个瞬间，Leader 挂了，这个时候便开始了Leader 选举。

1.  变更状态。

当 Leader 挂了之后，余下的非 Observer 服务器都会将自己的服务器状态变更为 LOOKING，然后开始进入 Leader 选举流程。

1.  每个 Server 会发出一个投票。

在这个过程中，需要生成投票信息（myid，ZXID）。因为是运行期间，因此每个服务器上的ZXID可能不同，我们假定 Server1 的ZXID为 123，而 Server3的ZXID为 122。在第一轮投票中，Serverl 和 Server3 都会投自己，即分别产生投票（1， 123）和（3，122），然后各自将这个投票发给集群中所有机器。

1.  接收来自各个服务器的投票。
2.  处理投票。

对于投票的处理，和上面提到的服务器启动期间的处理规则是一致的。在这个例子里而，由于 Serverl的ZXID为 123，Server3的 ZXID为 122，那么显然，Server1会成为 Leader。

1.  统计投票。
2.  改变服务器状态。

## leader选举算法详解 ##

在 ZooKeeper 中，提供了三种 Leader 选举的算法，分别是 LeaderElection、UDP 版本的 FastLeaderElection 和 TCP版本的 FastLeaderElection，可以通过在配置文件 `zoo.cfg`中使用 `eLectionAlg` 属性来指定，分别使用数字0-3 来表示。

*  0 代表 LeaderElection，这是一种纯 UDP实现的 Leader 选举算法
 *  1 代表 UDP版本的 FastLeaderElection，并且是非授权模式
 *  2 也代表 UDP 版本的 FastLeaderElection，但使用授权模式
 *  3 代表 TCP版本的 FastLeaderElection。

值得一提的是，从 3.4.0版本开始，ZooKeeper 废弃了0、1和 2 这三种 Leader 选举算法，只保留了TCP 版本的 FastLeaderElection 选举算法。

###### leader选举算法的术语 ######

*  SID∶服务器 ID

SID是一个数字，用来唯一标识一台 ZooKeeper 集群中的机器，每台机器不能重复，和 myid 的值一致。

*  ZXID∶事务 ID

ZXID 是一个事务 ID，用来唯一标识一次服务器状态的变更。在某一个时刻，集群中每台机器的 ZXID 值不一定全都一致，这和 ZooKeeper 服务器对于客户端"更新请求"的处理逻辑有关。

*  Vote∶投票

Leader 选举，顾名思义必须通过投票来实现。当集群中的机器发现自己无法检测到 Leader 机器的时候，就会开始尝试进行投票。

*  Quorum∶ 过半机器数

这是整个Leader 选举算法中最重要的一个术语，我们可以把这个术语理解为是一个量词，指的是 ZooKeeper 集群中过半的机器数，如果集群中总的机器数是n的话，那么可以通过下面这个公式来计算 quorum的值∶ `quorum = n/2 + 1`。

###### 发起投票 ######

上面提到整个集群启动的时候和集群leader宕机的时候会发起leader选举，试图变成leader的节点会处于looking的状态，它会向集群中其他节点发送投票：包含SID和ZXID，会以（SID，ZXID）的形式来标识一次投票信息。

###### 变更投票 ######

集群中的每台机器发出自己的投票后，也会接收到来自集群中其他机器的投票。每台机器都会根据一定的规则，来处理收到的其他机器的投票，并以此来决定是否需要变更自己的投票。这个规则也成为了整个Leader 选举算法的核心所在。

*  vote\_sid;接收到的投票中所推举 Leader 服务器的 SID
 *  vote\_zxid∶接收到的投票中所推举 Leader 服务器的 ZXID
 *  self\_sid∶当前服务器自己的 SID
 *  self\_zxid∶当前服务器自己的 ZXID

每次对于收到的投票的处理，都是一个对`（vote_sid，vote_zxid）`和`（self_sid，self_zxid）`对比的过程

*  规则1：如果 vote\_zxid大于self zxid，就认可当前收到的投票，并再次将该投票发送出去
 *  规则 2：如果 vote\_zxid小于self zxid，那么就坚持自己的投票，不做任何变更
 *  规则3：如果 vote\_zxid 等于self\_zxid，那么就对比两者的 SID。如果vote\_sid大于self \_sid，那么就认可当前接收到的投票，并再次将该投票发送出去。
 *  规则4：如果 vote\_zxid 等于 self\_zxid，并且 vote\_sid 小于self\_sid，那么同样坚持自己的投票，不做变更。

###### 确定leader ######

经过这第二次投票后，集群中的每台机器都会再次收到其他机器的投票，然后开始统计投票。如果一台机器收到了超过半数的相同的投票，那么这个投票对应的SID机器即为 Leader。遵循过半原则：`quorum = n/2 + 1`