Zookeeper 3.3.3 启动过程

悠悠 2022-06-18 04:57 188阅读 0赞

不管是leader，还是Follower 还是Observer，QuorumPeerMain启动时，会通过QuorumPeer.start()方法启动监听客户端请求的端口，一旦有客户端请求来到，会建立连接并等待客户端发送ConnectRequest请求，如果客户端此时发来ConnectRequest请求，但是服务端没有启动好(启动好的标记是：Leader.leader()中大多数follower同步毕，follower或Observer的syncWithLeader中同步完毕后),会抛出IOException，并关闭这个客户端连接，如果已经启动好，接收到数据会调用ZooKeeperServer.submitRequest(Request si)请求提交给处理器链的第一个处理器处理。

### Leader工作流程 ###

l Leader.lead()方法做了几件事情：

1. LastLoggedZxid 高32位+1，低32位清零

2. 启动LearnerCnxAcceptor，等待Follower和OBSERVER 发送FOLLOWERINFO和OBSERVERINFO来连接Leader。Leader接收到消息后发回NEWLEADER消息作为回应。

3. leader等待大多数(这里将OBSERVER也算在内了???是否是bug?注 1)Follower和OBSERVER与leader同步完毕，并发送回ACK消息，等待时间是initLimit个tickTime,如果超过这个时间没有同步完毕，则服务器自动关闭。

4. 创建并启动处理器链，详见后续处理器链的描述。

5. 对应每个Follower和OBSERVER的LearnerHandler 此时进入循环，接收他们的ACK，PING, REVALIDATE, REQUEST(主要是写转发)消息。

6. Leader 主线程每tickTime/2时间会发送一个ping指令到follower，等待follower回应PING消息，更新sessiontime。

LeaderZookeeperServer处理器链: PrepRequestProcessor->ProposalRequestProcessor（SyncRequestProcessor->AckRequestProcessor）->CommitProcessor->toBeAppliedProcessor->FinalRequestProcessor

客户端请求，以及Follower转发写或者sync同步请求通过PrepRequestProcessor.processRequest(Request request) 提交到队列submittedRequests中，PrepRequestProcessor处理器是一个线程，专门处理submittedRequests的请求，根据Request的类型(create,delete或者其他什么请求)，检查ACL操作权限，进行一些预处理。然后转交给ProposalRequestProcessor. processRequest(),这个处理器只对请求做了简单的分流处理，如果是来自follower的sync请求，则将其转移给syncHandler处理，否则直接交给下一个处理器处理(CommitProcessor,该处理器有一个queuedRequests队列，专门接收要处理的请求)，如果是更改操作请求, ProposalRequestProcessor还同时向所有follower发出Proposal议案，并启动一个SyncRequestProcessor处理器和AckRequestProcessor处理器，SyncRequestProcessor用于将更改操作进行持久化， ，AckRequestProcessor用于处理follower返回的ACK响应，一旦这个更新操作得到大多数follower的响应，leader会发送commit请求给所有的follower,同时leader会通知所有的Observer更新，并且leader通知CommitProcessor继续执行，此时CommitProcessor会把request交给下一个处理器(toBeAppliedProcessor), toBeAppliedProcessor也是直接转交给FinalRequestProcessor，这个地方是最后返回数据的地方。

### Follower工作流程 ###

followLeader：

1. 首先通过findLeader()拿到leader的IP地址和端口

2. 通过connectToLeader与leader建立连接，其实就是导致leader的LearnerCnxAcceptor.accept返回。如果连接失败，重试5次，连接超时时间为syncLimit个tickTime，setSoTimeout为initLimit个tickTime，意思就是说一旦重试5次都没有连接上，或者连接上之后initLimit个tickTime中没有数据read(例如leader的ping消息一直都没有到来),那么Follower自动退出并设置自身状态为looking，继续寻找leader.

3. 向leader 注册，registerWithLeader(Leader.FOLLOWERINFO)，收到leader的NEWLEADER消息后继续下一步

4. 向leader同步数据。

5. 创建并启动处理器链，详见后续处理器链的描述

6. 然后进入while 主循环，while (self.isRunning()) \{

readPacket(qp);

processPacket(qp);

等待leader的消息到来并进行处理。

7. 主要处理以下几类消息：ping,PROPOSAL,commit, REVALIDATE, SYNC.

SyncRequestProcessor->SendAckRequestProcessor:

1. 当leader发送proposal过来到Follower时，Follower直接调用SyncRequestProcessor写入到log中。

2. SendAckRequestProcessor 写完之后，发送ACK消息给leader.

FollowerRequestProcessor->CommitProcessor-> FinalRequestProcessor

1. FollowerRequestProcessor sync或写请求转发给leader,同时将该请求转发给CommitProcessor，读请求直接转发给CommitProcessor。

2. CommitProcessor sync或写请求需要等到leader处理完毕后(leader 发送消息到follower，follower调用CommitProcessor.commit())，再继续处理请求，与Leader的处理相同。

3. FinalRequestProcessor 同leader操作

### OBSERVER工作-流程 ###

与Follower相同，只是忽略掉了proposal消息以及commit消息，而接收INFORM消息。

注：果然是个bug,这个bug已经在3.4版本中得以修复。

[http://svn.apache.org/viewvc?view=revision&revision=1135382][http_svn.apache.org_viewvc_view_revision_revision_1135382]，其中在Diff of/zookeeper/trunk/src/java/main/org/apache/zookeeper/server/quorum/LearnerHandler.java已经加了判定，代码也进行了重写。

![0_1317953588xwye.gif][]

这里有几篇写得比较好的外部文章可以参考：

1.  http://zoutm.iteye.com/blog/708462
2.  http://zoutm.iteye.com/blog/708447
3.  http://rdc.taobao.com/team/jm/archives/448

[http_svn.apache.org_viewvc_view_revision_revision_1135382]: http://svn.apache.org/viewvc?view=revision&revision=1135382
[0_1317953588xwye.gif]: /images/20220618/67f2c25d36a04de8bc996276ad5e78ba.png