【ZooKeeper】总体概述

柔情只为你懂 2023-01-17 07:49 150阅读 0赞

# ZooKeeper 介绍 #

ZooKeeper 是什么

*  ZooKeeper 是一个典型的分布式数据一致性的解决方案，分布式应用程序可以基于它实 现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、 Master 选举、分布式锁和分布式队列等功能。

ZooKeeper 可以保证如下分布式一致性特性

**顺序一致性**  
从同一个客户端发起的事务请求，最终将会严格地按照其发起顺序被应用到 ZooKeeper 中去。

**原子性**  
所有事务请求的处理结果在整个集群中所有机器上的应用情况是一致的，也就是说, 要么整个集群所有机器都成功应用了某一个事务，要么都没有应用，一定不会出现 集群中部分机器应用了该事务，而另外一部分没有应用的情况。

**单一视图( Single System Image )**  
无论客户端连接的是哪个 ZooKeeper 服务器，其看到的服务端数据模型都是一致的。

**可靠性**  
一旦服务端成功地应用了一个事务，并完成对客户端的响应，那么该事务所引起的 服务端状态变更将会被一直保留下来，除非有另一个事务又对其进行了变更。

**实时性**  
通常人们看到实时性的第一反应是，一旦一个事务被成功应用，那么客户端能够立 即从服务端上读取到这个事务变更后的最新数据状态。这里需要注意的是， ZooKeeper 仅仅保证在一定的时间段内，客户端最终一定能够从服务端上读取到最 新的数据状态。

# ZooKeeper 的设计目标 #

ZooKeeper 致力于提供一个高性能、高可用，且具有严格的顺序访问控制能力(主要是 写操作的严格顺序性)的分布式协调服务。高性能使得 ZooKeeper 能够应用于那些对系 统吞吐有明确要求的大型分布式系统中，高可用使得分布式的单点问题得到了很好的解 决，而严格的顺序访问控制使得客户端能够基于 ZooKeeper 实现一些复杂的同步原语。 下面我们来具体看一下 ZooKeeper 的四个设计目标。

**目标一：简单的数据模型**  
ZooKeeper 使得分布式程序能够通过一个共享的、树型结构的名字空间来进行相互协调。 这里所说的树型结构的名字空间，是指 ZooKeeper 服务器内存中的一个数据模型，其由 一系列被称为ZNode 的数据节点组成，总的来说，其数据模型类似于一•个文件系统，而 ZNode 之间的层级关系，就像文件系统的目录结构一样。不过和传统的磁盘文件系统不 同的是， ZooKeeper 将全量数据存储在内存中，以此来实现提高服务器吞吐、减少延迟 的目的。关于 ZooKeeper 的数据模型

**目标二：可以构建集群**  
一个 ZooKeeper 集群通常由一组机器组成，一般 3~5 台机器就可以组成一个可用的 ZooKeeper 集群了。  
![在这里插入图片描述][20210427204416965.png]

组成 ZooKeeper 集群的每台机器都会在内存中维护当前的服务器状态，并且每台机器之 间都互相保持着通信。值得一提的是，只要集群中存在超过一半的机器能够正常工作， 那么整个集群就能够正常对外服务。

ZooKeeper 的客户端程序会选择和集群中任意一台机器共同来创建一个 TCP 连接，而一 旦客户端和某台 ZooKeeper 服务器之间的连接断开后，客户端会自动连接到集群中的其 他机器。

**目标三：顺序访问**  
对于来自客户端的每个更新请求， ZooKeeper 都会分配一个全局唯一的递增编号，这个 编号反映了所有事务操作的先后顺序，应用程序可以使用 ZooKeeper 的这个特性来实现 更高层次的同步原语。

**目标四：高性能**  
由于 ZooKeeper 将全量数据存储在内存中，并直接服务于客户端的所有非事务请求，因 此它尤其适用于以读操作为主的应用景。曾经以 3 台 3.4.3 版本的 ZooKeeper 服 务器组成集群进行性能压测 ，100% 读请求的场景下压测结果是12~13W 的 QPS 。

# ZooKeeper 的基本概念 #

**集群角色**  
通常在分布式系统中，构成一个集群的每一台机器都有自己的角色，最典型的集群模式 就是Master/Slave 模式（主备模式）。在这种模式中，我们把能够处理所有写操作的机 器称为 Master 机器，把所有通过异步复制方式获取最新数据，并提供读服务的机器称为 Slave 机器。

而在 ZooKeeper 中，这些概念被颠覆了。它没有沿用传统的 Master/Slave 概念，而是引 入了Leader, Follower 和 Observer 三种角色。 ZooKeeper 集群中的所有机器通过一个 Leader 选举过程来选定一台被称为 “Leader” 的机器， Leader 服务器为客户端提供读和 写服务。除 Leader 外，其他机器包括 Follower 和 Observer 。 Follower 和 Observer 都能 够提供读服务，唯一的区别在于，Observer 机器不参与 Leader 选举过程，也不参与写操 作的“过半写成功”策略，因此 Observer 可以在不影响写性能的情况下提升集群的读性 能。

**会话(Session)**  
Session 是指客户端会话，在讲解会话之前，我们首先来了解一下客户端连接。在 ZooKeeper 中，一个客户端连接是指客户端和服务器之间的一个 TCP 长连接。 ZooKeeper 对外的服务端口默认是2181, 客户端启动的时候，首先会与服务器建立一个 TCP 连接， 从第一次连接建立开始，客户端会话的生命周期也开始了，通过这个连接，客户端能够 通过心跳检测与服务器保持有效的会话，也能够向 ZooKeeper 服务器发送请求并接受响 应，同时还能够通过该连接接收来自服务器的Watch 事件通知 o Session 的 sessionTimeout 值用来设置一个客户端会话的超时时间。当由于服务器压力太大、网络故障或是客户端 主动断开连接等各种原因导致客户端连接断开时，只要在sessionTimeout 规定的时间内 能够重新连接上集群中任意一台服务器，那么之前创建的会话仍然有效。

**数据节点（Znode）**  
在谈到分布式的时候，我们通常说的“节点”是指组成集群的每一台机器。然而，在 ZooKeeper中，“节点”分为两类，第一类同样是指构成集群的机器，我们称之为机器节 点， 第二类则是指数据模型中的数据单元，我们称之为数据节点—— ZNode 。 ZooKeeper 将所有数据存储在内存中，数据模型是一棵树 （ZNodeTree）, 由斜杠 （/） 进行分割的 路径，就是一个 Znode ，例 /foo/path 每个 ZNode 上都会保存自己的数据内容，同时 还会保存一系列属性信息。

在 ZooKeeper 中， ZNode 可以分为持久节点和临时节点两类。所谓持久节点是指一旦这 个 ZNode被创建了，除非主动进行 ZNode 的移除操作，否则这个 ZNode 将一直保存在 ZooKeeper 上。而临时节点就不一样了，它的生命周期和客户端会话绑定，一旦客户端 会话失效，那么这个客户端创建的所有临时节点都会被移除。另外， ZooKeeper 还允许 用户为每个节点添加一个特殊的属性：SEQUENTIAL 。一旦节点被标记上这个属性，那 么在这个节点被创建的时候， ZooKeeper 会自动在其节点名后面追加上一个整型数字， 这个整型数字是一个由父节点维护的自增数字。

**版本**  
在前面我们已经提到， ZooKeeper 的每个 ZNode ± 都会存储数据，对应于每个 ZNode, ZooKeeper都会为其维护一个叫作 Stat 的数据结构， Stat 中记录了这个 ZNode 的三个数 据版本，分别是version （当前 ZNode 的版本）、 eversion （当前 ZNode 子节点的版本） 和 aversion（ 当前ZNode 的 ACL 版本）。

**Watcher**  
Watcher (事件监听器)，是 ZooKeeper 中的一个很重要的特性。 ZooKeeper 允许用户在 指定节点上注册一些 Watcher, 并且在一些特定事件触发的时候， ZooKeeper 服务端会 将事件通知到感兴趣的客户端上去，该机制是 ZooKeeper 实现分布式协调服务的重要特 性。

**ACL**  
ZooKeeper 采用 ACL (Access Control Lists) 策略来进行权限控制，类似于 UNIX 文件 系统的权限控制。 ZooKeeper 定义了如下 5 种权限。

*  CREATE ：创建子节点的权限。
 *  READ ：获取节点数据和子节点列表的权限。
 *  WRITE ：更新节点数据的权限。
 *  DELETE ：删除子节点的权限。
 *  ADMIN ：设置节点 ACL 的权限。

其中尤其需要注意的是， CREATE 和 DELETE 这两种权限都是针对子节点的权限控制。

# 为什么选择 ZooKeeper #

随着分布式架构的出现，越来越多的分布式应用会面 临数据一致性问题。很遗憾的是，在解决分布式数据一致性上，除了 ZooKeeper 之外， 目前还没有一个成熟稳定且被大规模应用的解决方案。 ZooKeeper 无论从性能、易用性 还是稳定性上来说，都已经达到了一个工业级产品的标准。

其次， ZooKeeper 是开放源代码的，所有人都在关注它的发展，都有权利来贡献自己的力 量，你可以和全世界成千上万的 ZooKeeper 开发者们一起交流使用经验，共同解决问题。另外， ZooKeeper 是免费的，你无须为它支付任何费用。这点对于一个小型公司，尤其 是初创团队来说，无疑是非常重要的。

最后， ZooKeeper 已经得到了广泛的应用。诸如 Hadoop 、 HBase 、 Storm 和 Solr 等越来 越多的大型分布式项目都已经将 ZooKeeper 作为其核心组件，用于分布式协调。

[20210427204416965.png]: /images/20221021/86343f5080384a63878c2dd738ab1ac8.png