Zookeeper 安装和部署

╰半橙微兮° 2022-07-13 04:50 24阅读 0赞

## 1. Zookeeper 简介 ##

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。  
ZooKeeper包含一个简单的原语集， 提供Java和C的接口。  
ZooKeeper代码版本中，提供了分布式独享锁、选举、队列的接口，代码在zookeeper-3.4.8\\src\\recipes。其中分布锁和队列有Java和C两个版本，选举只有Java版本。

## 2. Zookeeper原理 ##

ZooKeeper是以Fast Paxos算法为基础的，Paxos 算法存在活锁的问题，即当有多个proposer交错提交时，有可能互相排斥导致没有一个proposer能提交成功，而Fast Paxos作了一些优化，通过选举产生一个leader (领导者)，只有leader才能提交proposer，具体算法可见Fast Paxos。因此，要想弄懂ZooKeeper首先得对Fast Paxos有所了解。  
ZooKeeper的基本运转流程：  
1、选举Leader。  
2、同步数据。  
3、选举Leader过程中算法有很多，但要达到的选举标准是一致的。  
4、Leader要具有最高的zxid。  
5、集群中大多数的机器得到响应并follow选出的Leader。\[3\]

## 3. Zookeeper特点 ##

在Zookeeper中，znode是一个跟Unix文件系统路径相似的节点，可以往这个节点存储或获取数据。如果在创建znode时Flag设置为EPHEMERAL，那么当创建这个znode的节点和Zookeeper失去连接后，这个znode将不再存在在Zookeeper里，Zookeeper使用Watcher察觉事件信息。当客户端接收到事件信息，比如连接超时、节点数据改变、子节点改变，可以调用相应的行为来处理数据。Zookeeper的Wiki页面展示了如何使用Zookeeper来处理事件通知，队列，优先队列，锁，共享锁，可撤销的共享锁，两阶段提交。

那么Zookeeper能做什么事情呢，简单的例子：假设我们有20个搜索引擎的服务器(每个负责总索引中的一部分的搜索任务)和一个总服务器(负责向这20个搜索引擎的服务器发出搜索请求并合并结果集)，一个备用的总服务器(负责当总服务器宕机时替换总服务器)，一个web的cgi(向总服务器发出搜索请求)。搜索引擎的服务器中的15个服务器提供搜索服务，5个服务器正在生成索引。这20个搜索引擎的服务器经常要让正在提供搜索服务的服务器停止提供服务开始生成索引，或生成索引的服务器已经把索引生成完成可以提供搜索服务了。使用Zookeeper可以保证总服务器自动感知有多少提供搜索引擎的服务器并向这些服务器发出搜索请求，当总服务器宕机时自动启用备用的总服务器。

## 4. Zookeeper的下载 ##

可以从 [https://zookeeper.apache.org/releases.html][https_zookeeper.apache.org_releases.html] 下载ZooKeeper，目前最新的稳定版本为 3.4.8 版本，用户可以自行选择一个速度较快的镜像来下载即可。

## 5. Zookeeper的目录结构 ##

下载并解压ZooKeeper软件压缩包后，可以看到zk包含以下的文件和目录：

![这里写图片描述][SouthEast]

![这里写图片描述][SouthEast 1]  
ZooKeeper软件的文件和目录

*  bin目录  
    zk的可执行脚本目录，包括zk服务进程，zk客户端，等脚本。其中，.sh是Linux环境下的脚本，.cmd是Windows环境下的脚本。
 *  lib目录  
    zk依赖的包。
 *  libexec目录  
    一些用于操作zk的工具包。

## 5.单机模式 ##

ZooKeeper的安装包括单机模式安装，以及集群模式安装。

单机模式较简单，是指只部署一个zk进程，客户端直接与该zk进程进行通信。  
在开发测试环境下，通过来说没有较多的物理资源，因此我们常使用单机模式。当然在单台物理机上也可以部署集群模式，但这会增加单台物理机的资源消耗。故在开发环境中，我们一般使用单机模式。

#### 5.1 运行配置 ####

在etc/zookeeper/目录下提供了zoo.cfg，打开zoo.cfg，可以看到默认的一些配置。

tickTime  
时长单位为毫秒，为zk使用的基本时间度量单位。例如，1 \* tickTime是客户端与zk服务端的心跳时间，2 \* tickTime是客户端会话的超时时间。  
tickTime的默认值为2000毫秒，更低的tickTime值可以更快地发现超时问题，但也会导致更高的网络流量（心跳消息）和更高的CPU使用率（会话的跟踪处理）。

tickTime=2000

clientPort  
zk服务进程监听的TCP端口，默认情况下，服务端会监听2181端口。

clientPort=2181

dataDir  
无默认配置，必须配置，用于配置存储快照文件的目录。如果没有配置dataLogDir，那么事务日志也会存储在此目录。

dataDir=/usr/local/var/run/zookeeper/data
    dataLogDir=/usr/local/var/run/zookeeper/logs

#### 5.2 启动 ####

在mac环境下，将zookeeper的bin目录配置到环境变量中，直接执行命令

zkServer start

这个命令使得zk服务进程在后台进行。

![这里写图片描述][SouthEast 2]  
如果想在前台中运行以便查看服务器进程的输出日志，可以通过以下命令运行：

zkServer start-foreground

![这里写图片描述][SouthEast 3]

执行此命令，可以看到大量详细信息的输出，以便允许查看服务器发生了什么。

#### 5.3 连接 ####

如果是连接同一台主机上的zk进程，那么直接运行bin/目录下的zkCli.cmd（Windows环境下）或者zkCli.sh（mac环境下），即可连接上zk。  
直接执行zkCli.cmd或者zkCli.sh命令默认以主机号 127.0.0.1，端口号 2181 来连接zk，如果要连接不同机器上的zk，可以使用 -server 参数，例如：

zkCli -server 192.168.0.1:2181

![这里写图片描述][SouthEast 4]

## 6.集群模式 ##

单机模式的zk进程虽然便于开发与测试，但并不适合在生产环境使用。在生产环境下，我们需要使用集群模式来对zk进行部署。

注意  
在集群模式下，建议至少部署3个zk进程，或者部署奇数个zk进程。如果只部署2个zk进程，当其中一个zk进程挂掉后，剩下的一个进程并不能构成一个quorum的大多数。因此，部署2个进程甚至比单机模式更不可靠，因为2个进程其中一个不可用的可能性比一个进程不可用的可能性还大。

#### 6. 1 运行配置 ####

在集群模式下，所有的zk进程可以使用相同的配置文件（是指各个zk进程部署在不同的机器上面），例如如下配置：

tickTime=2000
    dataDir=/home/lidong/zookeeper
    clientPort=2181
    initLimit=5
    syncLimit=2
    server.1=192.168.0.105:2888:3888 
    server.2=192.168.0.108:2888:3888

initLimit  
ZooKeeper集群模式下包含多个zk进程，其中一个进程为leader，余下的进程为follower。  
当follower最初与leader建立连接时，它们之间会传输相当多的数据，尤其是follower的数据落后leader很多。initLimit配置follower与leader之间建立连接后进行同步的最长时间。  
syncLimit  
配置follower和leader之间发送消息，请求和应答的最大时间长度。  
tickTime  
tickTime则是上述两个超时配置的基本单位，例如对于initLimit，其配置值为5，说明其超时时间为 2000ms \* 5 = 10秒。  
server.id=host:port1:port2  
其中id为一个数字，表示zk进程的id，这个id也是dataDir目录下myid文件的内容。  
host是该zk进程所在的IP地址，port1表示follower和leader交换消息所使用的端口，port2表示选举leader所使用的端口。  
dataDir  
其配置的含义跟单机模式下的含义类似，不同的是集群模式下还有一个myid文件。myid文件的内容只有一行，且内容只能为1 - 255之间的数字，这个数字亦即上面介绍server.id中的id，表示zk进程的id。  
注意  
如果仅为了测试部署集群模式而在同一台机器上部署zk进程，server.id=host:port1:port2配置中的port参数必须不同。但是，为了减少机器宕机的风险，强烈建议在部署集群模式时，将zk进程部署不同的物理机器上面。

#### 6. 2启动 ####

假如我们打算在两台不同的机器 192.168.0.105（windows），192.168.0.108（mac os）上各部署一个zk进程，以构成一个zk集群。  
两个zk进程均使用相同的 zoo.cfg 配置：  
192.168.0.105（windows）  
tickTime=2000  
dataDir=D:/zookeeper  
clientPort=2181  
initLimit=5  
syncLimit=2  
server.1=192.168.0.105:2888:3888  
server.2=192.168.0.108:2888:3888  
![这里写图片描述][SouthEast 5]

192.168.0.100（mac os）  
tickTime=2000  
dataDir=/home/lidong/zookeeper  
clientPort=2181  
initLimit=5  
syncLimit=2  
server.1=192.168.0.105:2888:3888  
server.2=192.168.0.108:2888:3888

![这里写图片描述][SouthEast 6]  
在window主机器dataDir目录（ D:/zookeeper目录）下，分别生成一个myid文件，其内容分别为1，2。  
在Mac os主机器dataDir目录（ /home/lidong/zookeeper）下，分别生成一个myid文件，其内容分别为1，2。  
然后分别在这两台机器上启动zk进程，这样我们便将zk集群启动了起来。

#### 6. 3连接 ####

可以使用以下命令来连接一个zk集群：

zkCli -server 192.168.0.105:2181,192.168.0.108:2181

成功连接后，可以看到如下输出：

Connecting to 192.168.0.105:2181,192.168.0.108:2181
    Welcome to ZooKeeper!
    JLine support is enabled
    
    WATCHER::
    
    WatchedEvent state:SyncConnected type:None path:null
    [zk: 192.168.0.105:2181,192.168.0.108:2181(CONNECTED) 0]

从日志输出可以看到，客户端连接的是192.168.0.108:2181进程，客户端已成功连接上zk集群。

注意：连接到那个集群是随机的。

[https_zookeeper.apache.org_releases.html]: https://zookeeper.apache.org/releases.html
[SouthEast]: /images/20220713/95ef59433b584dd09d1f887bc8a60101.png
[SouthEast 1]: /images/20220713/6343e2fa17794691b7e843cfb4d735e0.png
[SouthEast 2]: /images/20220713/2d42ae63c40949a3a52beadde7f7382d.png
[SouthEast 3]: /images/20220713/3292cd64ec6743899b09aa4069701ef2.png
[SouthEast 4]: /images/20220713/87d095191fe84d6abbef9ab13a6b5229.png
[SouthEast 5]: /images/20220713/ab6184e0a38e407cb519d4ed11b085b9.png
[SouthEast 6]: /images/20220713/cd10e372d22e4562a44d47196701d768.png