ZooKeeper的安装与部署 zk遍历所有子节点树

曾经终败给现在 2022-12-22 09:00 85阅读 0赞

zk承受节点故障是（n-1）/2

.安装zookeeper集群

1.在s100上面上传zk压缩包

>cp /mnt/hgfs/BigData/第九天/zookeeper-3.4.10.tar.gz /data/

解压

>cd /data
    
    >tar -xzvf zookeeper-3.4.10.tar.gz

2.发送到其他节点

>xsync /data/zookeeper-3.4.10

3.配置环境

[/etc/environment]
    
    ZOOKEEPER_HOME=/data/zookeeper-3.4.10
    
    Path=”$Path:/data/zookeeper-3.4.10/bin”

4.重启

>sudo reboot

5.测试

>zk

6.      修改配置文件

>cd /data/zookeeper-3.4.10/conf
    
    >cp zoo_sample.cfg zoo.cfg
    
    >sudo nano zoo.cfg
    
    dataDir=/home/neworigin/zookeeper
    
                           server.1=s100:2888:3888
    
                           server.2=s101:2888:3888
    
                           server.3=s102:2888:3888

server.X=host:port1:port2 的意思， X 表示当前 host 所运行的服务的 zookeeper 服务的 id（在接下来填写 myid 时需要用到）， port1 表示  
zookeeper 中的 follower 连接到 leader 的端口号， port2 表示 leadership 时所用的端口号。

7.发送配置文件

>xsync zoo.cfg

8.      创建文件夹

>xcall mkdir -p/home/neworigin/zookeeper
    
    
    
    >cd /home/neworigin/zookeeper
    
    [s100]
    
    >echo 1 > myid
    
    [s101]
    
    echo 2 > myid
    
    [s102]
    
    echo 3 > myid

文件内容为 zoo.cfg 中 master 所对应的 server.X。

9.      启动集群(s100、s101、s102一起启动zk，尽量避免启动时间差距大)

>zkServer.sh start
    
    >xcall jps查看进程
    
    ------------s100-----------------
    
    3862 QuorumPeerMain
    
    4351 Jps
    
    ------------s101-----------------
    
    3650 QuorumPeerMain
    
    3980 Jps
    
    ------------s102-----------------
    
    3961 Jps
    
    3791 QuorumPeerMain
    
    ------------s103-----------------
    
    3883 Jps
    
    
    
    [查看状态 leader or follower]
    
                        >zkServer.shstatus
    
    [暂停]
    
    >zkServer.sh stop
    
    ~~~~~~~~~~~~~~~
    
    zoo_sample.cfg:

![Center][]

![Center 1][]

s100连接s101:

![Center 2][]

![Center 3][]

其实不用那么麻烦，上面还可用下述方法：

![Center 4][]

\-----![Center 5][]\-------------

![Center 6][]

![Center 7][]

zk.getData();注册观察者，监听zk节点数据的改变。

![Center 8][]

![Center 9][]

\---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

**zk遍历所有子节点树：**

![Center 10][]

![Center 11][]

ZooKeeper可以运行在多种系统平台上面，表1展示了zk支持的系统平台，以及在该平台上是否支持开发环境或者生产环境。

表1：ZooKeeper支持的运行平台

<table> 
 <thead> 
  <tr> 
   <th>系统</th> 
   <th>开发环境</th> 
   <th>生产环境</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Linux</td> 
   <td>支持</td> 
   <td>支持</td> 
  </tr> 
  <tr> 
   <td>Solaris</td> 
   <td>支持</td> 
   <td>支持</td> 
  </tr> 
  <tr> 
   <td>FreeBSD</td> 
   <td>支持</td> 
   <td>支持</td> 
  </tr> 
  <tr> 
   <td>Windows</td> 
   <td>支持</td> 
   <td>不支持</td> 
  </tr> 
  <tr> 
   <td>MacOS</td> 
   <td>支持</td> 
   <td>不支持</td> 
  </tr> 
 </tbody> 
</table>

ZooKeeper是用Java编写的，运行在Java环境上，因此，在部署zk的机器上需要安装Java运行环境。为了正常运行zk，我们需要JRE1.6或者以上的版本。   
对于集群模式下的ZooKeeper部署，3个ZooKeeper服务进程是建议的最小进程数量，而且不同的服务进程建议部署在不同的物理机器上面，以减少机器宕机带来的风险，以实现ZooKeeper集群的高可用。   
ZooKeeper对于机器的硬件配置没有太大的要求。例如，在Yahoo!内部，ZooKeeper部署的机器其配置通常如下：双核处理器，2GB内存，80GB硬盘。

# 二、下载 #

可以从 [https://zookeeper.apache.org/releases.html][https_zookeeper.apache.org_releases.html] 下载ZooKeeper，目前最新的稳定版本为 3.4.8 版本，用户可以自行选择一个速度较快的镜像来下载即可。

# 三、目录 #

下载并解压ZooKeeper软件压缩包后，可以看到zk包含以下的文件和目录：

![这里写图片描述][20160628193500952]   
图1：ZooKeeper软件的文件和目录

*  bin目录   
    zk的可执行脚本目录，包括zk服务进程，zk客户端，等脚本。其中，.sh是Linux环境下的脚本，.cmd是Windows环境下的脚本。
 *  conf目录   
    配置文件目录。zoo\_sample.cfg为样例配置文件，需要修改为自己的名称，一般为zoo.cfg。log4j.properties为日志配置文件。
 *  lib   
    zk依赖的包。
 *  contrib目录   
    一些用于操作zk的工具包。
 *  recipes目录   
    zk某些用法的代码示例

# 四、单机模式 #

ZooKeeper的安装包括单机模式安装，以及集群模式安装。

单机模式较简单，是指只部署一个zk进程，客户端直接与该zk进程进行通信。   
在开发测试环境下，通过来说没有较多的物理资源，因此我们常使用单机模式。当然在单台物理机上也可以部署集群模式，但这会增加单台物理机的资源消耗。故在开发环境中，我们一般使用单机模式。   
但是要注意，生产环境下不可用单机模式，这是由于无论从系统可靠性还是读写性能，单机模式都不能满足生产的需求。

## 4.1 运行配置 ##

上面提到，conf目录下提供了配置的样例zoo\_sample.cfg，要将zk运行起来，需要将其名称修改为zoo.cfg。   
打开zoo.cfg，可以看到默认的一些配置。

*  tickTime   
    时长单位为毫秒，为zk使用的基本时间度量单位。例如，1 \* tickTime是客户端与zk服务端的心跳时间，2 \* tickTime是客户端会话的超时时间。   
    tickTime的默认值为2000毫秒，更低的tickTime值可以更快地发现超时问题，但也会导致更高的网络流量（心跳消息）和更高的CPU使用率（会话的跟踪处理）。
 *  clientPort   
    zk服务进程监听的TCP端口，默认情况下，服务端会监听2181端口。
 *  dataDir   
    无默认配置，必须配置，用于配置存储快照文件的目录。如果没有配置dataLogDir，那么事务日志也会存储在此目录。

## 4.2 启动 ##

在Windows环境下，直接双击zkServer.cmd即可。在Linux环境下，进入bin目录，执行命令

./zkServer.sh start

这个命令使得zk服务进程在后台进行。如果想在前台中运行以便查看服务器进程的输出日志，可以通过以下命令运行：

./zkServer.sh start-foreground

执行此命令，可以看到大量详细信息的输出，以便允许查看服务器发生了什么。

使用文本编辑器打开zkServer.cmd或者zkServer.sh文件，可以看到其会调用zkEnv.cmd或者zkEnv.sh脚本。zkEnv脚本的作用是设置zk运行的一些环境变量，例如配置文件的位置和名称等。

## 4.3 连接 ##

如果是连接同一台主机上的zk进程，那么直接运行bin/目录下的zkCli.cmd（Windows环境下）或者zkCli.sh（Linux环境下），即可连接上zk。   
直接执行zkCli.cmd或者zkCli.sh命令默认以主机号 127.0.0.1，端口号 2181 来连接zk，如果要连接不同机器上的zk，可以使用 -server 参数，例如：

bin/zkCli.sh -server 192.168.0.1:2181

# 五、集群模式 #

单机模式的zk进程虽然便于开发与测试，但并不适合在生产环境使用。在生产环境下，我们需要使用集群模式来对zk进行部署。

> 注意   
> 在集群模式下，建议至少部署3个zk进程，或者部署奇数个zk进程。如果只部署2个zk进程，当其中一个zk进程挂掉后，剩下的一个进程并不能构成一个[quorum][]的大多数。因此，部署2个进程甚至比单机模式更不可靠，因为2个进程其中一个不可用的可能性比一个进程不可用的可能性还大。

## 5. 1 运行配置在集群模式下，所有的zk进程可以使用相同的配置文件（是指各个zk进程部署在不同的机器上面），例如如下配置： ##

tickTime=2000
    
    dataDir=/home/myname/zookeeper
    
    clientPort=2181
    
    initLimit=5
    
    syncLimit=2
    
    server.1=192.168.229.160:2888:3888
    
    server.2=192.168.229.161:2888:3888
    
    server.3=192.168.229.162:2888:3888

*  initLimit   
    ZooKeeper集群模式下包含多个zk进程，其中一个进程为leader，余下的进程为follower。   
    当follower最初与leader建立连接时，它们之间会传输相当多的数据，尤其是follower的数据落后leader很多。initLimit配置follower与leader之间建立连接后进行同步的最长时间。
 *  syncLimit   
    配置follower和leader之间发送消息，请求和应答的最大时间长度。
 *  tickTime   
    tickTime则是上述两个超时配置的基本单位，例如对于initLimit，其配置值为5，说明其超时时间为 2000ms \* 5 = 10秒。
 *  server.id=host:port1:port2   
    其中id为一个数字，表示zk进程的id，这个id也是dataDir目录下myid文件的内容。   
    host是该zk进程所在的IP地址，port1表示follower和leader交换消息所使用的端口，port2表示选举leader所使用的端口。
 *  dataDir   
    其配置的含义跟单机模式下的含义类似，不同的是集群模式下还有一个myid文件。myid文件的内容只有一行，且内容只能为1 - 255之间的数字，这个数字亦即上面介绍server.id中的id，表示zk进程的id。

> 注意   
> 如果仅为了测试部署集群模式而在同一台机器上部署zk进程，server.id=host:port1:port2配置中的port参数必须不同。但是，为了减少机器宕机的风险，强烈建议在部署集群模式时，将zk进程部署不同的物理机器上面。

## 5.2 启动 ##

假如我们打算在三台不同的机器 192.168.229.160，192.168.229.161，192.168.229.162上各部署一个zk进程，以构成一个zk集群。   
三个zk进程均使用相同的 zoo.cfg 配置：

在三台机器dataDir目录（ /home/myname/zookeeper 目录）下，分别生成一个myid文件，其内容分别为1，2，3。然后分别在这三台机器上启动zk进程，这样我们便将zk集群启动了起来。

## 5.3 连接 ##

可以使用以下命令来连接一个zk集群：

bin/zkCli.sh -server 192.168.229.160:2181,192.168.229.161:2181,192.168.229.162:2181

成功连接后，可以看到如下输出：

2016-06-28 19:29:18,074 [myid:] - INFO [main:ZooKeeper@438] - Initiating client connection, connectString=192.168.229.160:2181,192.168.229.161:2181,192.168.229.162:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@770537e4
    
    Welcome to ZooKeeper!
    
    2016-06-28 19:29:18,146 [myid:] - INFO [main-SendThread(192.168.229.162:2181):ClientCnxn$SendThread@975] - Opening socket connection to server 192.168.229.162/192.168.229.162:2181. Will not attempt to authenticate using SASL (unknown error)
    
    JLine support is enabled
    
    2016-06-28 19:29:18,161 [myid:] - INFO [main-SendThread(192.168.229.162:2181):ClientCnxn$SendThread@852] - Socket connection established to 192.168.229.162/192.168.229.162:2181, initiating session
    
    2016-06-28 19:29:18,199 [myid:] - INFO [main-SendThread(192.168.229.162:2181):ClientCnxn$SendThread@1235] - Session establishment complete on server 192.168.229.162/192.168.229.162:2181, sessionid = 0x3557c39d2810029, negotiated timeout = 30000
    
    
    WATCHER::
    
    
    WatchedEvent state:SyncConnected type:None path:null
    
    [zk: 192.168.229.160:2181,192.168.229.161:2181,192.168.229.162:2181(CONNECTED) 0]

图2：客户端连接zk集群的输出日志

从日志输出可以看到，客户端连接的是192.168.229.162:2181进程（连接上哪台机器的zk进程是随机的），客户端已成功连接上zk集群。

# 参考资料 #

1.  [http://zookeeper.apache.org/doc/trunk/zookeeperStarted.html][http_zookeeper.apache.org_doc_trunk_zookeeperStarted.html]
2.  [http://zookeeper.apache.org/doc/trunk/zookeeperAdmin.html][http_zookeeper.apache.org_doc_trunk_zookeeperAdmin.html]
3.  《ZooKeeper分布式系统开发实战》课程，主讲人：玺感
4.  《ZooKeeper分布式过程协同技术详解》，Flavio Junqueira等著，谢超等译
5.  百度百科有关quorum的解释，[http://baike.baidu.com/link?url=pqWrzgH-\_VhMLnscR1iRTpPjovfyhxG-8Qs9HxGutiGi5bhnA\_lX\_pmabLQ-3MiDeigcHRFMYSbFg90RAYVAta][quorum]
6.  《Zookeeper 安装和配置》，[http://coolxing.iteye.com/blog/1871009][http_coolxing.iteye.com_blog_1871009]

[Center]: /images/20221120/9ab3a12c9bd8404ab12777d4ec19eab0.png
[Center 1]: https://img-blog.csdn.net/20171121204141933?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMzY4NjQ2NzI=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 2]: https://img-blog.csdn.net/20171122091625909?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMzY4NjQ2NzI=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 3]: https://img-blog.csdn.net/20171122101114785?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMzY4NjQ2NzI=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 4]: https://img-blog.csdn.net/20171122110109296?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMzY4NjQ2NzI=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 5]: https://img-blog.csdn.net/20171122101503755?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMzY4NjQ2NzI=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 6]: https://img-blog.csdn.net/20171122102018705?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMzY4NjQ2NzI=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 7]: https://img-blog.csdn.net/20171122103030686?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMzY4NjQ2NzI=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 8]: https://img-blog.csdn.net/20171122105312055?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMzY4NjQ2NzI=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 9]: https://img-blog.csdn.net/20171122111332102?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMzY4NjQ2NzI=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 10]: https://img-blog.csdn.net/20171130105429831?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMzY4NjQ2NzI=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 11]: https://img-blog.csdn.net/20171130105543523?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMzY4NjQ2NzI=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[https_zookeeper.apache.org_releases.html]: https://zookeeper.apache.org/releases.html
[20160628193500952]: https://img-blog.csdn.net/20160628193500952
[quorum]: http://baike.baidu.com/link?url=pqWrzgH-_VhMLnscR1iRTpPjovfyhxG-8Qs9HxGutiGi5bhnA_lX_pmabLQ-3MiDeigcHRFMYSbFg90RAYVAta
[http_zookeeper.apache.org_doc_trunk_zookeeperStarted.html]: http://zookeeper.apache.org/doc/trunk/zookeeperStarted.html
[http_zookeeper.apache.org_doc_trunk_zookeeperAdmin.html]: http://zookeeper.apache.org/doc/trunk/zookeeperAdmin.html
[http_coolxing.iteye.com_blog_1871009]: http://coolxing.iteye.com/blog/1871009