2.4.1 hadoop体系之离线计算-Zookeeper分布式服务框架-初识ZooKeeper

骑猪看日落 2022-12-11 07:57 84阅读 0赞

**目录**

1.ZooKeeper的概述

1.1 分布式文件系统?

1.2 Zookeeper 是分布式的

1.3 Zookeeper 能做什么?

2.Zookeeper安装

2.1 第一步：下载zookeeeper的压缩包，下载网址如下

2.2 第二步：解压

2.3 第三步：修改配置文件

2.4 第四步：添加myid配置

2.5 第五步：安装包分发并修改myid的值

2.6 第六步：三台机器启动zookeeper服务

3.Zookeeper的Shell 客户端操作

3.1 进入终端

3.2 命令总结

3.3 命令举例

3.4 Znode 的特点

3.5 Znode 的类型

3.6 通知机制

3.7 会话

--------------------

# 1.ZooKeeper的概述 #

*  Zookeeper 是一个开源的**分布式协调服务框架** ,主要用来解决分布式集群中应用系统的**数据一致性**问题（写请求结束后才能执行读请求，写请求只有leader可以执行，执行完成会让其他follower跟着更改）
 *  Zookeeper 是 Google Chubby 思想的一个开源实现
 *  Zookeeper **本质上是一个分布式文件系统, 适合存放小文件, 通过文件系统来实现分布式协调**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

## **1.1 分布式文件系统?** ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

*  在上图左侧, **Zookeeper 中存储的其实是一个又一个 Znode,** Znode 是 Zookeeper 中的节点
    
     *  Znode 是有路径的, 例如 `/data/host1`, `/data/host2`, 这个路径也可以理解为是 Znode 的 Name
     *  Znode 也可以携带数据, 例如说某个 Znode 的路径是 `/data/host1`, 其值是一个字符串 `"192.168.0.1"`
 *  正因为 Znode 的特性, 所以 Zookeeper 可以对外提供出一个类似于文件系统的试图, 可以通过操作文件系统的方式操作 Zookeeper
    
     *  使用路径获取 Znode
     *  获取 Znode 携带的数据
     *  修改 Znode 携带的数据
     *  删除 Znode
     *  添加 Znode
     *  等等...

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2][]

## **1.2 Zookeeper 是分布式的** ##

首先呢, Zookeeper 是分为服务端和客户端的, 客户端有 Java 的客户端, 有 Shell 命令行的客户端等, 客户端通过一个类似于文件系统的 API 来访问 Zookeeper 集群

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3][]

但是事实上, 客户端最终是直接访问 Zookeeper 集群, 集群中有两大类角色, 一类是 Leader, 一类是 Follower, 其实就是主从, Leader 负责读和写, Follower 只能读, 遇到会产生修改的请求会转发给 Leader 处理, 这是因为 Zookeeper 本质上就是为了在分布式环境中对消息的一致性的支持, 而 Zookeeper 所基于的 ZAB 协议是 Paxos 协议的一个变种, ZAB 协议中是有一个全局的事务生成者, 就是 Leader, 修改设计到在分布式环境下对事务达成一致, 必须由 Leader 发起

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 4][]

举个例子?

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 5][]

比如说一个常见的分布式主从系统, 如果有 ZK 在的话, 主节点不需要和每个从节点保持连接, 只需要监听从节点创建的 Znode, 便可以知道谁在线。

## **1.3 Zookeeper 能做什么?** ##

*  **发布订阅**
 *  **命名服务**
 *  **分布式锁**
 *  **分布式协调**

# 2.Zookeeper安装 #

<table> 
 <thead> 
  <tr> 
   <th>服务器IP</th> 
   <th>主机名</th> 
   <th>myid的值（zk节点编号）</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>192.168.174.100</td> 
   <td>node01</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>192.168.174.110</td> 
   <td>node02</td> 
   <td>2</td> 
  </tr> 
  <tr> 
   <td>192.168.174.120</td> 
   <td>node03</td> 
   <td>3</td> 
  </tr> 
 </tbody> 
</table>

## **2.1 第一步：下载zookeeeper的压缩包，下载网址如下** ##

[http://archive.apache.org/dist/zookeeper/][http_archive.apache.org_dist_zookeeper]

我们在这个网址下载我们使用的zk版本为3.4.9

下载完成之后，上传到我们的linux的/export/softwares路径下准备进行安装

## **2.2 第二步：解压** ##

解压zookeeper的压缩包到/export/servers路径下去，然后准备进行安装

cd /export/software
    
    tar -zxvf zookeeper-3.4.9.tar.gz -C ../servers/

## **2.3 第三步：修改配置文件** ##

第一台机器修改配置文件

cd /export/servers/zookeeper-3.4.9/conf/
    
    cp zoo_sample.cfg zoo.cfg
    
    mkdir -p /export/servers/zookeeper-3.4.9/zkdatas/

**`vim zoo.cfg`**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 6][]

## **2.4 第四步：添加myid配置** ##

在第一台机器的

/export/servers/zookeeper-3.4.9/zkdatas /这个路径下创建一个文件，文件名为myid ,文件内容为1

`echo 1 > /export/servers/zookeeper-3.4.9/zkdatas/myid`

## **2.5 第五步：安装包分发并修改myid的值** ##

安装包分发到其他机器

第一台机器上面执行以下两个命令

`scp -r /export/servers/zookeeper-3.4.9/ node02:/export/servers/`

`scp -r /export/servers/zookeeper-3.4.9/ node03:/export/servers/`

第二台机器上修改myid的值为2

`echo 2 > /export/servers/zookeeper-3.4.9/zkdatas/myid`

第三台机器上修改myid的值为3

`echo 3 > /export/servers/zookeeper-3.4.9/zkdatas/myid`

![20200929160758701.png][]

## **2.6 第六步**：三台机器启动zookeeper服务 ##

三台机器启动zookeeper服务

这个命令三台机器都要执行

`/export/servers/zookeeper-3.4.9/bin/zkServer.sh start`

![20200929160856311.png][]

查看启动状态

`/export/servers/zookeeper-3.4.9/bin/zkServer.sh status`

有自己的选举算法，票数过半，myid越大，越容易称为leader

![20200929161018508.png][]

# 3.Zookeeper的Shell 客户端操作 #

## 3.1 进入终端 ##

![20200929161412858.png][]

## 3.2 命令总结 ##

<table> 
 <thead> 
  <tr> 
   <th>命令</th> 
   <th>说明</th> 
   <th>参数</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>create [-s] [-e] path data acl</code></td> 
   <td>创建Znode</td> 
   <td>-s 指定是顺序节点<br> -e 指定是临时节点</td> 
  </tr> 
  <tr> 
   <td><code>ls path [watch]</code></td> 
   <td>列出Path下所有子Znode</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td><code>get path [watch]</code></td> 
   <td>获取Path对应的Znode的数据和属性</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td><code>ls2 path [watch]</code></td> 
   <td>查看Path下所有子Znode以及子Znode的属性</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td><code>set path data [version]</code></td> 
   <td>更新节点</td> 
   <td>version 数据版本</td> 
  </tr> 
  <tr> 
   <td><code>delete path [version]</code></td> 
   <td>删除节点, 如果要删除的节点有子Znode则无法删除</td> 
   <td>version 数据版本</td> 
  </tr> 
  <tr> 
   <td><code>rmr path</code></td> 
   <td>删除节点, 如果有子Znode则递归删除</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td><code>setquota -n|-b val path</code></td> 
   <td>修改Znode配额</td> 
   <td>-n 设置子节点最大个数<br> -b 设置节点数据最大长度</td> 
  </tr> 
  <tr> 
   <td><code>history</code></td> 
   <td>列出历史记录</td> 
   <td>&nbsp;</td> 
  </tr> 
 </tbody> 
</table>

## 3.3 命令举例 ##

1：创建普通节点

`create /app1 hello`

2: 创建顺序节点

`create -s /app3 world`

3:创建临时节点

`create -e /tempnode world`

4:创建顺序的临时节点

`create -s -e /tempnode2 aaa`

5:获取节点数据

`get /app1`

6:修改节点数据

`set /app1 xxx`

7:删除节点

delete /app1 删除的节点不能有子节点

rmr /app1 递归删除

## 3.4 Znode 的特点 ##

*  文件系统的核心是 `Znode`
 *  如果想要选取一个 `Znode`, 需要使用路径的形式, 例如 `/test1/test11`
 *  Znode 本身并不是文件, 也不是文件夹, Znode 因为具有一个类似于 Name 的路径, 所以可以从逻辑上实现一个树状文件系统
 *  ZK 保证 Znode 访问的原子性, 不会出现部分 ZK 节点更新成功, 部分 ZK 节点更新失败的问题
 *  `Znode` 中数据是有大小限制的, 最大只能为`1M`
 *  `Znode`是由三个部分构成
    
     *  `stat`: 状态, Znode的权限信息, 版本等
     *  `data`: 数据, 每个Znode都是可以携带数据的, 无论是否有子节点
     *  `children`: 子节点列表

## 3.5 Znode 的类型 ##

*  每个`Znode`有两大特性, 可以构成四种不同类型的`Znode`
    
     *  持久性
        
         *  `持久` 客户端断开时, 不会删除持有的Znode
         *  `临时` 客户端断开时, 删除所有持有的Znode, **临时Znode不允许有子Znode**
     *  顺序性
        
         *  `有序` 创建的Znode有先后顺序, 顺序就是在后面追加一个序列号, 序列号是由父节点管理的自增
         *  `无序` 创建的Znode没有先后顺序
 *  `Znode`的属性
    
     *  `dataVersion` 数据版本, 每次当`Znode`中的数据发生变化的时候, `dataVersion`都会自增一下
     *  `cversion` 节点版本, 每次当`Znode`的节点发生变化的时候, `cversion`都会自增
     *  `aclVersion` `ACL(Access Control List)`的版本号, 当`Znode`的权限信息发生变化的时候aclVersion会自增
     *  `zxid` 事务ID
     *  `ctime` 创建时间
     *  `mtime` 最近一次更新的时间
     *  `ephemeralOwner` 如果`Znode`为临时节点, `ephemeralOwner`表示与该节点关联的`SessionId`

## 3.6 通知机制 ##

可以做一个发布/订阅功能，还可以解决hadoop集群中单点故障的问题。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 7][]

*  通知类似于数据库中的触发器, 对某个Znode设置 `Watcher`, 当Znode发生变化的时候, `WatchManager`会调用对应的`Watcher`
 *  **当Znode发生删除, 修改, 创建, 子节点修改的时候, 对应的`Watcher`会得到通知**
 *  `Watcher`的特点
    
     *  **一次性触发** 一个 `Watcher` 只会被触发一次, 如果需要继续监听, 则需要再次添加 `Watcher`
     *  事件封装: `Watcher` 得到的事件是被封装过的, 包括三个内容 `keeperState, eventType, path`

<table> 
 <thead> 
  <tr> 
   <th>KeeperState</th> 
   <th>EventType</th> 
   <th>触发条件</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>&nbsp;</td> 
   <td>None</td> 
   <td>连接成功</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>SyncConnected</td> 
   <td>NodeCreated</td> 
   <td>Znode被创建</td> 
   <td>此时处于连接状态</td> 
  </tr> 
  <tr> 
   <td>SyncConnected</td> 
   <td>NodeDeleted</td> 
   <td>Znode被删除</td> 
   <td>此时处于连接状态</td> 
  </tr> 
  <tr> 
   <td>SyncConnected</td> 
   <td>NodeDataChanged</td> 
   <td>Znode数据被改变</td> 
   <td>此时处于连接状态</td> 
  </tr> 
  <tr> 
   <td>SyncConnected</td> 
   <td>NodeChildChanged</td> 
   <td>Znode的子Znode数据被改变</td> 
   <td>此时处于连接状态</td> 
  </tr> 
  <tr> 
   <td>Disconnected</td> 
   <td>None</td> 
   <td>客户端和服务端断开连接</td> 
   <td>此时客户端和服务器处于断开连接状态</td> 
  </tr> 
  <tr> 
   <td>Expired</td> 
   <td>None</td> 
   <td>会话超时</td> 
   <td>会收到一个SessionExpiredException</td> 
  </tr> 
  <tr> 
   <td>AuthFailed</td> 
   <td>None</td> 
   <td>权限验证失败</td> 
   <td>会收到一个AuthFailedException</td> 
  </tr> 
 </tbody> 
</table>

## 3.7 会话 ##

*  在ZK中所有的客户端和服务器的交互都是在某一个`Session`中的, 客户端和服务器创建一个连接的时候同时也会创建一个`Session`
 *  `Session`会在不同的状态之间进行切换: `CONNECTING`, `CONNECTED`, `RECONNECTING`, `RECONNECTED`, `CLOSED`
 *  ZK中的会话两端也需要进行心跳检测, 服务端会检测如果超过超时时间没收到客户端的心跳, 则会关闭连接, 释放资源, 关闭会话

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221123/79815f441f094837aeac8c63f69a3ea2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: /images/20221123/bd8e8be8e00149f5b87155c24e57674b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2]: /images/20221123/6a9c59411d3d4e698617e1772ed9add6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3]: /images/20221123/149c5685b24846e9b247f142436c39ba.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 4]: /images/20221123/f6ec1226a64146e19d12dd8d63f5731c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 5]: /images/20221123/2f60739f3997435a8bd3d2a70760dfd5.png
[http_archive.apache.org_dist_zookeeper]: http://archive.apache.org/dist/zookeeper/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 6]: /images/20221123/b4b99c514131484e8ffb85dcb85f32ad.png
[20200929160758701.png]: /images/20221123/ff07a73ecb0a4980992f1253d39e0472.png
[20200929160856311.png]: /images/20221123/2a60e60fea7043eb8b2680d1ecce5c85.png
[20200929161018508.png]: /images/20221123/ad0c9d5d570d4e1fb7cb73bf027ee3da.png
[20200929161412858.png]: /images/20221123/82bf8d172ad54754aba2f9cba9a32ecb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 7]: /images/20221123/c859a5b669dc488fb73aeb61cbcd0a1a.png