Hadoop系列之2、Zookeeper实操

一时失言乱红尘 2022-09-01 08:13 184阅读 0赞

### 目录 ###

*  上一篇zk文章
 *  前言
 *  集群搭建
 *   *  第一步：下载zookeeper的压缩包，下载网址如下
     *  第二步：解压
     *  第三步：修改配置文件
     *  第四步：添加myid配置
     *  第五步：安装包分发并修改myid的值
     *  第六步:添加环境变量
     *  第七步：三台机器启动zookeeper服务
 *  一键启动zk脚本
 *  ZooKeeper的shell操作
 *  ZooKeeper Java API操作
 *  结束

# 上一篇zk文章 #

[https://blog.csdn.net/l848168/article/details/119113397][https_blog.csdn.net_l848168_article_details_119113397]

# 前言 #

> 上一篇文章介绍了zookeeper的基本概念和组成、节点还有一些选举机制，这篇文章主要介绍zookeeper的hell和java操作以及集群搭建。

# 集群搭建 #

Zookeeper集群搭建指的是ZooKeeper分布式模式安装。通常由**2n+1**台server组成。这是因为为了保证Leader选举（基于Paxos算法的实现）能过得到多数的支持，所以ZooKeeper集群的数量一般为奇数。  
Zookeeper运行需要java环境，所以需要**提前安装jdk**。对于安装**leader+follower模式**的集群，大致过程如下：  
**1) 配置主机名称到IP地址映射配置  
2) 修改ZooKeeper配置文件  
3) 远程复制分发安装文件  
4) 设置myid  
5) 启动ZooKeeper集群**

如果要想使用Observer模式，可在对应节点的配置文件添加如下配置：  
peerType=observer  
其次，必须在配置文件指定哪些节点被指定为Observer，如：  
server.1:node1:2181:3181:observer  
其次，必须在配置文件指定哪些节点被指定为 Observer，如：  
server.1:localhost:2181:3181:observer

这里，我们安装的是**leader+follower模式**

<table> 
 <thead> 
  <tr> 
   <th>服务器IP</th> 
   <th>主机名</th> 
   <th>myid的值</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>192.168.88.161</td> 
   <td>node1</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>192.168.88.162</td> 
   <td>node2</td> 
   <td>2</td> 
  </tr> 
  <tr> 
   <td>192.168.88.163</td> 
   <td>node3</td> 
   <td>3</td> 
  </tr> 
 </tbody> 
</table>

## 第一步：下载zookeeper的压缩包，下载网址如下 ##

> [http://archive.apache.org/dist/zookeeper/][http_archive.apache.org_dist_zookeeper]  
> 我们在这个网址下载我们使用的zk版本为3.4.6  
> 下载完成之后，上传到我们的linux的/export/software路径下准备进行安装

## 第二步：解压 ##

> 在node1主机上，解压zookeeper的压缩包到/export/server路径下去，然后准备进行安装

cd /export/software
    tar -zxvf zookeeper-3.4.6.tar.gz -C  /export/server/

## 第三步：修改配置文件 ##

> 在node1主机上，修改配置文件

cd /export/server/zookeeper-3.4.6/conf/
    cp zoo_sample.cfg zoo.cfg
    mkdir -p /export/server/zookeeper-3.4.6/zkdatas/
    vim  zoo.cfg

修改以下内容

#Zookeeper的数据存放目录
    dataDir=/export/server/zookeeper-3.4.6/zkdatas
    # 保留多少个快照
    autopurge.snapRetainCount=3
    # 日志多少小时清理一次
    autopurge.purgeInterval=1
    # 集群中服务器地址
    server.1=node1:2888:3888
    server.2=node2:2888:3888
    server.3=node3:2888:3888

## 第四步：添加myid配置 ##

> 在node1主机的/export/server/zookeeper-3.4.6/zkdatas/这个路径下创建一个文件，文件名为myid ,文件内容为1

echo 1 > /export/server/zookeeper-3.4.6/zkdatas/myid

## 第五步：安装包分发并修改myid的值 ##

> 在node1主机上，将安装包分发到其他机器  
> 第一台机器上面执行以下两个命令

scp -r  /export/server/zookeeper-3.4.6/ node2:/export/server/
    scp -r  /export/server/zookeeper-3.4.6/ node3:/export/server/

第二台机器上修改myid的值为2

echo 2 > /export/server/zookeeper-3.4.6/zkdatas/myid

第三台机器上修改myid的值为3

echo 3 > /export/server/zookeeper-3.4.6/zkdatas/myid

## 第六步:添加环境变量 ##

vim /etc/profile  #添加以下内容，三台都要进行
    
    export ZOOKEEPER_HOME=/export/server/zookeeper-3.4.6
    export PATH=:$ZOOKEEPER_HOME/bin:$PATH

**三台主机:source /etc/profile**

## 第七步：三台机器启动zookeeper服务 ##

> 三台机器分别启动zookeeper服务  
> 这个命令三台机器都要执行

/export/server/zookeeper-3.4.6/bin/zkServer.sh start

三台主机分别查看启动状态

/export/server/zookeeper-3.4.6/bin/zkServer.sh  status

# 一键启动zk脚本 #

> 我自己写了个一键启动、查询、停止、重启脚本，这样每次启动也不用一台一台启动了。

#!/bin/bash
    
    echo "zk集群一键启动、停止、重启、查询状态脚本。。。。"
    command_array=("一键启动" "一键停止" "查询状态" "一键重启")
    
    operateFun(){ 
         for var in node1 node2 node3
         do
            ssh $var "source /etc/profile; zkServer.sh $1"
         done
    }
    
    PS3="请输入对应编号，会执行zookeeper集群的相应命令："
    select var in ${ command_array[*]}
    do
     case $var in
          "一键启动")
          operateFun start
          ;;
          "一键停止")
          operateFun stop
          ;;
          "查询状态")
          operateFun status
          ;;
          "一键重启")
          operateFun restart
          ;;
          *)
           echo "编号错误！"
          ;;
     esac
     exit
    done

# ZooKeeper的shell操作 #

**3.1. 客户端连接**

运行 zkCli.sh –server ip 进入命令行工具

bin/zkCli.sh  -server node1:2181

**3.2. shell基本操作**

**3.2.1. 操作命令**

<table> 
 <thead> 
  <tr> 
   <th>命令</th> 
   <th>说明</th> 
   <th>参数</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>create [-s] [-e] path data [acl]</td> 
   <td>创建Znode</td> 
   <td>-s 指定是顺序节点<br>-e 指定是临时节点</td> 
  </tr> 
  <tr> 
   <td>ls path [watch]</td> 
   <td>列出Path下所有子Znode</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>get path [watch]</td> 
   <td>获取Path对应的Znode的数据和属性</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>ls2 path [watch]</td> 
   <td>查看Path下所有子Znode以及子Znode的属性</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>set path data [version]</td> 
   <td>更新节点</td> 
   <td>version 数据版本</td> 
  </tr> 
  <tr> 
   <td>delete path [version]</td> 
   <td>删除节点, 如果要删除的节点有子Znode则无法删除</td> 
   <td>version 数据版本</td> 
  </tr> 
  <tr> 
   <td>rmr path</td> 
   <td>删除节点, 如果有子Znode则递归删除</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>setquota -n</td> 
   <td>-b val path</td> 
   <td>修改Znode配额</td> 
  </tr> 
  <tr> 
   <td>history</td> 
   <td>列出历史记录</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

**3.2.2. 操作实例**

**1：创建普通节点**

create /app1 hello

**2: 创建顺序节点**

create -s /app2 world

**3:创建临时节点**

create -e /tempnode world

**4:创建顺序的临时节点**

create -s -e /tempnode2 aaa

**5:获取节点数据**

get /app1

**6:修改节点数据**

set /app1 hadoop

**7:删除节点**

delete /app1 删除的节点不能有子节点

rmr /app1 递归删除

**3.2.3. 节点属性**

每个znode都包含了一系列的属性，通过命令get，可以获得节点的属性。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2w4NDgxNjg_size_16_color_FFFFFF_t_70]

> dataVersion：数据版本号，每次对节点进行set操作，dataVersion的值都会增加1（即使设置的是相同的数据），可有效避免了数据更新时出现的先后顺序问题。  
> cversion ：子节点的版本号。当znode的子节点有变化时，cversion 的值就会增加1。  
> cZxid ：Znode创建的事务id。  
> mZxid ：Znode被修改的事务id，即每次对znode的修改都会更新mZxid。  
> 对于zk来说，每次的变化都会产生一个唯一的事务id，zxid（ZooKeeper Transaction Id）。通过zxid，可以确定更新操作的先后顺序。例如，如果zxid1小于zxid2，说明zxid1操作先于zxid2发生，zxid对于整个zk都是唯一的，即使操作的是不同的znode。  
> ctime：节点创建时的时间戳.  
> mtime：节点最新一次更新发生时的时间戳.  
> ephemeralOwner:如果该节点为临时节点, ephemeralOwner值表示与该节点绑定的session id. 如果不是, ephemeralOwner值为0.  
> 在client和server通信之前,首先需要建立连接,该连接称为session。连接建立后,如果发生连接超时、授权失败,或者显式关闭连接,连接便处于CLOSED状态, 此时session结束。

**3.3. ZooKeeper Watcher（监听机制）**

> ZooKeeper提供了分布式数据发布/订阅功能，一个典型的发布/订阅模型系统定义了一种一对多的订阅关系，能让多个订阅者同时监听某一个主题对象，当这个主题对象自身状态变化时，会通知所有订阅者，使他们能够做出相应的处理。  
> ZooKeeper中，引入了Watcher机制来实现这种分布式的通知功能。ZooKeeper允许客户端向服务端注册一个Watcher监听，当服务端的一些事件触发了这个Watcher，那么就会向指定客户端发送一个事件通知来实现分布式的通知功能。  
> 触发事件种类很多，如：节点创建，节点删除，节点改变，子节点改变等。  
> 总的来说可以概括Watcher为以下三个过程：客户端向服务端注册Watcher、服务端事件发生触发Watcher、客户端回调Watcher得到触发事件情况

**3.3.1. Watch机制特点**

> **一次性触发**  
> 事件发生触发监听，一个watcher event就会被发送到设置监听的客户端，这种效果是一次性的，后续再次发生同样的事件，不会再次触发。  
> **事件封装**  
> ZooKeeper使用WatchedEvent对象来封装服务端事件并传递。  
> WatchedEvent包含了每一个事件的三个基本属性：  
> 通知状态（keeperState），事件类型（EventType）和节点路径（path）  
> **event异步发送**  
> watcher的通知事件从服务端发送到客户端是异步的。  
> **先注册再触发**  
> Zookeeper中的watch机制，必须客户端先去服务端注册监听，这样事件发送才会触发监听，通知给客户端。

**3.3.2. 通知状态和事件类型**

> 同一个事件类型在不同的通知状态中代表的含义有所不同，下表列举了常见的通知状态和事件类型。  
> 事件封装: **Watcher** 得到的事件是被封装过的, 包括三个内容 **keeperState, eventType, path**

<table> 
 <thead> 
  <tr> 
   <th>KeeperState</th> 
   <th>EventType</th> 
   <th>触发条件</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td></td> 
   <td>None</td> 
   <td>连接成功</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>SyncConnected</td> 
   <td>NodeCreated</td> 
   <td>Znode被创建</td> 
   <td>此时处于连接状态</td> 
  </tr> 
  <tr> 
   <td>SyncConnected</td> 
   <td>NodeDeleted</td> 
   <td>Znode被删除</td> 
   <td>此时处于连接状态</td> 
  </tr> 
  <tr> 
   <td>SyncConnected</td> 
   <td>NodeDataChanged</td> 
   <td>Znode数据被改变</td> 
   <td>此时处于连接状态</td> 
  </tr> 
  <tr> 
   <td>SyncConnected</td> 
   <td>NodeChildChanged</td> 
   <td>Znode的子Znode数据被改变</td> 
   <td>此时处于连接状态</td> 
  </tr> 
  <tr> 
   <td>Disconnected</td> 
   <td>None</td> 
   <td>客户端和服务端断开连接</td> 
   <td>此时客户端和服务器处于断开连接状态</td> 
  </tr> 
  <tr> 
   <td>Expired</td> 
   <td>None</td> 
   <td>会话超时</td> 
   <td>会收到一个SessionExpiredExceptio</td> 
  </tr> 
  <tr> 
   <td>AuthFailed</td> 
   <td>None</td> 
   <td>权限验证失败</td> 
   <td>会收到一个AuthFailedException</td> 
  </tr> 
 </tbody> 
</table>

其中连接状态事件(type=None, path=null)不需要客户端注册，客户端只要有需要直接处理就行了。

**3.3.3. Shell 客户端设置watcher**

> 设置节点数据变动监听：  
> ![在这里插入图片描述][5b1a8d1815b54963878063c6f7972813.png]  
> 通过另一个客户端更改节点数据：  
> ![在这里插入图片描述][5b5d386e494d4cb8bfedc87277ef8f35.png]  
> 此时设置监听的节点收到通知：  
> ![在这里插入图片描述][9ec74120c07d4588ab2e90df0d1279dc.png]

# ZooKeeper Java API操作 #

> 这里操作Zookeeper的JavaAPI使用的是一套zookeeper客户端框架 Curator ，解决了很多Zookeeper客户端非常底层的细节开发工作 。

Curator包含了几个包：  
**curator-framework**：对zookeeper的底层api的一些封装  
**curator-recipes**：封装了一些高级特性，如：Cache事件监听、选举、分布式锁、分布式计数器等  
Maven依赖(使用curator的版本：2.12.0，对应Zookeeper的版本为：3.4.x，如果跨版本会有兼容性问题，很有可能导致节点操作失败)：

**4.1. 引入maven坐标**

<dependencies>
            <dependency>
                <groupId>org.apache.curator</groupId>
                <artifactId>curator-framework</artifactId>
                <version>2.12.0</version>
            </dependency>
    
            <dependency>
                <groupId>org.apache.curator</groupId>
                <artifactId>curator-recipes</artifactId>
                <version>2.12.0</version>
            </dependency>
    
            <dependency>
                <groupId>com.google.collections</groupId>
                <artifactId>google-collections</artifactId>
                <version>1.0</version>
            </dependency>
            <dependency>
                <groupId>junit</groupId>
                <artifactId>junit</artifactId>
                <version>RELEASE</version>
            </dependency>
            <dependency>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-simple</artifactId>
                <version>1.7.25</version>
            </dependency>
        </dependencies>
    
        <build>
            <plugins>
                
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-compiler-plugin</artifactId>
                    <version>3.2</version>
                    <configuration>
                        <source>1.8</source>
                        <target>1.8</target>
                        <encoding>UTF-8</encoding>
                    </configuration>
                </plugin>
            </plugins>
       </build>

**4.2. 节点的操作**

/* 创建节点 */
    @Test
    public void createZnode() throws Exception { 
    	//1:定制一个重试策略
    	/* param1: 重试的间隔时间 param2:重试的最大次数 */
    	RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000,1);
    	//2:获取一个客户端对象
    	/* param1:要连接的Zookeeper服务器列表 param2:会话的超时时间 param3:链接超时时间 param4:重试策略 */
    	String connectionStr = "192.168.88.161:2181,192.168.88.162:2181,192.168.88.163:2181";
    	CuratorFramework client = CuratorFrameworkFactory.newClient(connectionStr, 8000, 8000, retryPolicy);
    
    	//3:开启客户端
    	client.start();
    	//4:创建节点
    	/* 节点类型: CreateMode.PERSISTENT:永久节点 CreateMode.PERSISTENT_SEQUENTIAL:永久序列化节点 CreateMode.EPHEMERAL:临时节点 CreateMode.EPHEMERAL_SEQUENTIAL:临时序列化节点 /hello2 :节点路径 world :节点数据 */
    	client.create().creatingParentsIfNeeded().withMode(CreateMode.PERSISTENT).forPath("/hello2","world".getBytes());
    	//5:关闭客户端
    	client.close();
    }

# 结束 #

> zookeeper的教程一共分为2篇，到这里就结束了。

[https_blog.csdn.net_l848168_article_details_119113397]: https://blog.csdn.net/l848168/article/details/119113397
[http_archive.apache.org_dist_zookeeper]: http://archive.apache.org/dist/zookeeper/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2w4NDgxNjg_size_16_color_FFFFFF_t_70]: /images/20220829/15d248420f164db08541073b9ce8469f.png
[5b1a8d1815b54963878063c6f7972813.png]: /images/20220829/3cf22fc368f945b99fbb78250f15397a.png
[5b5d386e494d4cb8bfedc87277ef8f35.png]: /images/20220829/e1278d13d2a647298f024860333fc25e.png
[9ec74120c07d4588ab2e90df0d1279dc.png]: /images/20220829/bce521e556ed404fba95d9f3f7fdfe20.png