Hadoop学习之zookeeper（1）

Bertha 。 2022-04-23 08:44 163阅读 0赞

Zookeeper是Hadoop的分布式协调服务。

Zookeeper是简单的，它的核心是一个精简的文件系统，它提供一些简单的操作和额外的抽象操作，如排序和通知。

Zookeeper表现力足够强，它的原语操作是一组丰富的构件，可用于实现很多协调数据结构和协议。如分布式队列，分布式锁和一组同级别的领导者选举等。

Zookeeper具有高可用性，它运行在一组机器之上，并且在设计上具有高可用性，可以帮助系统避免单点故障。

Zookeeper采用松耦合交互方式，参与者不需要彼此了解。

Zookeeper是一个资源库，它提供了一个关于通用协调模式实现和方法的开源共享存储库，能使程序员免于编写这类通用的协议。

Zookeeper也是高性能的，对于以写为主的基准吞吐量，已经超过 10000 ops，以读为主的话还要高好几倍。

Zookeeper可以被看成高可用的文件系统，但它没有文件和目录，因此可以看成一个由节点组成的目录树，节点统一称为znode，最多可以存储1M的内容。Znode的读写操作都是原语操作，即读写都是全部读或全部写，不存在读一部分和写一部分的操作，当然，也不能追加内容。因此，Zookeeper还有个组的概念，可以以组名命名父节点，成员作为子节点。

一个简单的例子：

public class CreateGroup implements Watcher \{

private static final int SESSION\_TIMEOUT = 5000;

private ZooKeeper zk;

private CountDownLatch connectedSignal = new CountDownLatch(1);

public void connect(String hosts) throws IOException, InterruptedException \{

zk = new ZooKeeper(hosts, SESSION\_TIMEOUT, this);

connectedSignal.await();

\}

@Override

public void process(WatchedEvent event) \{ // Watcher interface

if (event.getState() == KeeperState.SyncConnected) \{

connectedSignal.countDown();

\}

\}

public void create(String groupName) throws KeeperException,

InterruptedException \{

String path = "/" + groupName;

String createdPath = zk.create(path, null/\*data\*/, Ids.OPEN\_ACL\_UNSAFE,

CreateMode.PERSISTENT);

System.out.println("Created " + createdPath);

\}

public void close() throws InterruptedException \{

zk.close();

\}

public static void main(String\[\] args) throws Exception \{

CreateGroup createGroup = new CreateGroup();

createGroup.connect(args\[0\]);

createGroup.create(args\[1\]);

createGroup.close();

\}

\}

主要需要理解的一个是 Watcher接口，一个是connectedSignal。

Watcher对象主要接收Zookeeper的回调，以获得各种事件的通知。它接口中只有一个方法，process（WatchedEvent event），根据event的可以做处理。

当一个Zookeeper实例被创建时，会启动一个线程连接到Zookeeper服务。由于构造函数是立即返回，因此使用新建的实例之前，要确保Zookeeper之间的连接已经建立。这时需要使用一个CountDownLatch类来完成这个工作。关于CountDownLatch的使用，可以参考这篇文章：**[浅析][Link 1]Java中CountDownLatch用法**。

Znode以某种方式变化时，观察机制可以让客户端得到通知。因此，可以在读操作如 exists/getChildren/getData上设置观察，写操作create/delete和setData会触发观察器，产生一个观察事件。

Zookeeper客户端API

Zookeeper提供两种API：同步执行的和异步执行的。

同步的直接返回Stat

public Stat exists(String path, Watcher watcher) throws KeeperException, InterruptedException

Stat是包含该znode元数据的对象。

异步接口使用回调实现：

public void exists(String path, Watcher watcher, StatCallback cb, Object ctx)

StatCallback接口有以下方法：

public void processResult(int rc, String path, Object ctx, Stat stat);

其中，rc参数是返回代码，对应KeeperException的代码，每个非零代码都代表一个异常。

异步API允许你一流线方式处理请求，这在某些情况下可以提供更好的吞吐量。对于以事件驱动模型编程来说，异步也更适合。

ACL

每个znode被创建时，都会带一个ACL列表，用于决定谁可以对他执行何种操作。ACL依赖于客户端的身份验证机制。Zookeeper提供三种身份验证模式：

Digest：用户名和密码

Host：主机名

IP：ip地址

每个ACL都是身份验证模式，符合该模式的身份和一组权限的组合。

[Link 1]: http://www.cnblogs.com/shiyanch/archive/2011/04/04/2005233.html

发表评论取消回复

表情：

评论列表（有 0 条评论，163人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop学习1

Hadoop学习1 Hadoop Hadoop是什么 1. Hadoop是一个由Apache基金会所开发的分布式系统基础架构 2. 主要解决海量数据的存储

悠悠/ 2022年12月22日 12:29/ 0 赞/ 117 阅读

相关 Hadoop系列之2、Zookeeper实操

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。目录上一篇zk文章前言集群搭建

一时失言乱红尘/ 2022年09月01日 08:13/ 0 赞/ 184 阅读

相关 Hadoop系列之1、Zookeeper介紹

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。目录概述特性集群角色数据模型

客官°小女子只卖身不卖艺/ 2022年08月31日 15:29/ 0 赞/ 166 阅读

相关安装hadoop+zookeeper

安装hadoop+zookeeper ha 前期工作配置好网络和主机名和关闭防火墙 chkconfig iptables off //关闭防火墙

逃离我推掉我的手/ 2022年07月12日 02:49/ 0 赞/ 165 阅读

相关 [Hadoop] Zookeeper watcher

1. 基本概念 Zookeeper 针对每个节点的操作，都有一个监督站：watcher。 zk watcher有两种，一种是zk server端的，另外一种是zk

你的名字/ 2022年05月15日 10:57/ 0 赞/ 185 阅读

相关 Hadoop学习之zookeeper（2）

本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 [http://hadoop.apache.org/zookeeper/][htt

r囧r小猫/ 2022年04月23日 08:50/ 0 赞/ 178 阅读

相关 Hadoop学习之zookeeper（集群安装）

ZooKeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命

古城微笑少年丶/ 2022年04月23日 08:48/ 0 赞/ 190 阅读

相关 Hadoop学习之zookeeper（1）

Zookeeper是Hadoop的分布式协调服务。 Zookeeper是简单的，它的核心是一个精简的文件系统，它提供一些简单的操作和额外的抽象操作，如排序和通知。 Z

Bertha 。/ 2022年04月23日 08:44/ 0 赞/ 164 阅读

相关 Hadoop之HDFS(1)

1 HDFS概述 HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成：N

朴灿烈づ我的快乐病毒、/ 2022年03月28日 15:30/ 0 赞/ 313 阅读

相关 Hadoop之Zookeeper安装

1、Zookeeper基本安装配置该项的所有操作步骤使用专门用于集群的用户admin进行此项只在一台主机操作，然后在下一步骤进行同步安装与配置首先，Zooke

野性酷女/ 2022年02月19日 10:25/ 0 赞/ 223 阅读