Day08_01_分布式教程之Zookeeper简介

我就是我 2024-01-20 07:52 13阅读 0赞

## Zookeeper简介 ##

### 一. 分布式系统简介 ###

#### 1. 分布式系统 ####

![Image 1][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70][]

上述这张图,在这图中有三台机器,每台机器各跑一个应用程序.然后我们将这三台机器通过网络将其连接起来,构成一个系统来为用户提供服务,对用户来说这个系统的架构是透明的,他感觉不到我们这个系统是一个什么样的架构,那么我们可以把这种系统称作一个分布式系统.

目前,在分布式协调技术方面做得比较好的就是Google的Chubby还有Apache的ZooKeeper.他们都是分布式锁的实现者.既然有了Chubby为什么还要弄一个ZooKeeper,难道Chubby做得不够好吗?主要是Chbby是非开源的,Google自家使用.后来雅虎模仿Chubby开发出了ZooKeeper,也实现了类似的分布式锁的功能,并且将ZooKeeper作为一种开源的程序捐献给了Apache,那么这样就可以使用ZooKeeper所提供的锁服务,而且在分布式领域久经考验,它的可靠性,可用性都是经过理论和实践的验证的.

#### 2. 分布式系统的难题---局部故障 ####

分布式应用是非常困难的,主要原因就是可能存在局部故障.一个消息通过网络在两个节点之间传递时,网络如果发生故障,发送方并不知道接收方是否接收到了这个消息.可能在网络故障前就收到了此消息,也可能没有收到,又或者可能接收方的进程死了.发送方了解消息接受情况的唯一方法就是再次连接发送方,并向他进行询问.

这就是局部故障:根本不知道操作是否成功或失败.因此,大部分分布式应用需要一个主控、协调控制器来管理在物理上分布的子进程.目前,大部分应用需要开发私有的协调程序,缺乏一个通用的机制.协调程序的反复编写浪费时间精力,且难以形成通用、伸缩性好的协调器.协调服务非常容易出错,并很难从故障中恢复.例如：协调服务很容易处于竞态甚至死锁.Zookeeper的设计目的,是为了减轻分布式应用程序所承担的协调任务.

Zookeeper并不能阻止局部故障的发生,因为它们的本质是分布式系统.他当然也不会隐藏局部故障,ZooKeeper的目的就是提供一些工具集,用来建立一个能够安全处理局部故障的分布式应用.

#### 3. 分布式协调技术 ####

分布式协调技术主要用来解决分布式环境当中多个进程之间的同步控制,让他们有序的去访问某种临界资源,防止造成"脏数据"的后果.  
![Image 1][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70 1][]

在这个分布式系统中如何对进程进行调度,我们假设在第一台机器上挂载了一个资源,然后这三个物理分布的进程都要竞争这个资源,但我们又不希望他们同时进行访问,这时候我们就需要一个**协调器**,来让他们有序的来访问这个资源.这个协调器就是我们经常提到的那个**锁**,比如说"进程1"在使用该资源的时候,会先去获得锁，"进程1"获得锁以后会对该资源保持**独占**,这样其他进程就无法访问该资源,"进程1"用完该资源以后就将锁释放掉,让其他进程来获得锁.那么通过这个锁机制,我们就能保证了分布式系统中多个进程能够有序的访问该临界资源.那么我们把这个分布式环境下的这个锁叫作**分布式锁**.这个分布式锁也就是我们**分布式协调技术**实现的核心内容.

### 二. Zookeeper简介 ###

`ZooKeeper` 是一种分布式协调服务,它通过简单的架构和 API 解决在分布式环境中协调和管理服务的这个问题.`ZooKeeper` 允许开发人员专注于核心应用程序逻辑,而不必担心应用程序的分布式特性.

分布式协调技术主要用来解决分布式环境当中多个进程之间的同步控制,让他们有序的去访问某种临界资源,防止造成"脏数据"的后果.

#### 1. Zookeeper是什么? ####

ZooKeeper译为“动物园管理员”.动物园里有好多的动物,游客可以根据动物园提供的向导图到不同的场馆观赏各种类型的动物,而不是像走在原始丛林里,心惊胆颤的被动物所观赏.为了让各种不同的动物呆在它们应该呆的地方,而不是相互串门,或是相互厮杀,就需要动物园管理员按照动物的各种习性加以分类和管理,这样我们才能更加放心安全的观赏动物.

回到企业级应用系统中,随着信息化水平的不断提高,企业级系统变得越来越庞大臃肿,性能急剧下降,客户抱怨频频.拆分系统是目前我们可选择的解决系统可伸缩性和性能问题的唯一行之有效的方法.但是拆分系统同时也带来了系统的复杂性——各子系统不是孤立存在的,它们彼此之间需要协作和交互,这就是我们常说的分布式系统了.各个子系统就好比动物园里的动物,为了使各个子系统能正常为用户提供统一的服务,必须需要一种机制来进行协调——这就是ZooKeeper(动物园管理员).

Zoopkeeper提供了一套很好的分布式集群管理的机制,它基于层次型目录树的数据结构,并对树中的节点进行有效管理,从而可以设计出多种多样的分布式的数据管理模型.

如图所示:  
![Image 1][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70 2][]

***(原理)ZooKeeper是一个分布式小文件系统,具有高可用性,它通过选举算法和集群复制来避免单点故障.由于是一个文件系统,所以即使所有的ZooKeeper节点全部挂掉,数据也不会丢失,重启服务器之后,数据即可恢复.另外ZooKeeper的节点更新是原子的,也就是说更新不是成功就是失败.Zookeeper通过版本号实现了更新的乐观锁,当版本号不相符时,则表示待更新的节点已经被其他客户端提前更新了,而当前的整个更新操作将全部失败.***当然所有的一切ZooKeeper已经为开发者提供了保障,我们需要做的只是调用API.与此同时,随着分布式应用的的不断深入,需要对集群管理逐步透明化地监控集群和作业状态,可以充分利ZK的独有特性.

ZooKeeper性能上的特点决定了它能够用在大型的、分布式的系统当中.从可靠性方面来说,它并不会因为一个节点的错误而崩溃.除此之外,它严格的序列访问控制意味着复杂的控制原语可以应用在客户端上.ZooKeeper在一致性、可用性、容错性的保证,也是ZooKeeper的成功之处,它获得的一切成功都与它采用的协议——ZAB协议是密不可分的.

#### 2. Zookeeper在项目中的应用 ####

ZooKeeper本质上是一个分布式的小文件存储系统.原本是Apache Hadoop的一个组件,现在被拆分为一个`Hadoop`的独立子项目,在HBase(Hadoop的另外一个被拆分出来的子项目,用于分布式环境下的超大数据量的`DBMS`)中也用到了`ZooKeeper`集群.

Hadoop使用`Zookeeper`的事件处理确保整个集群只有一个`NameNode`,存储配置信息等.

HBase使用`Zookeeper`的事件处理确保整个集群只有一个HMaster,察觉HRegionServer联机和宕机,存储访问控制列表等.

在`ZooKeeper`诞生的地方——Yahoo!他被用作雅虎消息代理的协调和故障恢复服务.雅虎消息代理是一个高度可扩展的发布-订阅系统,他管理着成千上万台联及程序和信息的控制系统.它的吞吐量标准已经达到大约每秒10000基于写操作的工作量.对于读操作的工作量来说,它的吞吐量标准还要高几倍.

#### 3. Zookeeper的特点 ####

分布式环境下的程序和活动为了达到协调一致的目的,通常具有某些共同的特点，例如,简单性、有序性等.`ZooKeeper`不但在这些目标的实现上有自身特点,并且具有独特优势:

1️⃣. 简单化

ZooKeeper允许各分布式进程通过一个共享的命名空间相互联系,该命名空间类似于一个标准的层次型文件系统:由若干注册了的数据节点构成(用`Zookeeper`的术语叫`ZNode`),这些节点类似于文件和目录.典型的文件系统是基于存储设备的,传统的文件系统主要用于存储功能,然而`ZooKepper`的数据是保存在内存中的.也就是说,可以获得高吞吐和低延迟.

ZooKeeper的实现非常重视高性能、高可靠,以及严格的有序访问.

高性能保证了`ZooKeeper`可以用于大型的分布式系统,高可靠保证了`ZooKeeper`不会发生单点故障,严格的顺序访问保证了客户端可以获得复杂的同步操作原语.

2️⃣. 健壮性

就像`ZooKeeper`需要协调的分布式系统一样,它本身就具有冗余结构,构建在一系列主机之上,叫做一个”ensemble”.

构成ZooKeeper服务的各服务器之间必须相互知道,它们维护着一个状态信息的内存映像,以及在持久化存储中维护着事务日志和快照.只要大部分服务器正常工作,`ZooKeeper`服务就能正常工作.

客户端通过TCP协议连接到一台ZooKeeper服务器,并且由客户端维护这个TCP连接,通过这个连接,客户端可以发送请求、得到应答,得到监视事件以及发送心跳.如果这个连接断了,客户端可以连接到另一个ZooKeeper服务器.

3️⃣. 有序性

ZooKeeper给每次更新附加一个数字标签,表明ZooKeeper中的事务顺序,后续操作可以利用这个顺序来完成更高层次的抽象功能,例如同步原语.

4️⃣. 速度优势

ZooKeeper特别适合于以读为主要负荷的场合.`ZooKeeper`可以运行在数千台机器上,如果大部分操作为读,例如读写比例为10:1,`ZooKeeper`的效率会很高.

#### 4. Zookeeper使用场景 ####

4.1 分布式锁

这是雅虎研究员设计 `Zookeeper` 的初衷,利用 `Zookeeper` 的临时顺序节点,可以轻松实现分布式锁.

4.2 服务注册和发现

利用 `ZNode` 和 `Watcher`,可以实现分布式服务的注册和发现,最著名的应用就是阿里的分布式 `RPC` 框架 `Dubbo`.

4.3 共享配置和状态信息

`Redis` 的分布式解决方案 `Codis`,就利用了 `Zookeeper` 来存放数据路由表和 `codis-proxy` 节点的元信息.同时 `codis-config` 发起的命令都会通过 `ZooKeeper` 同步到各个存活的 `codis-proxy`.

此外,`Kafka、HBase、Hadoop`,也都依靠`Zookeeper`同步节点信息,实现高可用.

#### 5. Zookeeper的工作模式 ####

*  1️⃣.**单机模式:** 存在单点故障;
 *  2️⃣.**集群模式:** 在多台机器上部署 Zookeeper 集群,适合线上环境使用;
 *  3️⃣.**伪集群模式:** 在一台机器同时运行多个 Zookeeper 实例,仍然有单点故障问题,当然,其中配置的端口号要错开的,适合实验环境模拟集群使用.

[Image 1]: 
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/20/ced3582dc08847b7854cc4845107fe37.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/20/70b145ea5eab41e88c4978cfdd3fd0a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/20/aa5bbcf206be47daacab081066b1ac2d.png