ZooKeeper在HBase中的应用

╰半夏微凉° 2023-01-07 11:29 302阅读 0赞

ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。

既然ZooKeeper的作用这么大，那我们就来详细说说ZooKeeper在HBase中的应用叭！

一个分布式HBase系统安装依赖于一个运行着的ZooKeeper集群，所有参与的节点和客户端必须能够正常访问运行着的ZooKeeper集群。HBase默认为你提供一个节点的ZooKeeper集群，它会伴随着HBase start/stop进程的启动/停止而启动/停止。那么HBase主要用ZooKeeper来干什么呢？HBase主要用ZooKeeper来实现HMaster选举与主备切换、系统容错、RootRegion管理、Region状态管理和分布式SplitWAL任务管理等。

一，HMaster选举与主备切换

HMaster选举与主备切换的原理和HDFS中NameNode及YARN中ResourceManager的HA原理相同。

二，系统容错

当HBase启动时，每个RegionServer都会到ZooKeeper的/hbase/rs节点下创建一个信息节点（下文中，我们称该节点为”rs状态节点”），例如/hbase/rs/\[Hostname\]，同时，HMaster会对这个节点注册监听。当某个 RegionServer 挂掉的时候，ZooKeeper会因为在一段时间内无法接受其心跳（即 Session 失效），而删除掉该 RegionServer 服务器对应的 rs 状态节点。与此同时，HMaster 则会接收到 ZooKeeper 的 NodeDelete 通知，从而感知到某个节点断开，并立即开始容错工作。

按照上面所说，那为什么HBase不直接让HMaster来负责RegionServer的监控呢？如果HMaster直接通过心跳机制等来管理RegionServer的状态，随着集群越来越大，HMaster的管理负担会越来越重，另外它自身也有挂掉的可能，因此数据还需要持久化。在这种情况下，ZooKeeper就成了理想的选择。

三，Region管理

对于大的HBase集群来说，Region的数量可能会多达十万级别，甚至更多，这样规模的Region状态管理交给ZooKeeper来做也是一个非常nice的选择。

四，分布式SplitWAL任务管理

当某台RegionServer服务器挂掉时，由于总有一部分新写入的数据还没有持久化到HFile中，因此在迁移该RegionServer的服务时，一个重要的工作就是从WAL中恢复这部分还在内存中的数据，而这部分工作最关键的一步就是SplitWAL，即HMaster需要遍历该RegionServer服务器的WAL，并按Region切分成小块移动到新的地址下，并进行日志的回放（replay）。

由于单个RegionServer的日志量相对庞大（可能有上千个Region，上GB的日志），而用户又往往希望系统能够快速完成日志的恢复工作。因此一个可行的方案是将这个处理WAL的任务分给多台RegionServer服务器来共同处理，而这就又需要一个持久化组件来辅助HMaster完成任务的分配。当前的做法是，HMaster会在ZooKeeper上创建一个SplitWAL节点（默认情况下，是/hbase/SplitWAL节点），将“哪个RegionServer处理哪个Region”这样的信息以列表的形式存放到该节点上，然后由各个RegionServer服务器自行到该节点上去领取任务并在任务执行成功或失败后再更新该节点的信息，以通知HMaster继续进行后面的步骤。ZooKeeper在这里担负起了分布式集群中相互通知和信息持久化的角色。

综上，就是ZooKeeper在HBase中的应用，在这里只列举出了一部分，相对说比较突出的作用，其实ZooKeeper在HBase中的应用远不止这些，比如HMaster还依赖ZooKeeper来完成Table的enable/disable状态记录，以及HBase中几乎所有的元数据存储都是放在ZooKeeper上的等等。

发表评论取消回复

表情：

评论列表（有 0 条评论，302人围观）

还没有评论，来说两句吧...

相关阅读

相关 ZooKeeper在HBase中的应用

ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名

╰半夏微凉°/ 2023年01月07日 11:29/ 0 赞/ 303 阅读

相关 ZOOKEEPER在HADOOP中的应用

Zookeeper 简介 Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名

男娘i/ 2022年09月28日 14:25/ 0 赞/ 29 阅读

相关 HBase 在淘宝的应用和优化

本文来自于 [NoSQLFan][]联合作者 [@koven2049][koven2049]，他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都

ゞ浴缸里的玫瑰/ 2022年08月01日 02:55/ 0 赞/ 161 阅读

相关 ZooKeeper原理及其在Hadoop和HBase中的应用

ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名

r囧r小猫/ 2022年06月13日 12:41/ 0 赞/ 205 阅读

相关 zookeeper中没有hbase的master

hbase出了一个错， hbase(main):001:0> list TABLE

蔚落/ 2022年06月12日 03:39/ 0 赞/ 190 阅读

相关 HBase 在淘宝的应用和优化小结

本文来自于NoSQLFan联合作者@[koven2049][]，他在淘宝从事Hadoop及HBase相关的应用和[优化][Link 1]。对Hadoop、HBase都有深入的了

冷不防/ 2022年06月08日 07:44/ 0 赞/ 169 阅读

相关 ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用

2017/02/27 · [IT技术][IT] · [2 评论 ][2]· [Hadoop][], [HBase][], [Zookeeper][] 本文作者： [伯乐在

忘是亡心i/ 2022年05月17日 05:24/ 0 赞/ 148 阅读

相关 Zookeeper分布式一致性原理（十一）：Zookeeper在JStorm中应用

Storm 是Twitter开源的一个高容错的分布式实时计算系统，而JStorm是阿里巴巴集团中间件团队在Storm基础上改造和优化的一个分布式实时计算引擎，它使用Java语言

深碍√TFBOYSˉ_/ 2022年03月25日 10:42/ 0 赞/ 280 阅读

相关 HBASE_API的应用

<table style="width:654px;"> <tbody> <tr> <td style="width:54.6pt;"> <p style="

待我称王封你为后i/ 2022年01月28日 10:25/ 0 赞/ 231 阅读

相关 LSM树在HBase中的应用

LSM树全称是基于日志结构的合并树（Log-Structured Merge-Tree）。No-SQL数据库一般采用LSM树作为数据结构，HBase也不例外。众所周知，RDB

系统管理员/ 2021年05月12日 11:54/ 0 赞/ 470 阅读