HBase在CentOS上分布集群安装

ゝ一纸荒年。 2022-09-03 14:20 236阅读 0赞

# 场景 #

CentOS7上搭建Hadoop集群(入门级)：

[https://blog.csdn.net/BADAO\_LIUMANG\_QIZHI/article/details/119335883][https_blog.csdn.net_BADAO_LIUMANG_QIZHI_article_details_119335883]

在上面搭建起来Hadoop的环境后，进行HBase的安装。

## HBase ##

HBase是一个基于HDFS的面向列的分布式数据库，源于Google的

BigTable论文。HDFS基于流式数据访问，低时间延迟的数据访问并不

适合在HDFS上运行。所以，如果需要实时地随机访问超大规模数据集，使用HBase

是更好的选择。

## HBase体系结构 ##

HBase同样是采用Master/Slaves的主从服务器结构，它由一个HMaster服务器和多

个HRegionServer服务器构成，而所有服务器都是通过ZooKeeper协调并处理各服务器

运行期间可能遇到的错误。HMaster负责管理所有的HRegionServer，各HRegionServer

负责存储许多HRegion，每一个HRegion是对HBase逻辑表的分块。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70][]

## HRegion ##

HBase使用表(Table)存储数据集，表由行和列组成，这与关系型数据库类似。

但是在HBase中，当表的大小超过设定值时，HBase会自动将表划分为不同的区域

(Region)，每个区域称为一个HRegion，它是HBase集群上分布式存储和负载均衡

的最小单位，在这一点上，表和HRegion类似于HDFS中文件与文件块的概念。一个

HRegion中保存一个表中一段连续的数据，通过表名和主键范围(开始主键~结束主键)

来区分每一个HRegion。最开始，一个表只有一个HRegion，随着HRegion逐渐变大，

直到超出设定的闽值大小，便会在某行的边界把表分成两个大小基本相同的HRegion,

称为HRegion分裂。

## HRegionServer ##

HRegionServer负责响应用户I/O请求，向HDFS中读写数据，一台机器上只运行

一个HRegionServera HRegionServer包含两部分:HLog部分和HRegion部分。

HLog用于存储数据日志，实质是HDFS的Sequence File。到达HRegion的写操作

首先被追加到日志中，然后才被加入内存中的MemStoreo HLog文件主要用于故障恢复。

例如某台HRegionServer发生故障，那么它所维护的HRegion会被重新分配到新的机器

上，新的HRegionServer在加载HRegion的时候可以通过HLog对数据进行恢复。

HRegion由多个HRegion组成，每个HRegion对应表中的一个分块，并且每一个

HRegion只会被一个HRegionServer管理。

## HMaster ##

每台HRegionServer都会和HMaster服务器通信。HMaster的主要任务就是告诉每

个HRegionServer它要维护哪些HRegion 。

在HBase中可以启动多个HMaster，通过ZooKeeper的Master选举机制来保证系

统中总有一个Master在运行。HMaster的具体包括以下功能。

1、管理用户对表的增、删、改、查操作。

2、管理HRegionServer的负载均衡，调整HRegion分布。

3、在HRegion分裂后，负责新HRegion的分配。

4、在HRegionServer停机后，负责失效HRegionServer上的HRegion迁移。

## ZooKeeper ##

ZooKeeper存储的是HBase中的一ROOT表和.META.表的位置，这是HBase中两

张特殊的表，称为根数据表(-ROOT-)和元数据表(.META. )。.META表记录普通用

户表的HRegion标识符信息，每个HRegion的标识符为:表名+开始主键十唯一ID。

随着用户表的HRegion的分裂，.META表的信息也会增加，并且还可能会被分割为几

个HRegion，此时可以用一个-ROOT-表来保存META的HRegion信息，而-ROOT-表

是不能被分割的，也就是-ROOT表只有一个HRegion。那么客户端(Client)在访问

用户数据前需要先访问ZooKeeper，然后访问一ROOT表，接着访问.META.表，最后

才能找到用户数据所在的位置进行访问。

此外ZooKeeper还负责监控各个机器的状态，之前各机器需要在ZooKeeper中注册一

个实例。当某台HRegionServer发生故障时，通知HMaster进行HRegion迁移;若HMaster

发生故障，ZooKeeper负责恢复HMaster，并且保证同时有且只有一台HMaster运行。

## 特点 ##

HBase是一个基于列模式的映射数据库，它只能表示简单的键一值的映射关

系。与关系型数据库相比，它具有如下特点。

1、数据类型:

HBase只有简单的字符串类型，它只保存字符串.而关系型数据库有着丰富的类型选择和存储方式。

2、数据操作:

HBase只有简单的插入、查询、删除、清空等操作，表和表之间是

分离的，没有复杂的表和表之间的关系，所以不能也没有必要实现表和表之间

的关联操作。而关系型数据库有多种连接操作。

3、存储模式:

HBase是基于列存储的，每个列族都由几个文件保存，不同列族的

文件是分离的。而关系型数据库是基于表格结构和行模式存储的。

4、数据维护:

HBase的更新操作实际上是插入了新的数据，它的旧版本依然会保留，

而关系型数据库是替换修改。

5、可伸缩性:

HBase这类分布式数据库就是为了这个目的而开发出来的，所以它

能够轻松地增加或减少硬件数量，并且对错误的兼容性也比较高。而关系型数

据库通常需要增加中间层才能实现类似的功能。

注：

博客：  
[https://blog.csdn.net/badao\_liumang\_qizhi][https_blog.csdn.net_badao_liumang_qizhi]  
关注公众号  
霸道的程序猿  
获取编程相关电子书、教程推送与免费下载。

# 实现 #

1、首先下载HBase的安装包

[https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/][https_mirrors.tuna.tsinghua.edu.cn_apache_hbase]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70 1][]

这里选择2.4.5版本下的bin.tar.gz的文件下载

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70 2][]下载成功之后将其上传并解压到master服务器上

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70 3][]  
目录文件说明：

bin: 包含了所有可执行命令与脚本

conf:配置文件目录

hbase-webapps:存储Web应用的目录，这些应用主要用于查看HBase的运行状态。

默认访问地址[http://master:16010][http_master_16010],其中master是HBase Mater服务器地址。

lib:jar文件目录，包括第三方依赖与Hadoop相关jar文件，其中Hadoop相关jar文件最好能与实际运行的Hadoop版本一致。

logs:日志文件

2、分布模式的HBase会运行在多个节点上，通常是将HBase的HMaster运行在HDFS的NameNode上，而

将HRegionServer运行在HDFS的DataNode上。

进入到conf目录，修改配置文件

修改hbase-site.xml

<configuration>
      <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
      </property>
      <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
      </property>
      <property>
        <name>hbase.master</name>
        <value>master:600000</value>
      </property>
        <property>
        <name>hbase.zookeeper.quorum</name>
        <value>master,slave1,slave2</value>
      </property>
    </configuration>

说明：

hbase.cluster.distributed 配置HBase为完全分布式

hbase.master 配置HMaster的地址

hbase.zookeeper.quorum 配置Zookeeper集群中所有服务器的位置

hbase.rootdir 配置HRegionServer的数据库存储目录

3、修改hbase-env.sh

此文件是来配置全局HBase集群系统的特性，每一台机器都可以通过该文件来了解全局HBse的

某些特性。在文件末尾需要增加以下环境变量

export JAVA_HOME=/usr/local/java/jdk1.8.0_162
    export HADOOP_HOME=/hadoop/hadoop-2.8.0
    export HBASE_HOME=/hbase/hbase-2.4.5
    export HBASE_MANAGES_ZK=true

说明：

前3个环境变量分别代表Java.、Hadoop、HBase的安装目录。分布式的HBase集

群需要ZooKeeper实例的运行，最后一个环境变量HBASE MANAGES ZK表示HBase

是否使用内置的ZooKeeper实例，默认为true。当在hbase-site.xml文件中配置了hbase.

zookeeper.quorum属性后，系统会使用该属性指定的ZooKeeper集群服务器列表。在启动

HBase时，HBase将把ZooKeeper作为自身的一部分运行，其对应进程为“HQuorumPeer" ,

关闭HBase时其内置ZooKeeper实例也一起关闭。如果HBASE MANAGES ZK为

false，表示不会使用内置ZooKeeper实例，也就是内置ZooKeeper不会随HBase启动，而

需要用户在指定机器上独立安装配置ZooKeeper实例，同样使用hbase.zookeeper.quorum

属性指定这些机器，并且在启动HBase之前必须手动启动这些机器的ZooKeeper。

这里使用HBase内置ZooKeeper实例。

4、修改regionservers文件

该文件列出T所有HRegionServer节点，配置方式与Hadoop的slaves文件类似，

每一行指定一台机器。当HBase启动、关闭时会把此文件中列出的所有机器同时启动、

关闭。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70 4][]

5、同Hadoop的分布式安装类似，还需要将HBase所在目录/hbase分别复制到slave1、slave2

scp -r /hbase slave1:/

scp -r /hbase slave2:/

6、启动HBase

进入到master节点的hbase的bin目录下

./start-hbase.sh

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70 5][]

7、在slave1和2节点上输入jps查看增加了两个java进程，HQuorumPeer 为ZooKeeper进程和HMaster为HBase进程。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70 6][]

8、在启动HBase后，通过命令

./hbase shell

进入到HBase Shell

然后使用命令

status

可以看到HBase的运行状态

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70 7][]

标识共有两个HRegionServer正在正常运行

还可以通过HMaster节点的16010端口查看HBase的运行状态

[http://192.168.148.128:16010/][http_192.168.148.128_16010]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70 8][]

最后通过命令exit退出HBase Shell

[https_blog.csdn.net_BADAO_LIUMANG_QIZHI_article_details_119335883]: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119335883
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70]: /images/20220829/4b37ea286ef64742a43d05b4fbb03a58.png
[https_blog.csdn.net_badao_liumang_qizhi]: https://blog.csdn.net/badao_liumang_qizhi
[https_mirrors.tuna.tsinghua.edu.cn_apache_hbase]: https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70 1]: /images/20220829/fbed53ed42d942a6b09d79a70ab109a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70 2]: /images/20220829/717f73dcb08848b6b29ee61a8e0b35ef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70 3]: /images/20220829/f6b6a10e9be547138948a636c5832eef.png
[http_master_16010]: http://master:16010
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70 4]: /images/20220829/d866bba62cb64bfb8cbe67888da3bb43.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70 5]: /images/20220829/301490f2a5b74b809a3d96d76dfa8fab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70 6]: /images/20220829/09854a157b4046b6bd904d9fea80a2b8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70 7]: /images/20220829/08671af95b1e46638711c3026db5ee39.png
[http_192.168.148.128_16010]: http://192.168.148.128:16010/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70 8]: /images/20220829/98e5ae5a26c54cf59d662331547defc3.png

发表评论取消回复

表情：

评论列表（有 0 条评论，236人围观）

还没有评论，来说两句吧...

相关阅读

相关 Centos上安装Redis伪集群

> 环境：Centos 6.8，Redis-4.0.10，VMware虚拟机，redis集群6个节点。 > 也是走了很多弯路，参考了很多网上资料，下面把搭建过程记录一下。

港控/mmm°/ 2022年11月05日 07:28/ 0 赞/ 218 阅读

相关 HBase在CentOS上分布集群安装

场景 CentOS7上搭建Hadoop集群(入门级)： [https://blog.csdn.net/BADAO\_LIUMANG\_QIZHI/article/det

ゝ一纸荒年。/ 2022年09月03日 14:20/ 0 赞/ 237 阅读

相关 hbase集群安装

1.安装java 。。。。。 2.安装hadoop集群。。。。。 3.安装zookeeper集群。。。。。 4.安装hbase集群 4.1 下载解压

痛定思痛。/ 2022年06月12日 00:39/ 0 赞/ 243 阅读

相关 Hbase集群安装配置

环境：操作系统Centos 5.5 64-bit 三台节点 ip 主机名 172.16.48.201 sg201

àì夳堔傛蜴生んèń/ 2022年06月09日 02:24/ 0 赞/ 270 阅读

相关 CentＯS 7上安装hadoop集群

环境：CentOS 7虚拟机两台（192.168.31.224、192.168.31.225）、Hadoop-2.8.0 、jdk 1.8 实现两台虚拟机SSH免密码登录

我不是女神ヾ/ 2022年05月27日 09:49/ 0 赞/ 707 阅读

相关 HBase集群安装

前言：阅读本文之前，可以去apache hbase官网阅读安装配置文档，看不懂可以借助翻译，计算机所有的各种新技术只有官网是唯一且准确的第一手资料。 [http://hba

爱被打了一巴掌/ 2022年05月25日 05:47/ 0 赞/ 259 阅读

相关分布集群

分布和集群不完全一样，但有很多相似的地方，也有很多不同的地方。我们主要从他的基础特性上来分析，分布的计算单元可能分布在广大的地理空间，比如中国的一台机器和美国的一台机器

た入场券/ 2022年04月12日 03:22/ 0 赞/ 237 阅读

相关 CentOS7.0安装Hadoop伪分布集群

Hadoop简要介绍 Hadoop 是Apache基金会下一个开源的分布式计算平台，它以分布式文件系统HDFS和MapReduce算法为核心，为用户提供了系统

电玩女神/ 2022年02月12日 15:34/ 0 赞/ 268 阅读

相关 Linux上安装Mosquitto集群(CentOS)

Mosquitto集群在Mosquitto集群中，客户端可以在任何节点上订阅主题，也可以在任何节点上发布消息，集群会保证消息按需转发到正确的节点。为了均衡负载及避

女爷i/ 2021年12月09日 06:37/ 0 赞/ 613 阅读

相关安装Spark集群(在CentOS上)

http://cn.soulmachine.me//blog/20130617/ 环境:CentOS 6.4, Hadoop 1.1.2, JDK 1.7, Spark 0.

你的名字/ 2021年12月04日 04:43/ 0 赞/ 364 阅读