Hadoop(六)搭建分布式HBase集群

分手后的思念是犯贱 2021-11-16 20:00 390阅读 0赞

接上一章节，在单机版的HBase中，HMaster，HRegionServer，Zookeeper都在一个JVM进程中运行，通过两个阶段来搭建、学习分布式的HBase，伪分布式和分布式。

# 一，伪分布式HBase #

HBase仍然在单个主机上运行，但是每个HBase的守护进程（HMaster，HRegionServer，Zookeeper）作为一个单独的进程运行。分布式，伪分布式的HBase对于生产环境来说没有意义，仅限于学习。

首先搭建好配置号Hadoop和Hdfs，并且运行正常，且使用Hadoop2。搭建文档见链接。

如果已经运行了HBase，先停止HBase。

1.1，配置Hbase

编辑Hbase根目录下conf目录下的hbase-site.xml配置文件，首先添加以下属性指示hbase以分布式模式运行，一个守护进程对应一个JVM进程。

<property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>

接下来，该表hbase.rootdir配置，从本地文件系统到HDFS实例的地址，使用hdfs://标记，在这个例子中，HDFS在172.16.0.2:9000运行，确认删除hbase.unsafe.stream.capability.enforce配置，或者设置为true。

<property>
        <name>hbase.rootdir</name>
        <value>hdfs://172.16.0.2:9000/hbase</value>
    </property>

不需要在hdfs中创建目录，HBase会自动创建，如果你创建了HBase会尝试迁移。

1.2，启动Hbase

[root@ecs-7bc6-0001 hbase-2.2.0]# ./bin/start-hbase.sh

如果配置正确的话jps命令会有HMaster，HRegionServer进程运行。

[root@ecs-7bc6-0001 hbase-2.2.0]# jps
    30979 HMaster
    31097 HRegionServer

1.3，检查HDFS中hbase目录

[root@ecs-7bc6-0001 hbase-2.2.0]# hdfs dfs -fs hdfs://172.16.0.2:9000/ -ls /
    Found 5 items
    drwxr-xr-x   - root supergroup          0 2019-07-25 14:39 /hbase

伪分布式的HBase已经搭建ok，可以使用hbase shell操作hbase了。

1.4，启动和停止备用的HBase Master（HMaster）服务。

HBMaster服务管理HBase集群，可以最多启动9个备用的HMaster服务，这样就有10个HMaster服务。要启用备份的HMaster服务，使用local-master-backup.sh,对于要启动的每个备用服务，需要传递主HMaster服务端口的偏移量，每个HMaster使用两个端口（默认是16000和16010），端口在默认端口（16000，16010）基础上偏移，因此使用偏移量2，备用的HMaster将使用端口（16002，16012），以下命令启动两个备用的HMaster，端口偏移量分别是1，2.。

[root@ecs-7bc6-0001 hbase-2.2.0]# ./bin/local-master-backup.sh start 1 2
    running master, logging to /home/work/docker/hbase/hbase-2.2.0/bin/../logs/hbase-root-1-master-ecs-7bc6-0001.novalocal.out
    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/home/work/package/hadoop/hadoop-2.7.7/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/home/work/docker/hbase/hbase-2.2.0/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
    SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
    running master, logging to /home/work/docker/hbase/hbase-2.2.0/bin/../logs/hbase-root-2-master-ecs-7bc6-0001.novalocal.out
    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/home/work/package/hadoop/hadoop-2.7.7/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/home/work/docker/hbase/hbase-2.2.0/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
    SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

在jps查看jvm进程

[root@ecs-7bc6-0001 hbase-2.2.0]# jps
    30979 HMaster
    32694 HMaster
    488 Jps
    31097 HRegionServer
    331 HMaster

可以看到现在有三个HMaster进程

要在不停止集群的情况下停止备用的HMaster服务，需要找到HMaster进程的PID，PID存储在/tmp/hbase-USER-X-master.pid文件中，使用kill命令杀死进程。

1.5，启动和停止额外的RegionServer

HRegionServer按照HMaster的指示管理其StoreFiles中的数据，通常，一个HRegionServer在集群中的每一个节点上运行。

使用local-regionservers.sh命令可以运行多个RegionServer，工作方式与local-master-backup.sh类似，提供参数代表端口的偏移量，每个RegionServer需要两个端口，默认端口为16020和16030，如果要修改默认端口，请在脚本local-regionservers.sh中修改HBASE\_RS\_BASE\_PORT和HBASE\_RS\_INFO\_BASE\_PORT，设置为需要使用的端口。以下启动2个本地的RegionServer.

[root@ecs-7bc6-0001 hbase-2.2.0]# ./bin/local-regionservers.sh start 1 2
    running regionserver, logging to /home/work/docker/hbase/hbase-2.2.0/bin/../logs/hbase-root-1-regionserver-ecs-7bc6-0001.novalocal.out
    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/home/work/package/hadoop/hadoop-2.7.7/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/home/work/docker/hbase/hbase-2.2.0/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
    SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
    running regionserver, logging to /home/work/docker/hbase/hbase-2.2.0/bin/../logs/hbase-root-2-regionserver-ecs-7bc6-0001.novalocal.out
    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/home/work/package/hadoop/hadoop-2.7.7/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/home/work/docker/hbase/hbase-2.2.0/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
    SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

使用jps命令查看jvm进程

[root@ecs-7bc6-0001 hbase-2.2.0]# jps
    1328 HRegionServer
    30979 HMaster
    32694 HMaster
    1432 HRegionServer
    31097 HRegionServer
    331 HMaster
    1519 Jps

可以看到共有三个HRegionServer进程。

1.6，停止RegionServier

.bin/local-regionservers.sh stop 3

# 二，分布式HBase #

实际上，需要完全分布式配置才能完全测试HBase并在实际场景中使用HBase。在分布式配置中，集群包含多个节点，每个节点运行一个或者多个HBase守护进程，这些包括主要和备用HMaster，多个Zookeeper节点，多个RegionServer节点。

接下来搭建添加两个节点以上的集群，结构如下表。

<table> 
 <tbody> 
  <tr> 
   <td style="border-color:#a3a3a3;vertical-align:top;width:2.052in;"> <p style="margin-left:0in;"><strong>Node Name</strong></p> </td> 
   <td style="border-color:#a3a3a3;vertical-align:top;width:1.6708in;"> <p style="margin-left:0in;"><strong>Master</strong></p> </td> 
   <td style="border-color:#a3a3a3;vertical-align:top;width:1.9986in;"> <p style="margin-left:0in;"><strong>ZooKeeper</strong></p> </td> 
   <td style="border-color:#a3a3a3;vertical-align:top;width:2.3166in;"> <p style="margin-left:0in;"><strong>RegionServer</strong></p> </td> 
  </tr> 
  <tr> 
   <td style="border-color:#a3a3a3;vertical-align:top;width:2.052in;"> <p style="margin-left:0in;">master2</p> </td> 
   <td style="border-color:#a3a3a3;vertical-align:top;width:1.6708in;"> <p style="margin-left:0in;">yes</p> </td> 
   <td style="border-color:#a3a3a3;vertical-align:top;width:1.9986in;"> <p style="margin-left:0in;">yes</p> </td> 
   <td style="border-color:#a3a3a3;vertical-align:top;width:2.3166in;"> <p style="margin-left:0in;">no</p> </td> 
  </tr> 
  <tr> 
   <td style="border-color:#a3a3a3;vertical-align:top;width:2.052in;"> <p style="margin-left:0in;">slave3</p> </td> 
   <td style="border-color:#a3a3a3;vertical-align:top;width:1.6708in;"> <p style="margin-left:0in;">backup</p> </td> 
   <td style="border-color:#a3a3a3;vertical-align:top;width:1.9986in;"> <p style="margin-left:0in;">yes</p> </td> 
   <td style="border-color:#a3a3a3;vertical-align:top;width:2.3166in;"> <p style="margin-left:0in;">yes</p> </td> 
  </tr> 
  <tr> 
   <td style="border-color:#a3a3a3;vertical-align:top;width:2.052in;"> <p style="margin-left:0in;">slave4</p> </td> 
   <td style="border-color:#a3a3a3;vertical-align:top;width:1.6708in;"> <p style="margin-left:0in;">no</p> </td> 
   <td style="border-color:#a3a3a3;vertical-align:top;width:1.9986in;"> <p style="margin-left:0in;">yes</p> </td> 
   <td style="border-color:#a3a3a3;vertical-align:top;width:2.3166in;"> <p style="margin-left:0in;">yes</p> </td> 
  </tr> 
 </tbody> 
</table>

首先，保证三台主机在一个网络中，保证三个节点有所有的连接权限，没有防火墙限制，如果出现no route to host错误，先检查防火墙。如果已经启动了其他Habase进程，先停止HBase进程。

**2.1，配置不需要密码登录的SHH访问**

master2需要可以登录到slave3，slave4和自己去启动守护进程，最简单的做法是在所有的主机上使用相同的用户名，配置不需要密码登录的shh到其他节点。参考[《配置不需要密码登录ssh》][ssh]配置。

**2.2，准备master2节点**

master2节点将运行主HMaster和Zookeeper，不运行RegionServer。配置不在master2上启动RegionServer.

2.2.1，编辑conf/regionservers并删除包含localhost的行，添加slave3和slave4的主机或者ip配置到配置中。

即使确实想在master2节点上运行RegionServer，也不能使用localhost，其他节点会使用他的ip或者主机名和他通信。

2.2.2，配置HBase使用slave3作为一个备用的HMaster。

创建一个新文件在conf/名称为backup-masters,在文件中添加slave3的主机或者ip。

2.2.3，配置Zookeeper

实际上，你需要仔细的考虑Zookeeper的配置， 您可以在zookeeper部分找到有关配置ZooKeeper的更多信息，根据这个配置，HBase启动和管理集群每个节点上的Zookeeper实例。

在master2上修改hbase-site.xml，增加如下属性。

<property>
      <name>hbase.zookeeper.quorum</name>
      <value>master2,slave3,slave4</value>
    </property>
    <property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/root/zookeeper</value>
    </property>

**2.3，准备slave3和slave4节点**  
下载HBase安装包，解压，从master复制配置文件到slave3，slave4.

**2.4，启动测试集群**

2.4.1，确保没有HBase在任何节点运行

如果没有停止之前运行的HBase进程，接下来的步骤会出现错误，使用jps命令检查HBase是否在任何节点上运行，查找进程HMaster，HRegionServer，HQuirunmPeer如果存在，kill掉。

2.4.2，启动

在master2，使用start-hbase.sh启动hbase。Zookeeper首先启动，接下来是master，下来是regionServer，最后是备用master。

2.4.3 ，验证processes运行

在每个节点运行jps，查看jvm进程，验证是不是正确的进程列表。

ZooKeeper进程，HQuorumPeer进程是一个Zookeeper实例，有HBase管理，如果以这种方式使用Zookeeper，则每个集群节点仅限一个实例，并且只适用于测试。如果Zookeeper在HBase之外运行，则该进程称为QuorunmPeer。

2.4.4，查看Web UI

在HBase0.98.x以上的版本中，HBase的Web UI的端口，Master从60010变为16010，region从60030变为16030.

如果所有都配置正确，您就可以连接到[http://master2:16010/][http_master2_16010]或者备用master  [http://slave3:16010/][http_master2_16010],也可以通过主机或IP加端口查看其他regionserver的web UI。

（完）（^\_^）

[ssh]: https://blog.csdn.net/weihao_/article/details/97393262
[http_master2_16010]: http://node-a.example.com:16010/

发表评论取消回复

表情：

评论列表（有 0 条评论，390人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop+HBase+ZooKeeper分布式集群环境搭建

一、环境说明集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如

怼烎@/ 2022年08月02日 12:57/ 0 赞/ 219 阅读

相关 Hadoop集群搭建Hbase

我这里下载的是Hbase1.3.1版本。 1.先解压hbase-1.3.1-bin.tar.gz到/usr文件夹中。 tar -zxvf hbase-1.3.1-b

左手的ㄟ右手/ 2022年06月09日 08:08/ 0 赞/ 206 阅读

相关 Hadoop分布式集群搭建

题记：期间遇到了好多问题（不仅仅是为了搭建hadoop集群），自己对linux操作系统还真挺感兴趣的，稍微有些遗漏，总结下。软件准备三台服务器：CentOS7 64位、

妖狐艹你老母/ 2022年06月05日 03:07/ 0 赞/ 256 阅读

相关 hadoop HA分布式集群搭建

本文所用软件版本及下载地址： zookeeper : zookeeper-3.3.6 hadoop : hadoop-2.7.4 链接：[https://pan.b

ゝ一纸荒年。/ 2022年05月28日 08:12/ 0 赞/ 260 阅读

相关 Hadoop集群搭建（六：HBase的安装配置）

<table style="width:654px;"> <tbody> <tr> <td style="width:54.6pt;"> <p style="

骑猪看日落/ 2022年01月28日 09:45/ 0 赞/ 313 阅读

相关（六）hadoop系列之__hadoop分布式集群环境搭建

配置hadoop(master,slave1,slave2) 说明： NameNode: master DataNode: sl

雨点打透心脏的1/2处/ 2021年12月22日 10:11/ 0 赞/ 247 阅读

相关 Hadoop(六)搭建分布式HBase集群

接上一章节，在单机版的HBase中，HMaster，HRegionServer，Zookeeper都在一个JVM进程中运行，通过两个阶段来搭建、学习分布式的HBase，伪分布式

分手后的思念是犯贱/ 2021年11月16日 20:00/ 0 赞/ 391 阅读

相关 HBASE集群搭建

环境： CentOS7.4（CentOS-7-x86\_64-DVD-1810.iso） hbase-2.1.4-bin.tar.gz jdk-8u201-linux-x

傷城~/ 2021年11月11日 08:36/ 0 赞/ 401 阅读

相关（六）hadoop系列之__hadoop分布式集群环境搭建

配置hadoop(master,slave1,slave2) 说明： NameNode: master DataNode: sl

喜欢ヅ旅行/ 2021年10月19日 11:14/ 0 赞/ 370 阅读

相关 HBase 分布式集群搭建手记

摘要由于HBase的数据是存放在HDFS上的，HBase依赖于Hadoop环境，搭建HBase集群环境前需要搭建好Hadoop集群环境，并且这里使用独立的Zookeep

缺乏、安全感/ 2021年09月23日 00:20/ 0 赞/ 380 阅读