HBase高可用集群的安装

系统管理员 2022-02-05 11:47 366阅读 0赞

1、HBase基本安装配置  
该项的所有操作步骤使用专门用于集群的用户admin进行  
此项只在一台主机操作，然后在下一步骤进行同步安装与配置  
首先，HBase软件包“hbase-1.2.3-bin.tar.gz”已上传到家目录的“setups”目录下，然后进行解压和环境变量设置  
命令：mkdir ~/hbase \#创建用于存放HBase相关文件的目录 、cd ~/hbase \#进入该目录  
tar -xzf ~/setups/hbase-1.2.3-bin.tar.gz \#将软件包解压到hbase目录  
![在这里插入图片描述][20190505174431283.png]  
vi ~/.bash\_profile \#配置HBase相关的环境变量  
在文件末尾添加以下内容

#hbase environment
    HBASE_HOME=/home/admin/hbase/hbase-1.2.3#该路径以HBase软件包实际解压解包路径为准
    PATH=$HBASE_HOME/bin:$PATH     #确保此项输入正确，否则可能会导致所有命令无法使用
    Export HBASE_HOME PATH         #必须按照前面的定义顺序书写

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5NTY3OA_size_16_color_FFFFFF_t_70]  
source ~/.bash\_profile \#使新配置的环境变量立即生效  
![在这里插入图片描述][20190505175051911.png]  
echo $HBASE\_HOME \#查看新添加和修改的环境变量是否设置成功  
echo $PATH \#查看环境变量的值是否正确  
hbase version \#验证HBase的安装配置是否成功  
![在这里插入图片描述][20190505175119737.png]  
2、HBase高可用完全分布模式配置  
该项的所有操作步骤使用专门用于集群的用户admin进行  
$cd /hbase \#进入HBase相关文件的目录  
$mkdir tmp log \#分别创建HBase的元数据文件目录“tmp”和HDFS的日志文件目录“logs”  
$cd ~/hbase/hbase-1.2.3-conf \#进入HBase的配置文件所在目录  
![在这里插入图片描述][20190505175219175.png]  
$vi hbase-env.sh \#对配置文件进行修改  
![在这里插入图片描述][20190505175531834.png]  
下面四个配置项修改，皆是在本配置文件内进行，分别找到相关项按照下面的内容进行修改。  
（1）找到配置项“JAVA\_HOME”，将其值改为以下内容；（去掉注释\#，注意定格）  
export JAVA\_HOME=/home/admin/java/jdk1.8.0\_131 \#该路径以JDK软件包实际解压解包的路径为准  
![在这里插入图片描述][20190505175315339.png]  
（2）找到配置项“HBASE\_CLASSPATH”，该项用于指定Hadoop的配置文件所在的路径，将其值改为以下内容：  
export HBASE\_CLASSPATH=/home/admin/hadoop/hadoop-2.7.3/etc/hadoop  
\#该路径以Hadoop软件包实际解压解包为准  
![在这里插入图片描述][2019050517562636.png]  
（3）找到配置项“HBASE\_LOG\_DIR”，该项用于指定HBase的日志文件的本地存放路径，将其值改为以下内容：export HBASE\_LOG\_DIR=/home/admin/hbase/logs  
![在这里插入图片描述][20190505175615319.png]  
（4）找到配置项“HBASE\_MANAGES\_ZK”，该项用于关闭HBase自带的Hadoop组件，将其值改为以下内容：  
export HBASE\_MANAGES\_ZK=false  
![在这里插入图片描述][20190505175721142.png]  
$vi hbase-site.xml \#对配置文件进行修改找到标签“”所在的位置，在其中添加如下内容：

<configuration>
    <property><!- -指定HBAse数据的存放路径，一般指定为HDFS系统<name>hbase.rootdir</name>   文件中的路径，也可以使用本地系统路径- ->
    <value>hdfs://Cluster-01:9000/user/admin/hbase</value>
    </property>       <- -HDFS的访问路径根据配置的Hadoop集群方式不同而不同，普通集群 为主节点主机名，如“Cluster-01”，
    <property>                               HA集群为命名空间的逻辑名称，如“hadoop-ha”- ->
    <name>hbase.tmp.dir</name>                   
    <value>/home/admin/hbase/tmp</value>       <！- -指定HBase的元数据的本地存放路径- ->
    </property>
    <property>
    <name>hbase.cluster.distributed</name>     <！- -指定Zookeeper的连接地址，多个用 “，”分隔- ->
    <value>true</value>                        
    </property>
    <property>
    <name>hbase.zookeeper.quorum</name>
    <value>Cluster-01:2181,Cluster-02:2181,Cluster-03:2181,Cluster-04:2181,Cluster-05:2181</value>   <！- -指定HBase集群时间校准的最大时间差- ->
    </property>
    <property>
    <name>hbase.master.maxclockskew</name>
    <value>60000</value>
    </property>
    </configuration>

![在这里插入图片描述][20190505181741842.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5NTY3OA_size_16_color_FFFFFF_t_70 1]  
$vi regionservers \#对配置文件进行修改  
删除文件中原有的所有的内容，然后添加集群中所有RegionServer节点的主机名，每行一个主机的主机名，配置格式如下：  
Cluster-03  
Cluster-04  
Cluster-05  
![在这里插入图片描述][20190505181922377.png]  
$touch backup-masters \#创建配置文件“backup-masters”  
$vi backup-masters \#对配置文件进行修改  
添加集群中所有备用主节点的主机名，每行一个主机的主机名，配置格式如下：Cluster-02  
![在这里插入图片描述][20190505181949414.png]  
3、同步安装配置以及系统时间  
该项的所有操作步骤使用专门用于集群的用户admin进行  
将“hbase”目录和“.bash\_profile”文件发给集群中所有主机，发送目标主机为集群专用用户admin，即当前与登录用户同名的用户，发送目标路径为“/home/admin”，即集群专用用户admin的家目录。

$scp -r /hbase ~/.bash_profile admin@Cluster-02:/home/admin
    $scp -r /hbase ~/.bash_profile admin@Cluster-03:/home/admin
    $scp -r /hbase ~/.bash_profile admin@Cluster-04:/home/admin
    $scp -r /hbase ~/.bash_profile admin@Cluster-05:/home/admin

集群中每台主机分别进行以下命令操作，如在主机Cluster-02上操作：  
$source ~/.bash\_profile \#使新配置的环境变量立即生效  
$echo $HBASE\_HOME \#查看新添加和修改的环境变量是否设置成功  
$echo $PATH 以及环境变量的值是否正确  
$hbase version \#验证HBase的安装配置是否成功  
![在这里插入图片描述][20190505182637984.png]  
时间同步项的所有操作步骤需要使用root用户进行；如果在VMware Workstation Pro模拟平台上安装的，那么需要开启时间同步。选中虚拟机节点->右键->设置->选项，开启时间同步。（五台虚拟机均需开启时间同步）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5NTY3OA_size_16_color_FFFFFF_t_70 2]  
在集群中所有主机使用此命令“date -s ‘yyyy-MM-dd HH:mm:ss（年-月-日 时：分：秒）”，对系统时间进行设置，并进行使用命令“hwclock -w”将设置的时间同步到硬件时钟。  
该操作尽量在所有主机上同步进行，则保证主机之间的时间误差值在设定的“hbase.master.maxclockskew”范围内  
\#date -s ‘2018-11-19 15:47:00’ \#对系统时间进行设置，时间为当前时间  
\#hwclock -w \#将设置的时间同步到硬件时钟  
![在这里插入图片描述][20190505182938419.png]  
4、HBase高可用完全分布模式启动和验证  
该项的所有操作步骤使用专门用于集群的用户admin进行  
启动HBase集群之前首先确保Zookeeper集群已被开启状态（实验五台）  
Zookeeper的启动需要分别在每个计算机的节点上手动启动命令  
$zkServer.sh status \#在集群中所有主机上使用命令“zkServer.sh status”查看该节点  
Zookeeper服务当前状态，若集群中只有一个“leader”节点，其余的均为“follower”节点，则集群的工作状态正常  
$zkServer.sh start \#如Zookeeper未启动，则在集群中所有主机上使用命令“zkServer.sh start ”启动Zookeeper服务  
![在这里插入图片描述][20190505183248870.PNG]  
$start-all.sh \#在主节点使用此命令，启动Hadoop集群  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5NTY3OA_size_16_color_FFFFFF_t_70 3]  
$yarn-daemon.sh start resourcemanger \#在备用节点使用此命令，启动YARN主节点服务  
![在这里插入图片描述][20190505183309563.PNG]  
$start-hbase.sh\#确定Hadoop集群已启动状态，然后在主节点使用此命令，启动HBase集群  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5NTY3OA_size_16_color_FFFFFF_t_70 4]  
$jps \#在主节点，查看Java进程信息，若名为“NameNode”、“ResourceManger”两个进程，则表示Hadoop集群的主节点启动成功。在每台数据节点，若有名为“DataNode”和“NodeManger”两个进程，则表示Hadoop集群的数据节点启动成功；若有名为：“HMaster”的进程，则表示HBase集群的主节点启动成功  
![在这里插入图片描述][20190505183740737.png]  
在备用主机使用“jps”查看Java进程信息，若有名为“HMaster”的进程，则表示HBase集群的备用主节点启动成功  
![在这里插入图片描述][20190505183746904.png]  
使用命令“ssh 目标主机名或IP地址”远程登录到集群中所有Region节点主机，在Region节点使用命令“jps”查看Java进程信息，若有名为“HRegionServer”的进程，则表示HBase集群的Region节点启动成功  
![在这里插入图片描述][20190505183757373.png]  
$hbase shell \#进入HBase的控制台  
create ‘tab1’，‘id’，‘nam\#在控制台中使用命令“create ‘表名’，‘列名1’，，”创建表  
exit 在控制台中使用此命令“exit”退出控制台返回系统命令界面  
![在这里插入图片描述][20190505184002767.png]  
遇到问题：  
HBase进程出现问题，主节点Hmaster启不起来，其他节点正常，备用主节点HBase数据库执行报错。  
![在这里插入图片描述][20190505184113268.png]  
解决方案：  
第一步;在hbase进程出问题的服务器上面，使用ZK客户端登录zookeeper，在终端执行：  
$zkCli.sh -server 127.0.0.1：2181 \#登录ZK客户端  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5NTY3OA_size_16_color_FFFFFF_t_70 5]  
ls /hbase \#hbase.version \#文件确实不存在了  
Rmr /hbase \#清除ZK中的hbase  
![在这里插入图片描述][20190505184142407.png]  
第二步：  
Hadoop fs -ls hbase/ \#查看结果应该是空的，则跳过本步，执行第三步  
![在这里插入图片描述][20190505184201174.png]  
第三步：重启HBase  
kill掉其他节点的hbase进程,直接重启服务器，开启相关进程（命令：./start-hbase.sh）  
![在这里插入图片描述][20190505184238737.png]  
![在这里插入图片描述][20190505184228114.png]  
如有想法，欢迎评论！

[20190505174431283.png]: /images/20220205/11b8a788f39d489c86543ca68ef047f6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5NTY3OA_size_16_color_FFFFFF_t_70]: /images/20220205/db0ba0b55f714a5194249166cdb70a93.png
[20190505175051911.png]: /images/20220205/8b477862d65542dd9303ebd789caf054.png
[20190505175119737.png]: /images/20220205/5a3ef4e524f6483db2a1b67832bc91a7.png
[20190505175219175.png]: /images/20220205/de6e3da655b54401abe06511cbe10b68.png
[20190505175531834.png]: /images/20220205/c554c1360b4a4222b003796fe88992a2.png
[20190505175315339.png]: /images/20220205/6738c898198249a6a67a38b26e662a3a.png
[2019050517562636.png]: /images/20220205/a11c873d6fa4446183de4b813e5a70ff.png
[20190505175615319.png]: /images/20220205/60282ea0e2954884b0e815e9c94bc045.png
[20190505175721142.png]: /images/20220205/19fddeeaee03428b98d8e8f07b21489c.png
[20190505181741842.png]: /images/20220205/96c7a24a2c0748cabb64742b9dbaba73.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5NTY3OA_size_16_color_FFFFFF_t_70 1]: /images/20220205/0405f09894fd4cb6864ce3a72f88d2a5.png
[20190505181922377.png]: /images/20220205/70e30220ac794fb29b4442676071b359.png
[20190505181949414.png]: /images/20220205/0fea1cca811844f2a7d0173302fb0015.png
[20190505182637984.png]: /images/20220205/73a64a581f224dcf940b203b1bdb2a29.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5NTY3OA_size_16_color_FFFFFF_t_70 2]: /images/20220205/4a8ad2673dc4400cb43b7d3ff4784935.png
[20190505182938419.png]: /images/20220205/04cd6efd0644406f81321464dbe5decd.png
[20190505183248870.PNG]: /images/20220205/3bdec5145a5348ffaa0b0e14a6ea2349.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5NTY3OA_size_16_color_FFFFFF_t_70 3]: /images/20220205/e69ed85df0a049caad0be7d6edc74296.png
[20190505183309563.PNG]: /images/20220205/11fd8cd6016647bcb80dc5b0fad442ca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5NTY3OA_size_16_color_FFFFFF_t_70 4]: /images/20220205/ef5faaef52aa4605bd12386c8e06995c.png
[20190505183740737.png]: /images/20220205/d0598465c3684a75ab9e816f825d09e9.png
[20190505183746904.png]: /images/20220205/570b306c213545e7abed30d8e444e477.png
[20190505183757373.png]: /images/20220205/9c68ae7115bf43e09c5c4fe8212ab679.png
[20190505184002767.png]: /images/20220205/b623e962385b4ce2ac43f49f394a0f00.png
[20190505184113268.png]: /images/20220205/6437ae4682434269a6a2c0cb77c02aa5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDQ5NTY3OA_size_16_color_FFFFFF_t_70 5]: /images/20220205/24aa1f2f3b5b414893a47238b015e11f.png
[20190505184142407.png]: /images/20220205/43b81ede0cd243f0a1b8d43efab62549.png
[20190505184201174.png]: /images/20220205/4bbbaec8cb104b9f8a92d5901e4e5396.png
[20190505184238737.png]: /images/20220205/6b183747657d4a6c8a97e1902885438b.png
[20190505184228114.png]: /images/20220205/ef22cc1dfd5c436390ba6238f1d6ae2e.png