2.8.2 hadoop体系之离线计算-HBase数据库-HBase安装和配置

忘是亡心i 2022-12-25 00:53 87阅读 0赞

**目录**

1.前提条件

1.1 Hadoop 正常部署

1. 2 Zookeeper 正常部署

1.3 JDK

2.安装HBase

2.1 HBase 的解压

2.2 修改Hbase的配置文件

2.2.1 hbase-env.sh 修改内容

2.2.2 hbase-site.xml 修改内容

2.2.3 regionservers和backup-masters修改内容

2.2.4 软连接 hadoop 配置文件到 HBase

2.2.5 HBase 远程发送到其他集群

2.2.6 HBase 服务的启动

2.2.7 查看 HBase 页面

--------------------

# 1.前提条件 #

## 1.1 Hadoop 正常部署 ##

Hadoop 集群的正常部署并启动：

start-dfs.sh 
    
    start-yarn.sh

## 1. 2 Zookeeper 正常部署 ##

这里我们不采用 HBase 内置的 Zookeeper ，首先保证 Zookeeper 集群的正常部署，并l利用我们之前写的脚本文件启动：

sh /root/bin/zkeeper.sh start

## 1.3 JDK ##

HBase 需要依赖 JDK 环境，这里搭建的HBase版本是1.4.13，JDK 的最低版本要求是1.7， HBase 2.0+ 以上版本不再支持 JDK 1.7 ，需要安装 JDK 1.8+ 。

HBase 的版本必须要与 Hadoop 的版本兼容，不然会出现各种 Jar 包冲突。这里我所有软件版本如下：

*  Hadoop 版本：hadoop-2.7.7
 *  HBase 版本：hbase-1.4.13
 *  JDK 版本：JDK 1.8.0\_191

# 2.安装HBase #

这里搭建一个 3 节点的 HBase 集群，其中三台主机上均为 `RegionServer`。同时为了保证高可用，除了在 hadoop01 上部署主 `Master` 服务外，还在 hadoop02 上部署备用的 `Master` 服务。Master 服务由 Zookeeper 集群进行协调管理，如果主 `Master` 不可用，则备用 `Master` 会切换为主 `Master`。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

## 2.1 HBase 的解压 ##

下载后进行解压，下载地址：https://hbase.apache.org/downloads.html

tar -zxvf hbase-1.4.13-bin.tar.gz -C /opt/software/

修改环境变量：

sudo vim /etc/profile

添加环境变量：

export HBASE_HOME=/opt/software/hbase-1.4.13
    export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZOOKEEPER_HOME}/bin:${HIVE_HOME}/bin:${ZEPPELIN_HOME}/bin:${HBASE_HOME}/bin:$PATH

使得配置的环境变量生效：

source /etc/profile

## 2.2 修改Hbase的配置文件 ##

首先创建相关目录

mkdir -p /opt/software/hbase-1.4.13/tmp

mkdir -p /opt/software/hbase-1.4.13/zookeeper\_data

### 2.2.1 hbase-env.sh 修改内容 ###

# The java implementation to use.  Java 1.7+ required.
    export JAVA_HOME=/opt/moudle/jdk1.8.0_191
    export HBASE_MANAGES_ZK=false

(1)在我们运行stop-hbase.sh时候，关闭Hbase出现stopping hbasecat:/tmp/hbase-root-master.pid:No such file or directory

hbase-env.sh中PID那一行最好打开，在hbase目录下conf文件夹下 hbase-env.sh中修改pid文件的存放路径，看注释，hbase默认注释掉HBASE\_PID\_DIR，而hbase默认把pid文件放在/tmp目录下，Ubuntu** **默认重启自动删除/tmp文件夹中的目录 。删除之后hbase无法找到，在配置中把目录改成不会被删除的目录就行

(2)启动过程中，HBase启动遇到Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0警告。

根据hbase-site.xml配置文件，当使用JDK8+版本时将相关信息注释掉即可

# Configure PermSize. Only needed in JDK7. You can safely remove it for JDK8+
    #export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
    #export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"

### 2.2.2 hbase-site.xml 修改内容 ###

<configuration>
        
        <property>
            <name>hbase.cluster.distributed</name>
            <value>true</value>
        </property>
        
        <property>
            <name>hbase.rootdir</name>
            <value>hdfs://h2node01:9000/hbase</value>
        </property>
        
        <property>
            <name>hbase.tmp.dir</name>
            <value>/opt/software/hbase-1.4.13/tmp</value>
        </property>
        
        <property>
            <name>hbase.zookeeper.quorum</name>
            <value>h2node01:2181,h2node02:2181,h2node03:2181</value>
        </property>
        
        <property>
            <name>hbase.zookeeper.property.dataDir</name>
            <value>/opt/software/hbase-1.4.13/zookeeper_data</value>
        </property>
    </configuration>

### 2.2.3 regionservers和backup-masters修改内容 ###

regionservers

h2node01
    h2node02
    h2node03

backup-masters

这个文件是不存在的，需要新建，主要用来指明备用的 master 节点，可以是多个，这里以 1 个为例。

h2node02

### 2.2.4 软连接 hadoop 配置文件到 HBase ###

这里有一个可选的配置：如果您在 Hadoop 集群上进行了 HDFS 客户端配置的更改，比如将副本系数 `dfs.replication` 设置成 5，则必须使用以下方法之一来使 HBase 知道，否则 HBase 将依旧使用默认的副本系数 3 来创建文件：

#将Hadoop的core-site.xml和hdfs-site.xml通过建立软链接的方式放置${HBASE_HOME}/conf目录下
    [xiaokang@hadoop01 ~]$ ln -s /opt/software/hadoop-2.7.7/etc/hadoop/hdfs-site.xml /opt/software/hbase-1.4.13/conf/hdfs-site.xml
    
    [xiaokang@hadoop01 ~]$ ln -s /opt/software/hadoop-2.7.7/etc/hadoop/core-site.xml /opt/software/hbase-1.4.13/conf/core-site.xml

### 2.2.5 HBase 远程发送到其他集群 ###

将 HBase 的安装包分发到其他节点，分发后建议在这两台服务器上也配置一下 HBase 的**环境变量（可以一块分发，然后source一下）**。

\[xiaokang@hadoop01 ~\]$ scp -r /opt/software/hbase-1.4.13/ xiaokang@hadoop02:/opt/software/  
\[xiaokang@hadoop01 ~\]$ scp -r /opt/software/hbase-1.4.13/ xiaokang@hadoop03:/opt/software/

### 2.2.6 HBase 服务的启动 ###

**启动方式一：**

[atguigu@hadoop102 hbase]$ bin/hbase-daemon.sh start master
    [atguigu@hadoop102 hbase]$ bin/hbase-daemon.sh start regionserver

**提示：**

如果**集群之间的节点时间不同步**，会导致 regionserver 无法启动，抛出 ClockOutOfSyncException 异常。

**修复提示：**

*  a、同步时间服务
 *  b、属性：hbase.master.maxclockskew 设置更大的值

<property>
     <name>hbase.master.maxclockskew</name>
     <value>180000</value>
     <description>Time difference of regionserver from
    master</description>
    </property>

**启动方式二：**

[atguigu@hadoop102 hbase]$ bin/start-hbase.sh
    对应的停止服务：
    [atguigu@hadoop102 hbase]$ bin/stop-hbase.sh

#三个节点都启动Zookeeper服务
    [xiaokang@hadoop ~]$ zkServer.sh start
    #启动Hadoop集群
    [xiaokang@hadoop conf]$ start-dfs.sh
    [xiaokang@hadoop conf]$ start-yarn.sh
    #启动HBase集群
    [xiaokang@hadoop ~]$ start-hbase.sh
    
    #也可以分别启动HBase集群的各个进程
    [xiaokang@hadoop ~]$ hbase-daemon.sh start master
    [xiaokang@hadoop ~]$ hbase-daemon.sh start regionserver

jps查看三个机器：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

### 2.2.7 查看 HBase 页面 ###

启动成功后，可以通过“host:port”的方式来访问 HBase 管理页面，例如： http://h2node01:16010

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221120/b478ae8a757c456b9b02e5340655e8bd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: /images/20221120/05789a5f173e40f2ae4f6bcaa25e468f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201130144005688.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70