Hive和Hbase整合搭建步骤

朱雀 2022-03-31 04:58 239阅读 0赞

### Hive和HBase的通信意图 ###

Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的，其具体工作交由Hive的lib目录中的hive-hbase-handler-\*.jar工具类来实现，通信原理如下图所示。  
![这里写图片描述][SouthEast]

### Hive整合HBase后的使用场景： ###

（一）通过Hive把数据加载到HBase中，数据源可以是文件也可以是Hive中的表。  
（二）通过整合，让HBase支持JOIN、GROUP等SQL查询语法。  
（三）通过整合，不仅可完成HBase的数据实时查询，也可以使用Hive查询HBase中的数据完成复杂的数据分析。

## 一、环境选择 ##

### 1，服务器选择 ###

本地虚拟机  
操作系统:linux CentOS 7  
Cpu：2核  
内存：2G  
硬盘:40G

### 2，配置选择 ###

JDK:1.8 （jdk-8u144-linux-x64.tar.gz）  
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)  
Hive： 2.1 (apache-hive-2.1.1-bin.tar.gz)  
HBase:1.6.2 (hbase-1.2.6-bin.tar.gz)

### 3，下载地址 ###

**官网地址**  
JDK：  
[http://www.oracle.com/technetwork/java/javase/downloads][http_www.oracle.com_technetwork_java_javase_downloads]  
Hadopp:  
[http://www.apache.org/dyn/closer.cgi/hadoop/common][http_www.apache.org_dyn_closer.cgi_hadoop_common]  
Hive  
[http://mirror.bit.edu.cn/apache/hive/][http_mirror.bit.edu.cn_apache_hive]  
HBase:  
[http://mirror.bit.edu.cn/apache/hbase/][http_mirror.bit.edu.cn_apache_hbase]

百度云盘  
链接：[https://pan.baidu.com/s/1jIemIDC][https_pan.baidu.com_s_1jIemIDC] 密码：uycu

## 二、服务器的相关配置 ##

在配置Hadoop+Hive+HBase之前，应该先做一下配置。  
做这些配置为了方便，使用root权限。

### 1，更改主机名 ###

首先更改主机名，目的是为了方便管理。  
输入:

hostname

查看本机的名称  
然后更改主机名为master  
输入:

hostnamectl set-hostname master

**注:主机名称更改之后，要重启(reboot)才会生效。**

### 2，做IP和主机名的映射 ###

修改hosts文件，做关系映射  
输入

vim /etc/hosts

添加  
主机的ip 和 主机名称

192.168.238.128 master

### 3，关闭防火墙 ###

关闭防火墙，方便访问。  
**CentOS 7版本以下输入:**  
关闭防火墙

service   iptables stop

**CentOS 7 以上的版本输入：**

systemctl stop firewalld.service

### 4，时间设置 ###

查看当前时间  
输入:

date

查看服务器时间是否一致，若不一致则更改  
更改时间命令

date -s ‘MMDDhhmmYYYY.ss’

### 5，整体的环境配置 ###

/etc/profile 的整体配置

#Java Config
    export JAVA_HOME=/opt/java/jdk1.8
    export JRE_HOME=/opt/java/jdk1.8/jre
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

\# Scala Config  
export SCALA\_HOME=/opt/scala/scala-2.12.2

\# Spark Config  
export SPARK\_HOME=/opt/spark/spark1.6-hadoop2.4-hive

\# Zookeeper Config  
export ZK\_HOME=/opt/zookeeper/zookeeper3.4

\# HBase Config  
export HBASE\_HOME=/opt/hbase/hbase1.2

\# Hadoop Config 
export HADOOP\_HOME=/opt/hadoop/hadoop2.8 
export HADOOP\_COMMON\_LIB\_NATIVE\_DIR= H A D O O P H O M E < / s p a n > / l i b / n a t i v e < s p a n c l a s s = " h l j s − b u i l t i n " > e x p o r t < / s p a n > H A D O O P O P T S = < s p a n c l a s s = " h l j s − s t r i n g " > " − D j a v a . l i b r a r y . p a t h = < s p a n c l a s s = " h l j s − v a r i a b l e " > HADOOP\_HOME/lib/native export HADOOP\_OPTS="-Djava.library.path= HADOOPHOME/lib/native<spanclass="hljs−builtin">exportHADOOPOPTS=<spanclass="hljs−string">"−Djava.library.path=<spanclass="hljs−variable">HADOOP\_HOME/lib"

\# Hive Config  
export HIVE\_HOME=/opt/hive/hive2.1  
export HIVE\_CONF\_DIR=$\{HIVE\_HOME\}/conf

export PATH=.: J A V A H O M E < / s p a n > / b i n : < s p a n c l a s s = " h l j s − v a r i a b l e " > \{JAVA\_HOME\}/bin: JAVAHOME/bin:<spanclass="hljs−variable">\{SCALA\_HOME\}/bin: S P A R K H O M E < / s p a n > / b i n : < s p a n c l a s s = " h l j s − v a r i a b l e " > \{SPARK\_HOME\}/bin: SPARKHOME/bin:<spanclass="hljs−variable">\{HADOOP\_HOME\}/bin: H A D O O P H O M E < / s p a n > / s b i n : < s p a n c l a s s = " h l j s − v a r i a b l e " > \{HADOOP\_HOME\}/sbin: HADOOPHOME/sbin:<spanclass="hljs−variable">\{ZK\_HOME\}/bin: H B A S E H O M E < / s p a n > / b i n : < s p a n c l a s s = " h l j s − v a r i a b l e " > \{HBASE\_HOME\}/bin: HBASEHOME/bin:<spanclass="hljs−variable">\{HIVE\_HOME\}/bin:$PATH

![这里写图片描述][SouthEast 1]

**注:具体的配置以自己的为准，没有的不用配置。**

## 三、Hadoop的环境配置 ##

Hadoop的具体配置在[大数据学习系列之一 ----- Hadoop环境搭建(单机)][----- Hadoop] 中介绍得很详细了。所以本文就大体介绍一下。  
**注:具体配置以自己的为准。**

### 1，环境变量设置 ###

编辑 /etc/profile 文件 :

vim /etc/profile

配置文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
    export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

### 2，配置文件更改 ###

先切换到 /home/hadoop/hadoop2.8/etc/hadoop/ 目录下

#### 3.2.1 修改 core-site.xml ####

输入:

vim core-site.xml

在添加:

<configuration>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/root/hadoop/tmp</value>
 <description>Abase for other temporary directories.</description>
 </property>
 <property>
 <name>fs.default.name</name>
 <value>hdfs://master:9000</value>
 </property>
 </configuration>

#### 3.2.2修改 hadoop-env.sh ####

输入:

vim hadoop-env.sh

将$\{JAVA\_HOME\} 修改为自己的JDK路径

export   JAVA_HOME=${JAVA_HOME}

修改为：

export   JAVA_HOME=/home/java/jdk1.8

#### 3.2.3修改 hdfs-site.xml ####

输入:

vim hdfs-site.xml

在添加:

<property>
 <name>dfs.name.dir</name>
 <value>/root/hadoop/dfs/name</value>
 <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
 </property>
 <property>
 <name>dfs.data.dir</name>
 <value>/root/hadoop/dfs/data</value>
 <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
 </property>
 <property>
 <name>dfs.replication</name>
 <value>2</value>
 </property>
 <property>
 <name>dfs.permissions</name>
 <value>false</value>
 <description>need not permissions</description>
 </property>

#### 3.2.4 修改mapred-site.xml ####

如果没有 mapred-site.xml 该文件，就复制mapred-site.xml.template文件并重命名为mapred-site.xml。  
输入:

vim mapred-site.xml

修改这个新建的mapred-site.xml文件，在节点内加入配置:

<property>
 <name>mapred.job.tracker</name>
 <value>master:9001</value>
 </property>
 <property>
 <name>mapred.local.dir</name>
 <value>/root/hadoop/var</value>
 </property>
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>

### 3，Hadoop启动 ###

启动之前需要先格式化  
切换到/home/hadoop/hadoop2.8/bin目录下  
输入:

./hadoop  namenode  -format

格式化成功后，再切换到/home/hadoop/hadoop2.8/sbin目录下  
启动hdfs和yarn  
输入:

start-dfs.sh
    start-yarn.sh

启动成功后，输入jsp查看是否启动成功  
在浏览器输入 ip+8088 和ip +50070 界面查看是否能访问  
能正确访问则启动成功

## 四、Hive的环境配置 ##

Hive环境的具体配置在我的这篇[大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)][----- Hadoop_Hive] 以及介绍得很详细了。本篇就大概介绍下。

### 修改hive-site.xml ###

切换到 /opt/hive/hive2.1/conf 目录下  
将hive-default.xml.template 拷贝一份，并重命名为hive-site.xml  
然后编辑hive-site.xml文件

cp hive-default.xml.template hive-site.xml
    vim hive-site.xml

编辑hive-site.xml文件，在 中添加:

<property> 
 <name>hive.metastore.warehouse.dir</name> 
 <value>/root/hive/warehouse</value> 
 </property>

<property> 
<name>hive.exec.scratchdir</name> 
<value>/root/hive</value> 
</property>

<property> 
<name>hive.metastore.uris</name> 
<value></value> 
</property>

<property> 
<name>javax.jdo.option.ConnectionURL</name> 
<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value> 
</property> 
 
<property> 
<name>javax.jdo.option.ConnectionDriverName</name> 
<value>com.mysql.jdbc.Driver</value> 
</property> 
 
<property> 
<name>javax.jdo.option.ConnectionUserName</name> 
<value>root</value> 
</property> 
 
<property> 
<name>javax.jdo.option.ConnectionPassword</name> 
<value>123456</value> 
</property> 
<property> 
<name>hive.metastore.schema.verification</name> 
<value>false</value> 
<description> 
</description> 
</property>

然后将配置文件中所有的

${system:java.io.tmpdir}

更改为 /opt/hive/tmp (如果没有该文件则创建)，  
并将此文件夹赋予读写权限，将  
`${system:user.name}`  
更改为 root

例如:  
更改之前的:  
![这里写图片描述][SouthEast 2]  
更改之后:  
![这里写图片描述][SouthEast 3]

配置图:  
![这里写图片描述][SouthEast 4]

**注: 由于hive-site.xml 文件中的配置过多，可以通过FTP将它下载下来进行编辑。也可以直接配置自己所需的，其他的可以删除。 MySQL的连接地址中的master是主机的别名，可以换成ip。**

### 修改 hive-env.sh ###

修改hive-env.sh 文件，没有就复制 hive-env.sh.template ，并重命名为hive-env.sh

在这个配置文件中添加

export  HADOOP_HOME=/opt/hadoop/hadoop2.8
    export  HIVE_CONF_DIR=/opt/hive/hive2.1/conf
    export  HIVE_AUX_JARS_PATH=/opt/hive/hive2.1/lib

### 添加 数据驱动包 ###

由于Hive 默认自带的数据库是使用mysql，所以这块就是用mysql  
将mysql 的驱动包 上传到 /opt/hive/hive2.1/lib

## 五、HBase的环境配置 ##

HBase环境的具体配置在我的这篇[大数据学习系列之二 ----- HBase环境搭建(单机)][----- HBase] 以及介绍得很详细了。本篇就大概介绍下。

### 修改 hbase-env.sh ###

编辑 hbase-env.sh 文件，添加以下配置

export JAVA_HOME=/opt/java/jdk1.8
    export HADOOP_HOME=/opt/hadoop/hadoop2.8
    export HBASE_HOME=/opt/hbase/hbase1.2
    export HBASE_CLASSPATH=/opt/hadoop/hadoop2.8/etc/hadoop
    export HBASE_PID_DIR=/root/hbase/pids
    export HBASE_MANAGES_ZK=false

说明:配置的路径以自己的为准。HBASE\_MANAGES\_ZK=false 是不启用HBase自带的Zookeeper集群。

### 修改 hbase-site.xml ###

编辑hbase-site.xml 文件，在添加如下配置

<property> 
 <name>hbase.rootdir</name> 
 <value>hdfs://test1:9000/hbase</value> 
 <description>The directory shared byregion servers.</description> 
 </property> 
 
 <property> 
 <name>hbase.zookeeper.property.clientPort</name> 
 <value>2181</value> 
 <description>Property from ZooKeeper'sconfig zoo.cfg. The port at which the clients will connect. 
 </description> 
 </property> 
 
 <property> 
 <name>zookeeper.session.timeout</name> 
 <value>120000</value> 
 </property> 
 
 <property> 
 <name>hbase.zookeeper.quorum</name> 
 <value>test1</value> 
 </property> 
 <property> 
 <name>hbase.tmp.dir</name> 
 <value>/root/hbase/tmp</value> 
 </property> 
 
 <property> 
 <name>hbase.cluster.distributed</name> 
 <value>false</value> 
 </property>

说明:hbase.rootdir：这个目录是region server的共享目录，用来持久化Hbase 。hbase.cluster.distributed ：Hbase的运行模式。false是单机模式，true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面。

## 六、Hive整合HBase的环境配置以及测试 ##

### 1，环境配置 ###

因为Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的，其具体工作交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来实现。所以只需要将hive的 hive-hbase-handler-*.jar 复制到hbase/lib中就可以了。  
切换到hive/lib目录下  
输入:

cp hive-hbase-handler-*.jar /opt/hbase/hbase1.2/lib

![这里写图片描述][SouthEast 5]  
注: 如果在hive整合hbase中，出现版本之类的问题，那么以hbase的版本为主，将hbase中的jar包覆盖hive的jar包。

### 2，hive和hbase测试 ###

在进行测试的时候，确保hadoop、hbase、hive环境已经成功搭建好，并且都成功启动了。  
打开xshell的两个命令窗口  
一个进入hive，一个进入hbase

#### 6.2.1在hive中创建映射hbase的表 ####

在hive中创建一个映射hbase的表，为了方便，设置两边的表名都为t\_student，存储的表也是这个。  
在hive中输入:

create table t_student(id int,name string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,st1:name") tblproperties("hbase.table.name"="t_student","hbase.mapred.output.outputtable" = "t_student");

**说明：第一个t\_student 是hive表中的名称，第二个t\_student是定义在hbase的table名称 ，第三个t\_student 是存储数据表的名称("hbase.mapred.output.outputtable" = "t\_student"这个可以不要，表数据就存储在第二个表中了) 。  
(id int,name string) 这个是hive表结构。如果要增加字段，就以这种格式增加。如果要增加字段的注释，那么在字段后面添加comment ‘你要描述的’。  
例如:  
create table t\_student(id int comment ‘StudentId’,name string comment ‘StudentName’)  
org.apache.hadoop.hive.hbase.HBaseStorageHandler 这个是指定的存储器。  
hbase.columns.mapping 是定义在hbase的列族。  
例如:st1就是列族，name就是列。在hive中创建表t\_student，这个表包括两个字段（int型的id和string型的name）。 映射为hbase中的表t\_student，key对应hbase的rowkey，value对应hbase的st1:name列。**

表成功创建之后  
在hive、hbase分别中查看表和表结构  
hive中输入

show tables；
    describe t_student;

hbase输入:

list
    describe ‘t_student’

![这里写图片描述][SouthEast 6]

![这里写图片描述][SouthEast 7]  
可以看到表已经成功的创建了

#### 6.2.2数据同步测试 ####

进入hbase之后  
在t\_student中添加两条数据 然后查询该表

put 't_student','1001','st1:name','zhangsan'
    put 't_student','1002','st1:name','lisi'
    scan 't_student'

![这里写图片描述][SouthEast 8]

然后切换到hive中  
查询该表  
输入:

select * from t_student;

![这里写图片描述][SouthEast 9]

然后在hive中删除该表  
**注:因为做测试要看结果，所以将表删除了。如果同学们要做测试的话，是没有必要删除该表的，因为在后面还会使用该表。**

然后查看hive和hbase中的表是否删除了  
输入:

drop table t_student;

![这里写图片描述][SouthEast 10]

![这里写图片描述][SouthEast 11]  
通过这些可以看到hive和hbase之间的数据成功同步！

#### 6.2.3关联查询测试 ####

##### hive外部表测试 #####

先在hbase中建一张t\_student\_info表，添加两个列族  
然后查看表结构  
输入:

create 't_student_info','st1','st2'
    describe 't_student_info'

![这里写图片描述][SouthEast 12]

然后在hive中创建外部表  
**说明:创建外部表要使用EXTERNAL 关键字**  
输入:

create external table t_student_info(id int,age int,sex string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,st1:age,st2:sex") tblproperties("hbase.table.name"="t_student_info");

![这里写图片描述][SouthEast 13]

然后在t\_student\_info 中添加数据

put 't_student_info','1001','st2:sex','man'
    put 't_student_info','1001','st1:age','20'
    put 't_student_info','1002','st1:age','18'
    put 't_student_info','1002','st2:sex','woman'

![这里写图片描述][SouthEast 14]

然后在hive中查询该表  
输入:

select * from t_student_info;

![这里写图片描述][SouthEast 15]

查询到数据之后，然后将t\_student 和t\_student\_info进行关联查询。  
输入:

select * from t_student t join t_student ti where t.id=ti.id ;

![这里写图片描述][SouthEast 16]  
**说明:通过关联查询，可以得出表之间是可以关联查询的。但是明显看到hive 使用默认的mapreduce 作为引擎是多么的慢。。。**

**其他说明:  
由于自己的虚拟机配置实在太渣，即使调大reduce内存，限制每个reduce处理的数据量，还是不行，最后没办法使用公司的测试服务进行测试。  
在查询一张表的时候，hive没有使用引擎，因此相对比较快，如果是进行了关联查询之类的，就会使用引擎，由于hive默认的引擎是mr，所以会很慢，也和配置有一定关系，hive2.x以后官方就不建议使用mr了。**

本文到此结束，谢谢阅读！  
版权声明:  
作者：虚无境  
博客园出处：[http://www.cnblogs.com/xuwujing][http_www.cnblogs.com_xuwujing]  
CSDN出处：[http://blog.csdn.net/qazwsxpcm][http_blog.csdn.net_qazwsxpcm]　　　　  
个人博客出处：[http://www.panchengming.com][http_www.panchengming.com]  
原创不易，转载请标明出处，谢谢！

如果你对生活感觉到了绝望，请不要气馁。因为这样只会让你更加绝望！ 所谓的希望往往都是在绝望中萌发的，所以，请不要放弃希望！

分类: [hadoop][], [hbase][], [hive][], [大数据][Link 1]

标签: [hadoop][hadoop 1], [hive][hive 1], [hbase][hbase 1], [hive整合hbase][hive_hbase]

好文要顶 关注我 收藏该文 ![Image 1][] ![Image 1][]

[![Image 1][]][Image 1 1]

[虚无境][Image 1 1]  
[关注 - 29][- 29]  
[粉丝 - 184][- 184]

\+加关注

[« ][Link 2] 上一篇： [大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)][Link 2]  
[» ][Link 3] 下一篇： [大数据学习系列之六 ----- Hadoop+Spark环境搭建][Link 3]

</div>

[SouthEast]: /images/20220331/13f1c52cd80f4ed4addc72b7d49ea858.png
[http_www.oracle.com_technetwork_java_javase_downloads]: http://www.oracle.com/technetwork/java/javase/downloads
[http_www.apache.org_dyn_closer.cgi_hadoop_common]: http://www.apache.org/dyn/closer.cgi/hadoop/common
[http_mirror.bit.edu.cn_apache_hive]: http://mirror.bit.edu.cn/apache/hive/
[http_mirror.bit.edu.cn_apache_hbase]: http://mirror.bit.edu.cn/apache/hbase/
[https_pan.baidu.com_s_1jIemIDC]: https://pan.baidu.com/s/1jIemIDC
[SouthEast 1]: /images/20220331/82540366790740eeb772de5cc8c1bedf.png
[----- Hadoop]: http://www.panchengming.com/2017/11/26/pancm55/
[----- Hadoop_Hive]: http://www.panchengming.com/2017/12/16/pancm61/
[SouthEast 2]: /images/20220331/d76a42e0dc5a413aa5f7e7c418c104b9.png
[SouthEast 3]: /images/20220331/0052ebfac803478f9a283aedf56b30aa.png
[SouthEast 4]: /images/20220331/c9741bebdbc74a2bb64054e4d819792a.png
[----- HBase]: http://www.panchengming.com/2017/12/09/pancm57/
[SouthEast 5]: /images/20220331/58d0934107754277b46d730114a3b79d.png
[SouthEast 6]: /images/20220331/fd7df64a6ae04043a1b1a8aa63d49194.png
[SouthEast 7]: /images/20220331/e8273033b83c4360a9e06abcca3f9f84.png
[SouthEast 8]: /images/20220331/eb086138c395442c807a40c8a4bc7bb6.png
[SouthEast 9]: /images/20220331/e2c746fb874c40b49e9a91cbe73f7778.png
[SouthEast 10]: /images/20220331/d41dae912e9d43f99e752fa6b4c5ecf8.png
[SouthEast 11]: /images/20220331/4d1cb05c55e74ca5a7b4440cbf0086b6.png
[SouthEast 12]: /images/20220331/d8d30e944f994a558d6122b2d4676368.png
[SouthEast 13]: /images/20220331/9bee590759c44b16979ef1b5baebe4ce.png
[SouthEast 14]: /images/20220331/dc92e9e16f7c4ab98fa7fa1d1ea28198.png
[SouthEast 15]: /images/20220331/87dffe02f06142d3870842493c19a1ae.png
[SouthEast 16]: /images/20220331/079dbf08e689413cbaab02ac9f96e347.png
[http_www.cnblogs.com_xuwujing]: http://www.cnblogs.com/xuwujing
[http_blog.csdn.net_qazwsxpcm]: http://blog.csdn.net/qazwsxpcm
[http_www.panchengming.com]: http://www.panchengming.com
[hadoop]: https://www.cnblogs.com/xuwujing/category/1117051.html
[hbase]: https://www.cnblogs.com/xuwujing/category/1128934.html
[hive]: https://www.cnblogs.com/xuwujing/category/1128935.html
[Link 1]: https://www.cnblogs.com/xuwujing/category/1128936.html
[hadoop 1]: https://www.cnblogs.com/xuwujing/tag/hadoop/
[hive 1]: https://www.cnblogs.com/xuwujing/tag/hive/
[hbase 1]: https://www.cnblogs.com/xuwujing/tag/hbase/
[hive_hbase]: https://www.cnblogs.com/xuwujing/tag/hive%E6%95%B4%E5%90%88hbase/
[Image 1]: 
[Image 1 1]: http://home.cnblogs.com/u/xuwujing/
[- 29]: http://home.cnblogs.com/u/xuwujing/followees
[- 184]: http://home.cnblogs.com/u/xuwujing/followers
[Link 2]: https://www.cnblogs.com/xuwujing/p/8045821.html
[Link 3]: https://www.cnblogs.com/xuwujing/p/8067293.html