Hive集成HBase（一）

灰太狼 2022-08-21 04:20 211阅读 0赞

[Hive集成HBase（一）][Hive_HBase]

[Hive集成HBase（二）][Hive_HBase 1]

在介绍Hive集成HBase的使用之前，我们先看看Hive和HBase之间通信用到的一个包，这个包至关重要，容不得有半点差池，否则就会集成失败。下面这个官网链接可供参考[https://cwiki.apache.org/confluence/display/Hive/StorageHandlers][https_cwiki.apache.org_confluence_display_Hive_StorageHandlers]。因此，第一篇文章先讨论Hive和HBase的通信包，第二篇才开始介绍Hive集成HBase之后的使用。

# 1.hive-hbase-handler.jar #

在Hive继承HBase中，二者的通信包就是hive-hbase-handler.jar，极其重要。如果我们用$HIVE\_HOME/lib目录下的hive-hbase-handler-x.y.z.jar，那么一般都不会集成成功，反而报错如：

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V

这说明Hive和HBase的版本不兼容。因此，我们必须根据自己安装的Hive和HBase的版本自己重新编译hive-hbase-handler.jar，而且还有修改hive-handler的源码（ **没错，你绝对没有看错我们要修改源代码。不过，不要恐慌，我们只修改两三行代码而已）**。

# 2.编译hive-hbase-handler源码 #

hive-hbase-handler的源码在Hive源码中，因此，我们需要先在下载Hive源码，官网地址： [http://mirror.bit.edu.cn/apache/hive/][http_mirror.bit.edu.cn_apache_hive]  
现在我们按照以下步骤来完成编译：

## 1.把hive-hbase-handler源码导入到Eclipse中 ##

首先，需要在Eclipse中新建一个Java项目，项目名可以随便起，如hivehbase。

![Center][]

然后，我们在**src目录**下导入hive-handler源码。

![Center 1][]

在Hive源码中找到hive-handler源码，**切记现在hive-handler目录下的java目录，而不是把hive-handler导入**。

![Center 2][]

![Center 3][]

接着，选择org目录即可。

![Center 4][]

## 2.下载依赖jar包 ##

**注意：不同版本之间的集成依赖的包的数量和种类不一样。**

依赖的jar包有这么些（Hive1.0.1和HBase1.1.3集成）。

![Center 5][]

再看Hive1.2.1和HBase0.98的集成，需要的jar却是（其实，如果不修改源代码还需要high-scale-lib-x.y.z.jar，在下一节我会告知在哪里修改源代码）：

![Center 6][]

关于这些jar包在哪下载，我们可以去Maven中央仓库[http://repo.maven.apache.org/maven2/][http_repo.maven.apache.org_maven2]。但是，有一个jar包——high-scale-lib-x.y.z.jar在Maven中央仓库找不到，它的下载地址是[http://www.java2s.com/Code/Jar/h/Downloadhighscalelib10jar.htm][http_www.java2s.com_Code_Jar_h_Downloadhighscalelib10jar.htm]。不过还是建议在$HIVE\_HOME\\lib和$HBASE\_HOME\\lib里面找相应的jar。关于high-scale-lib-x.y.z.jar，我们后面还要提到 high-scale-lib-x.y.z.jar。然后，把上述jar包加入CLASSPATH就不会报错了。如果到此，你觉得已经没错了，可以编译了。那么，你就大错特错了（除非你用的是HBase1.0之前的版本）。因为你用此时编译的hive-hbase-handler.jar，当把Hive表存到HBase表中时，会报错：

java.lang.NoClassDefFoundError: org/cliffc/high_scale_lib/Counter。

## 3.修改hive-handler源代码 ##

前面让你留意了high-scale-lib-x.y.z.jar，因为正是high-scale-lib-x.y.z.jar，才使得我们需要修改hive-handler源码。我们找到org.apache.hadoop.hive.hbase.HBaseStorageHandler，然后定位到472行（仅对于Hive1.0.1），可以看到org.cliffc.high\_scale\_lib.Counter.class。  
我们可以找到源码：

TableMapReduceUtil.addDependencyJars(
              jobConf, HBaseStorageHandler.class, TableInputFormatBase.class,
              org.cliffc.high_scale_lib.Counter.class); // this will be removed for HBase 1.0

看到后面的注释，所以我们把这三行代码修改为：

TableMapReduceUtil.addDependencyJars(
              jobConf, HBaseStorageHandler.class, TableInputFormatBase.class);

对于Hive1.2.1的源码又不一样了，找到org.apache.hadoop.hive.hbase.HBaseStorageHandler，定位到源码：

private static Class counterClass = null;
      static {
        try {
          counterClass = Class.forName("org.cliffc.high_scale_lib.Counter");
        } catch (ClassNotFoundException cnfe) {
          // this dependency is removed for HBase 1.0
        }
      }
      @Override
      public void configureJobConf(TableDesc tableDesc, JobConf jobConf) {
        try {
          HBaseSerDe.configureJobConf(tableDesc, jobConf);
          /*
           * HIVE-6356
           * The following code change is only needed for hbase-0.96.0 due to HBASE-9165, and
           * will not be required once Hive bumps up its hbase version). At that time , we will
           * only need TableMapReduceUtil.addDependencyJars(jobConf) here.
           */
          if (counterClass != null) {
            TableMapReduceUtil.addDependencyJars(
              jobConf, HBaseStorageHandler.class, TableInputFormatBase.class, counterClass);
             
          }

严格来讲应该修改成：

//  private static Class counterClass = null;
    //  static {
    //    try {
    //      counterClass = Class.forName("org.cliffc.high_scale_lib.Counter");
    //    } catch (ClassNotFoundException cnfe) {
    //      // this dependency is removed for HBase 1.0
    //    }
    //  }
      @Override
      public void configureJobConf(TableDesc tableDesc, JobConf jobConf) {
        try {
          HBaseSerDe.configureJobConf(tableDesc, jobConf);
          /*
           * HIVE-6356
           * The following code change is only needed for hbase-0.96.0 due to HBASE-9165, and
           * will not be required once Hive bumps up its hbase version). At that time , we will
           * only need TableMapReduceUtil.addDependencyJars(jobConf) here.
           */
          if (counterClass != null) {
            TableMapReduceUtil.addDependencyJars(
    //          jobConf, HBaseStorageHandler.class, TableInputFormatBase.class, counterClass);
              jobConf, HBaseStorageHandler.class, TableInputFormatBase.class);
          }

但是，也可以只修改成这样即可：

if (counterClass != null) {
            TableMapReduceUtil.addDependencyJars(
    //          jobConf, HBaseStorageHandler.class, TableInputFormatBase.class, counterClass);
              jobConf, HBaseStorageHandler.class, TableInputFormatBase.class);
          }

## 4.打包 ##

现在我们终于可以打包了。这个jar是不可执行的。

![Center 7][]

[Hive_HBase]: http://blog.csdn.net/u010376788/article/details/50890622
[Hive_HBase 1]: http://blog.csdn.net/u010376788/article/details/50905476
[https_cwiki.apache.org_confluence_display_Hive_StorageHandlers]: https://cwiki.apache.org/confluence/display/Hive/StorageHandlers
[http_mirror.bit.edu.cn_apache_hive]: http://mirror.bit.edu.cn/apache/hive/
[Center]: /images/20220731/8e879f779b724c2a9ab67a59112b3d44.png
[Center 1]: /images/20220731/d57cda46a89841c6bb76c3fb37e8d79c.png
[Center 2]: /images/20220731/dee423c86d924b55a0eb7766cd51a637.png
[Center 3]: /images/20220731/654a6088cb6c46218ff56bed9763ce55.png
[Center 4]: /images/20220731/48abbcb3141849eebb1a1359e3f81bf5.png
[Center 5]: /images/20220731/dd3b4b1848c945e28deb1e1e98c90b8c.png
[Center 6]: /images/20220731/02cee47567b34fe3aaa5d44214054596.png
[http_repo.maven.apache.org_maven2]: http://repo.maven.apache.org/maven2/
[http_www.java2s.com_Code_Jar_h_Downloadhighscalelib10jar.htm]: http://www.java2s.com/Code/Jar/h/Downloadhighscalelib10jar.htm
[Center 7]: /images/20220731/c52ad39cd2c14a83a102f93e55bee150.png