HBase系列(三)：利用SQL BulkLoad快速导入海量数据

柔光的暖阳◎ 2022-05-19 06:06 228阅读 0赞

# HBase BulkLoad概述 #

直接用put命令将海量数据导入至HBase会耗费大量时间（HFile合并、Region分割等），而且用原生的put命令导入海量数据，会占用HRegionServer很多资源，HBase集群会变得压力山大，集群基本对外丧失写的能力。

其实HBase中数据以HFile文件的形式存储于HDFS，所以我们可以绕过HBase put API，直接将数据加工成HFile文件，再将其加载到Hyperbase中，从而完成大规模数据的快速入库。

# BulkLoad实现路线（技术选型） #

原生BulkLoad需要编写mapreduce代码，对数据文件进行处理，通过HBase提供的api转为HFile。但这里我们选用HyperBase+Inceptor的方式实现BulkLoad，它底层其实是将SQL命令转为mapreduce任务。整体流程：

对数据集预分Region，获取SplitKey  - > 根据SplitKey创建HyperDrive表，预分Region -> 将数据转为HFile文件并加载至HBase -> 为Index数据划分Region，Rebuild Index。

rebuild索引的操作大家参考此篇博文：

> [HBase二级索引实践][HBase]

废话不多说，开搞：

# 准备数据 #

将数据文件上传至HDFS。

hadoop fs -mkdir -p /tmp/jbw/bulkLoadData
    hadoop fs -put data.csv /tmp/jbw/bulkLoadData

![70][]

# 根据SplitKey预分Region  #

观察数据，发现id编号从10000000到19999999，一共10000000条数据，故在预分Region环节，建表DDL如下。

此过程即预先定义最终HBase表实际分布式存储的结构（划分多少个Region）

drop table if exists hyper_table;
    
    -- 此表在后续会从外表中查询并导入数据
    create table hyper_table
    (rowkey string
      , num int
      , country int
      , rd string)
    stored as hyperdrive
    tblproperties('hyperdrive.table.splitkey' = '"110000000",
                  "120000000",
                  "130000000",
                  "140000000",
                  "150000000",
                  "160000000",
                  "170000000",
                  "180000000",
                  "190000000"'
    );

# 导入HDFS上数据至外表 #

创建外表，从HDFS中导入数据至外表。

drop table if exists hyper_external_table;
    create external table hyper_external_table
    (rowkey string
      , num int
      , country int
      , rd string)
    row format delimited fields terminated by ','
    location '/tmp/jbw/bulkLoadData';

导入过程挺快的，千万条数据，秒级导入。

![70 1][]

# 使用BulkLoad方式从数据外表中导入至最终HBase表  #

-- 用bulkload方式导入预先分好region的hyper_table表中
    insert overwrite table hyper_table
    select
        /*+ USE_BULKLOAD */
        rowkey
         , num
         , country
         , rd
    from
        hyper_external_table
    order by
         rowkey;

### 利用SQL BulkLoad方式，我们仅用了**32秒**即完成了千万条数据的导入。 ###

![70 2][]

查询可见，数据均以成功导入。

![70 3][]

好了，可以发现用BulkLoad黑科技导入数据至HBase，既方便又快捷，生产环境海量数据入库，基本都是使用此方式。

[HBase]: https://blog.csdn.net/whdxjbw/article/details/81146440
[70]: /images/20220519/f45811719c8a4859b2c085ff6d357c1a.png
[70 1]: /images/20220519/9e1807170baf4bfb94447277d3167ca2.png
[70 2]: /images/20220519/b45704af7c5d4adeb89778a33aef6ae1.png
[70 3]: /images/20220519/aa089c47f31847a6b71bd247142db6dc.png

发表评论取消回复

表情：

评论列表（有 0 条评论，228人围观）

还没有评论，来说两句吧...

相关阅读

相关使用BulkLoading将数据导入HBase

[https://www.jianshu.com/p/7e05a223c18c][https_www.jianshu.com_p_7e05a223c18c] [https:/

约定不等于承诺〃/ 2023年06月13日 04:46/ 0 赞/ 14 阅读

相关 MapReduce读取hive数据，然后用hbase的bulkload方法导入hbase中

废话不多说，直接上代码————————————————————————————————————— 因为默认是一个分区，就只有一个reduce过程，写入比较慢。所以先进

约定不等于承诺〃/ 2022年12月03日 12:55/ 0 赞/ 227 阅读

相关 HBase ：利用SQL BulkLoad快速导入海量数据

HBase BulkLoad概述直接用put命令将海量数据导入至HBase会耗费大量时间（HFile合并、Region分割等），而且用原生的put命令导入海量数据，会占

﹏ヽ暗。殇╰゛Y/ 2022年10月02日 10:44/ 0 赞/ 212 阅读

相关 HBase 写优化之 BulkLoad 实现数据快速入库

HBase 写优化之 BulkLoad 实现数据快速入库 http://my.oschina.net/leejun2005/blog/187309

小咪咪/ 2022年08月08日 09:29/ 0 赞/ 193 阅读

相关 HBase数据快速导入之ImportTsv&Bulkload

[HBase数据快速导入之ImportTsv&Bulkload][HBase_ImportTsv_Bulkload] 导入数据最快的方式，可以略过WAL直接生产底层HFi

Myth丶恋晨/ 2022年06月07日 13:53/ 0 赞/ 324 阅读

相关 HBase系列(三)：利用SQL BulkLoad快速导入海量数据

HBase BulkLoad概述直接用put命令将海量数据导入至HBase会耗费大量时间（HFile合并、Region分割等），而且用原生的put命令导入海量数据，会占

柔光的暖阳◎/ 2022年05月19日 06:06/ 0 赞/ 229 阅读

相关 HBase系列：利用BulkLoad快速导入海量数据及集群间数据同步

Region的大小单个region最大大小官方推荐5~10GB，这是三备份前的数据大小，通过hbase.hregion.max.filesize配置，当超过这个值后regi

红太狼/ 2022年05月17日 09:24/ 0 赞/ 1000 阅读

相关 Hbase通过BulkLoad的方式快速导入海量数据

HBase数据在HDFS下是如何存储的？ HBase中每张Table在根目录（/HBase）下用一个文件夹存储，Table名为文件夹名，在Table文件夹下每个Region同

Dear 丶/ 2022年05月17日 09:24/ 0 赞/ 197 阅读

相关 HBase导入海量数据、使用BuckLoa向HBase中导入数据 13

前言博主之前简单介绍了，HBase写入数据的原理与HBase表在hdfs上的存储结构，还搞了搞HBase提供的导入工具ImportTsv，想了解更多ImportTsv

- 日理万妓/ 2022年04月24日 12:12/ 0 赞/ 308 阅读

相关通过BulkLoad的方式快速导入海量数据

摘要加载数据到HBase的方式有多种，通过HBase API导入或命令行导入或使用第三方(如sqoop)来导入或使用MR来批量导入（耗费磁盘I/O，容易在导入的过程使节

系统管理员/ 2022年01月13日 05:53/ 0 赞/ 244 阅读