往HBase导入数据的几种操作

妖狐艹你老母 2021-09-17 01:30 2856阅读 0赞

HBase作为Hadoop DataBase，除了使用put进行数据导入之外，还有以下几种导入数据的方式：

（1）使用importTsv功能将csv文件导入HBase；

（2）使用import功能，将数据导入HBase；

（3）使用BulkLoad功能将数据导入HBase。

接下来，小编将对这三种方法分别进行介绍~

**一、使用importTsv功能将csv文件导入HBase**

使用importTsv功能可以将csv格式的文件导入到HBase中，其格式如下：

hbase [类] [分隔符] [行键，列族] [表] [导入文件]

例如：

1、创建f.csv文件，其内容如下：

![20181120141023772.png][]

2、将文件上传至HDFS，并修改相应的读写权限

![20181120141143673.png][]

3、创建HBase表

![20181120140817344.png][]

4、执行上述的MapReduce操作

/etc/init.d/TDH-Client/hyperbase/bin/hbase \
    org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," \
    -Dimporttsv.columns=HBASE_ROW_KEY,f1 test /user/f.csv

MapReduce执行成功之后会显示下图结果：

![20181120140911477.png][]

5、查看导入HBase中的数据

![20181120140942925.png][]

**二、使用import功能，将数据导入HBase**

使用import功能进行数据导入，导入的文件必须是sequence文件。与import相对的还有export功能，export功能导出的文件为sequence文件。

例如：

1、首先使用export功能将HBase表中的数据导出，代码如下：

/etc/init.d/TDH-Client/hyperbase/bin/hbase \
    org.apache.hadoop.hbase.mapreduce.Export test /user/hbase/output

得到结果如下图所示：

![2018112014553419.png][]

2、创建一个新的HBase表，此处需要注意的是：新表的列族需跟导出表的列族一致

![20181120145804147.png][]

3、执行import的MapReduce

/etc/init.d/TDH-Client/hyperbase/bin/hbase \
    org.apache.hadoop.hbase.mapreduce.Import test2 /user/hbase/output

4、查看HBase表中的数据

![20181120150315506.png][]

**三、使用BulkLoad功能将数据导入HBase**

HBase支持BulkLoad的导入方式，它是利用HBase的数据信息按照特定格式存储在hdfs内这一原理，直接在HDFS中生成持久化的HFile数据格式文件，然后上传至适当位置，即完成巨量数据快速入库的办法。配合MapReduce完成，不占用region资源，在大数据量写入时，能极大的提高写入效率，并降低对HBase节点的写入压力。   
通过使用先生成HFile，然后再BulkLoad到HBase的方式来导入数据有如下的好处：   
1、消除了对HBase集群的插入压力；  
2、提高了Job的运行速度，降低了Job的执行时间。

其格式如下：

1、通过importTsv生成HFile文件，此过程会主动创建HBase表和HDFS上对应的目录

hbase [类] [分隔符] [输出存储路径] [行键,列族] [表] [导入原始数据文件]

2、通过completebulkload将数据导入到HBase表

hadoop jar [hbase server jar包] completebulkload [HFile文件路径] [表名]

例如：

1、通过importTsv生成HFile文件

/etc/init.d/TDH-Client/hyperbase/bin/hbase \
    org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," \
    -Dimporttsv.bulk.output=/user/hbase/hfile_output \
    -Dimporttsv.columns=HBASE_ROW_KEY,f1 test4 /user/f.csv

此过程会主动创建HBase表和HDFS上对应的目录

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70][]

![20181120153140886.png][]

2、将数据导入到HBase表中

hadoop jar \
    /etc/init.d/TDH-Client/hyperbase/lib/hbase-server-0.98.6-transwarp-5.1.1.jar \
    completebulkload /user/hbase/hfile_output test4

你们在此过程中遇到了什么问题，欢迎留言，让我看看你们都遇到了哪些问题。

[20181120141023772.png]: /images/20210726/fe1ca54fed7e4d36b6dfc624b77ae643.png
[20181120141143673.png]: /images/20210726/60e8c020e66648fea0baad74951505a7.png
[20181120140817344.png]: /images/20210726/8a5360beff3f47da8a60354ca0e6853d.png
[20181120140911477.png]: /images/20210726/9041e10e024f4631ae8fbb4a0cc541f2.png
[20181120140942925.png]: /images/20210726/7a963f71863a425191da66d0ffadb3a4.png
[2018112014553419.png]: /images/20210726/d87f82410122412f955e0a02c8f3c28e.png
[20181120145804147.png]: /images/20210726/4a620bbb33474ebc959fccc00af63c57.png
[20181120150315506.png]: /images/20210726/52067b5b409a4f199b4ad4629fe09f57.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70]: /images/20210726/870d4bc708f44cab8c2946a9f66f7498.png
[20181120153140886.png]: /images/20210726/70e023a46b0f405da7caabee42296e22.png

发表评论取消回复

表情：

评论列表（有 0 条评论，2856人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hbase备份（HBase Backup）的几种方法

执行HBase备份有两种主要的策略：关闭集群进行备份，以及在活动的集群上进行备份。关闭集群备份这样做的好处是，NameNode/Master 是地区级服务器，因此不

本是古典何须时尚/ 2023年06月07日 15:27/ 0 赞/ 29 阅读

相关 hive数据导入到hbase

方式一： hbase中建表，然后hive中建外部表，这样当hive中写入数据后，hbase中的表也会同时更新创建hbase表 create 'clas

本是古典何须时尚/ 2022年12月10日 15:57/ 0 赞/ 205 阅读

相关 HBase数据的导入导出

HBase数据的导入导出 1、导出： hbase org.apache.hadoop.hbase.mapreduce.Driver export 表名导出存放路径

小咪咪/ 2022年08月05日 00:57/ 0 赞/ 1190 阅读

相关往HIVE表中导入导出数据的几种方式详解

一：往HIVE表中导入导出数据语法结构:\[ \]带括号的表示可选择字段 LOAD DATA \[LOCAL\] INPATH 'filepath' \[OVERWRIT

深碍√TFBOYSˉ_/ 2022年05月30日 07:50/ 0 赞/ 280 阅读

相关 hbase_数据备份（导入/导出）

1. Export/Import（导入导出） hdfs常用命令： [http://www.cnblogs.com/gaopeng527/p/4314215.html][ht

青旅半醒/ 2022年05月25日 07:29/ 0 赞/ 351 阅读

相关 HBase导入海量数据、使用BuckLoa向HBase中导入数据 13

前言博主之前简单介绍了，HBase写入数据的原理与HBase表在hdfs上的存储结构，还搞了搞HBase提供的导入工具ImportTsv，想了解更多ImportTsv

- 日理万妓/ 2022年04月24日 12:12/ 0 赞/ 307 阅读

相关 hbase数据转移: 导入导出

文章目录 hbase数据“摧毁重建” a, 两个集群版本相同，但网络不通：数据在主机间scp b, 两个集群版本相同，且网络能通：hado

我不是女神ヾ/ 2022年03月31日 07:47/ 0 赞/ 950 阅读

相关文本数据导入HBASE

在将有定界符文本文件导入HBASE库中，需要将后面的定界符去掉，否则将导入失败。如下所示： \[hadoop@hadoop1 bin\]$ cat

悠悠/ 2022年01月11日 00:09/ 0 赞/ 268 阅读

相关 Hbase底层实现——HBASE架构、HBASE数据存储、HBASE数据访问、HBASE的shell操作

多次面试都提到了这个问题，这次来系统的总结一下答题的要点吧。一、HBASE底层设计，也即HBASE的底层架构： 1、HBASE中有多个RegionServer 2、Re

Dear 丶/ 2021年09月22日 11:52/ 0 赞/ 453 阅读

相关往HBase导入数据的几种操作

HBase作为Hadoop DataBase，除了使用put进行数据导入之外，还有以下几种导入数据的方式：（1）使用importTsv功能将csv文件导入HBase；（

妖狐艹你老母/ 2021年09月17日 01:30/ 0 赞/ 2857 阅读