Hbase导入导出数据（百万级条数据）步骤

短命女 2024-04-17 17:41 83阅读 0赞

导出

通过Export导出数据到目标集群的hdfs，再在目标集群执行import导入数据，Export支持指定开始时间和结束时间，因此可以做增量备份，Export工具参数如下：

可见，在导出时可以指定version，starttime，endtime等参数，并且可以通过-D指定是否压缩，指定caching等属性。

Export导出工具与CopyTable一样是依赖hbase的scan读取数据，并且采用的InportFormat与CopyTable一样是TableInputFormat类，从该类的getSplits()方法可以看出MR的map数与hbase表的region数相同。

**一，准备工作**  
student的表结构如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70]  
启动的节点：  
![在这里插入图片描述][20190829141114969.png]  
**二，导出表**  
我们执行导出命令：  
![在这里插入图片描述][20190829141216563.png]  
成功！  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 1]  
因为我们的目标路径是存储在hdfs里面的，所以我们这点一点要注意，在本地磁盘下面是找不到的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 3]

我们也可以通过命令来查看文件：  
![在这里插入图片描述][20190829141726496.png]  
接着我们把hdfs里面导出的表，给复制到本地磁盘下面去。  
![在这里插入图片描述][20190829141955197.png]  
查看：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 4]  
**三，导入表**  
先将备份的表，导入到hdfs中，利用hadoop dfs -put localFile hdfsFile命令  
![在这里插入图片描述][20190829142408398.png]  
导入成功：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 5]  
创建表：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 6]  
导入数据  
![在这里插入图片描述][20190829143350480.png]  
成功  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 7]  
查看数据：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 8]  
**四，备份百万级条数据**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 9]  
导出导入都是一样的步骤，只不过就是数据量很大的时候，会导出导入很慢，尤其是导入。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 10]  
我导入数据的时候，都导入了十分钟，也许是我的电脑的内存很慢。  
但是我看了下别的大佬的Hbase导入导出表的博客，发现会出现一个问题：  
导出user表，接近18万条记录：

/hbs/hbase-1.0.3/bin/hbase org.apache.hadoop.hbase.mapreduce.Export harve\_user /hdfs/data\_back/harve\_user\_back

![在这里插入图片描述][2019090221410648.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 11]  
导出失败了，查看hdfs中的内容也是空的：

![在这里插入图片描述][20190902214119791.png]

失败原因：

![在这里插入图片描述][20190902214124405.png]

2017-06-19 15:41:21,996 INFO \[main\] mapreduce.Job: Task Id : attempt\_1492400325003\_0004\_m\_000002\_2, Status : FAILED

Container \[pid=126946,containerID=container\_1492400325003\_0004\_01\_000020\] is running beyond virtual memory limits. Current usage: 162.1 MB of 1 GB physical memory used; 2.1 GB of 2.1 GB virtual memory used. Killing container.

**机上运行的Container试图使用过多的内存，而被NodeManager kill掉了。**

该错误是YARN的虚拟内存计算方式导致，上例中用户程序申请的内存为1Gb，YARN根据此值乘以一个比例（默认为2.1）得出申请的虚拟内存的值，当YARN计算的用户程序所需虚拟内存值大于计算出来的值时，就会报出以上错误。调节比例值可以解决该问题。

解决方法：**mapred-site.xml中设置map和reduce任务的内存配置如下：(value中实际配置的内存需要根据自己机器内存大小及应用情况进行修改)**

mapreduce.map.memory.mb 1536 mapreduce.map.java.opts -Xmx1024M mapreduce.reduce.memory.mb 3072 mapreduce.reduce.java.opts -Xmx2560M

**MapReduce作业配置参数**  
可在客户端的mapred-site.xml中配置，作为MapReduce作业的缺省配置参数。也可以在作业提交时，个性化指定这些参数

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 12]  
修改配置文件重启后再次执行，成功：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 13]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/7dbbf2cedffe42eab89646ad5a9740f8.png
[20190829141114969.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/885c35ef6b83464b940d89155699dc95.png
[20190829141216563.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/77f5e577d40949d880a21c5e33987820.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/36b578590c594c66b5166629ab7f33f9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/697b84b927c64372bc7c9bdf3694df79.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/db779425a7d14d02bc65ab130f2824fd.png
[20190829141726496.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/e87b10e0ff524bf7a1f745bf0f181118.png
[20190829141955197.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/04e4a477b1544f2c8a88d73b590ae826.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/cfcce435316e4f308c6f3b2b7291df01.png
[20190829142408398.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/9bc58011009f4cffad9e67fb6a44511e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/5aee4149d14c4bacb485d5e6f0bf0bf8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/8c4f51b1f31040e8802275b4dea866bd.png
[20190829143350480.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/8dbac197c2154bd8b230591414c96cb6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/624ce67e3ec54a849f1b643dc0cd4015.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 8]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/a0f0e0a96fcf4a918d17a5da173d676f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 9]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/165883f056c74733aa817997a83f0eb4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 10]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/8922644f730043989e726257eb071f7b.png
[2019090221410648.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/eb5e1f4ccded43638c17bc2acff8295f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 11]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/dbc7b8e717204e95b9dcac936a651b13.png
[20190902214119791.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/eee5e7a5232a466cb73e8911652f1f57.png
[20190902214124405.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/37755024629948338235e978a51830f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 12]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/6071ccab9c374214ab0ccfb8f88d9428.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjM2OTQxOA_size_16_color_FFFFFF_t_70 13]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/66024a5858574dccaf0fef092a18df39.png