hbase_数据备份（导入/导出）

青旅半醒 2022-05-25 07:29 351阅读 0赞

1. Export/Import（导入导出）

hdfs常用命令：

[http://www.cnblogs.com/gaopeng527/p/4314215.html][http_www.cnblogs.com_gaopeng527_p_4314215.html]

1) 导出

通过Export导出数据到目标集群的hdfs，再在目标集群执行import导入数据，Export支持指定开始时间和结束时间，因此可以做增量备份，Export工具参数如下：

可见，在导出时可以指定version，starttime，endtime等参数，并且可以通过\-D指定是否压缩，指定caching等属性。

// hbase org.apache.hadoop.hbase.mapreduce.Export test4 hdfs://t2-namenode:9000/test4\_90 1

1415693812520 1415694912520

// hbase org.apache.hadoop.hbase.mapreduce.Export 表名  数据文件位置 版本 开始时间 结束时间

Export导出工具与CopyTable一样是依赖hbase的scan读取数据，并且采用的InportFormat与CopyTable一样是TableInputFormat类，从该类的getSplits()方法可以看出MR的map数与hbase表的region数相同。

如hbase的test\_table表内容如下：

![20180510120341729][]

导出：

hbase org.apache.hadoop.hbase.mapreduce.Export test\_table /opt/hbase-data-back/test\_table\_back

//hbase org.apache.hadoop.hbase.mapreduce.Driver export test\_table /opt/hbase-data-back/test\_table\_back

![20180510120457437][]

![20180510120513377][]

查看文件：

注：上面的路径并不是我最初认为的系统目录，而是hdfs内部的目录。因此在系统中是找不到此文件的。可以通过hdfs的命令查看文件：

hadoop fs -ls /opt/hbase-data-back/test\_table\_back

![20180510120555569][]

注：增量备份：

在最后加上版本号和时间就可以了，时间需要使用数字格式，可使用此页面工具将日期时间转为数字：

[http://tool.chinaz.com/Tools/unixtime.aspx][http_tool.chinaz.com_Tools_unixtime.aspx]

如：

2017-05-19 00:00:00 1495123200000

2017-05-29 00:00:00 1495987200000

/hbase org.apache.hadoop.hbase.mapreduce.Export harve\_plate /hdfs/data\_back/harve\_plate 1 1483200000000 1495123200000

2) 获取hdfs文件到系统

将hdfs中的/opt/hbase-data-back/test\_table\_back，复制到系统的/opt/hbase-data-back/test\_table\_back中：

hadoop fs -get /opt/hbase-data-back/test\_table\_back /opt/hbase-data-back/test\_table\_back

![20180510120733622][]

然后系统中自动创建了一个test\_table\_back目录

![20180510120815619][]

目录中的文件也复制过来了：

![20180510120828707][]

3) 将备份文件添加到hdfs中

将上面的目录复制到新的机器中，通过put将文件上传到hdfs中去。

hadoop dfs -put localFile hdfsFile

如：把系统的/opt/hbase-data-back/test\_table\_back上传到hdfs的/opt/hbase-data-back/test\_table\_back2下。

![20180510121017711][]

查看/opt/hbase-data-back/test\_table\_back2下的内容：

![20180510121032118][]

4) 导入：

先创建一张一样的表：

![20180510121203671][]

hbase org.apache.hadoop.hbase.mapreduce.Import test\_table\_back /opt/hbase-data-back/test\_table\_back

网上有人说要这么写（指定从hdfs获取数据）：hdfs://l-master.data/opt/hbase-data-back/test\_table\_back

但不这么写默认就是从hdfs中获取数据。

![20180510121442738][]

![20180510121456227][]

在import时可以指定使用bulk的方式，bulk是生成hfile格式的文件，直接导入到Region，无需经历hbase的写数据过程，从而无需消耗memstore，无需Flush等，更加高效，如果不指定bulk文件路径（hdfs的路径）则会采用hbase 的put和delete API进行写入。

$ bin/hbase -Dhbase.import.version=0.94 org.apache.hadoop.hbase.mapreduce.Import <tablename> <inputdir>

使用Import工具前必须先创建表，关于hbase.import.version属性是0.96的功能。

导入结束后查看数据：

![20180510121657304][]

导入成功。

5) 大数据量导出

导出user表，接近18万条记录：

/hbs/hbase-1.0.3/bin/hbase org.apache.hadoop.hbase.mapreduce.Export harve\_user /hdfs/data\_back/harve\_user\_back

![20180510121839811][]![20180510121848235][]

导出失败了，查看hdfs中的内容也是空的：

![20180510121957337][]

失败原因：

![20180510122005959][]

2017-06-19 15:41:21,996 INFO  \[main\] mapreduce.Job: Task Id : attempt\_1492400325003\_0004\_m\_000002\_2, Status : FAILED

Container \[pid=126946,containerID=container\_1492400325003\_0004\_01\_000020\] is running beyond virtual memory limits. Current usage: 162.1 MB of 1 GB physical memory used; 2.1 GB of 2.1 GB virtual memory used. Killing container.

**机上运行的Container试图使用过多的内存，而被NodeManager kill掉了。**

该错误是YARN的虚拟内存计算方式导致，上例中用户程序申请的内存为1Gb，YARN根据此值乘以一个比例（默认为2.1）得出申请的虚拟内存的值，当YARN计算的用户程序所需虚拟内存值大于计算出来的值时，就会报出以上错误。调节比例值可以解决该问题。

解决方法：mapred-site.xml中设置map和reduce任务的内存配置如下：(value中实际配置的内存需要根据自己机器内存大小及应用情况进行修改)

<property> 
<name>mapreduce.map.memory.mb</name> 
<value>1536</value> 
</property> 
<property> 
<name>mapreduce.map.java.opts</name> 
<value>-Xmx1024M</value> 
</property> 
<property> 
<name>mapreduce.reduce.memory.mb</name> 
<value>3072</value> 
</property> 
<property> 
<name>mapreduce.reduce.java.opts</name> 
<value>-Xmx2560M</value> 
</property>

** MapReduce作业配置参数**

可在客户端的mapred-site.xml中配置，作为MapReduce作业的缺省配置参数。也可以在作业提交时，个性化指定这些参数。

<table> 
 <tbody> 
 <tr> 
 <td>参数名称</td> 
 <td>缺省值</td> 
 <td>说明</td> 
 </tr> 
 <tr> 
 <td>mapreduce.job.name</td> 
 <td>&nbsp;</td> 
 <td>作业名称</td> 
 </tr> 
 <tr> 
 <td>mapreduce.job.priority</td> 
 <td>NORMAL</td> 
 <td>作业优先级</td> 
 </tr> 
 <tr> 
 <td>yarn.app.mapreduce.am.resource.mb</td> 
 <td>1536</td> 
 <td>MR ApplicationMaster占用的内存量</td> 
 </tr> 
 <tr> 
 <td>yarn.app.mapreduce.am.resource.cpu-vcores</td> 
 <td>1</td> 
 <td>MR ApplicationMaster占用的虚拟CPU个数</td> 
 </tr> 
 <tr> 
 <td>mapreduce.am.max-attempts</td> 
 <td>2</td> 
 <td>MR ApplicationMaster最大失败尝试次数</td> 
 </tr> 
 <tr> 
 <td>mapreduce.map.memory.mb</td> 
 <td>1024</td> 
 <td>每个Map Task需要的内存量</td> 
 </tr> 
 <tr> 
 <td>mapreduce.map.cpu.vcores</td> 
 <td>1</td> 
 <td>每个Map Task需要的虚拟CPU个数</td> 
 </tr> 
 <tr> 
 <td>mapreduce.map.maxattempts</td> 
 <td>4</td> 
 <td>Map Task最大失败尝试次数</td> 
 </tr> 
 <tr> 
 <td>mapreduce.reduce.memory.mb</td> 
 <td>1024</td> 
 <td>每个Reduce Task需要的内存量</td> 
 </tr> 
 <tr> 
 <td>mapreduce.reduce.cpu.vcores</td> 
 <td>1</td> 
 <td>每个Reduce Task需要的虚拟CPU个数</td> 
 </tr> 
 <tr> 
 <td>mapreduce.reduce.maxattempts</td> 
 <td>4</td> 
 <td>Reduce Task最大失败尝试次数</td> 
 </tr> 
 <tr> 
 <td>mapreduce.map.speculative</td> 
 <td>false</td> 
 <td>是否对Map Task启用推测执行机制</td> 
 </tr> 
 <tr> 
 <td>mapreduce.reduce.speculative</td> 
 <td>false</td> 
 <td>是否对Reduce Task启用推测执行机制</td> 
 </tr> 
 <tr> 
 <td>mapreduce.job.queuename</td> 
 <td>default</td> 
 <td>作业提交到的队列</td> 
 </tr> 
 <tr> 
 <td>mapreduce.task.io.sort.mb</td> 
 <td>100</td> 
 <td>任务内部排序缓冲区大小</td> 
 </tr> 
 <tr> 
 <td>mapreduce.map.sort.spill.percent</td> 
 <td>0.8</td> 
 <td>Map阶段溢写文件的阈值（排序缓冲区大小的百分比）</td> 
 </tr> 
 <tr> 
 <td>mapreduce.reduce.shuffle.parallelcopies</td> 
 <td>5</td> 
 <td>Reduce Task启动的并发拷贝数据的线程数目</td> 
 </tr> 
 </tbody> 
</table>

修改配置文件重启后再次执行，成功：

![20180510122337328][]

最终导出后共300多M

![20180510122349910][]

[http_www.cnblogs.com_gaopeng527_p_4314215.html]: http://www.cnblogs.com/gaopeng527/p/4314215.html
[20180510120341729]: /images/20220525/f43aa177a789449ab0401f0c3a8fefec.png
[20180510120457437]: /images/20220525/8dc6f38f077a455a98958160306d6533.png
[20180510120513377]: /images/20220525/8b82633fc7514d78acce912a67b9610e.png
[20180510120555569]: /images/20220525/09b1b452ea7243b38c8dc6d5880ec6b5.png
[http_tool.chinaz.com_Tools_unixtime.aspx]: http://tool.chinaz.com/Tools/unixtime.aspx
[20180510120733622]: /images/20220525/1fe078b4235446739c78fb24cfdde4b7.png
[20180510120815619]: /images/20220525/f124261ef3da480e9653c2016ff8aeb6.png
[20180510120828707]: /images/20220525/eaa685e80c754a429e67daceeb91edf8.png
[20180510121017711]: /images/20220525/345560aa8bd947cebd0752a89aa2a40b.png
[20180510121032118]: /images/20220525/2cae1e9570434e38ace776c00d795cda.png
[20180510121203671]: /images/20220525/9132faeb595a407c9fbc464016dd6bda.png
[20180510121442738]: /images/20220525/751bf33d3f68487f9dee60dec773dfff.png
[20180510121456227]: /images/20220525/a99bbd5dac6c4f22b8c75c9f50b738bb.png
[20180510121657304]: /images/20220525/511dc35da5f7450d825877e9a686450f.png
[20180510121839811]: https://img-blog.csdn.net/20180510121839811
[20180510121848235]: /images/20220525/6243cf755a94490fb48fe805dd675321.png
[20180510121957337]: /images/20220525/28eb121ec78947b0b9f049e65803b463.png
[20180510122005959]: /images/20220525/60f25a5fb1fa42eabb9fd10b3fed0f4d.png
[20180510122337328]: /images/20220525/11ff0419c6854c3da1820f90af45bfa2.png
[20180510122349910]: /images/20220525/d27d11cfe3f3405faeaefc0fe455a88a.png