MapReduce 中如何处理HBase中的数据？如何读取HBase数据给Map？如何将结果存储到HBase中？

亦凉 2022-09-18 12:46 203阅读 0赞

### [MapReduce 中如何处理HBase中的数据？如何读取HBase数据给Map？如何将结果存储到HBase中？][MapReduce _HBase_HBase_Map_HBase] ###

MapReduce 中如何处理HBase中的数据？如何读取HBase数据给Map？如何将结果存储到HBase中？  
  
  
Mapper类：包括一个内部类(Context)和四个方法(setup,map,cleanup,run)；  
          setup,cleanup用于管理Mapper生命周期中的资源。setup -> map -> cleanup ， run方法执行了这个过程；  
          map方法用于对一次输入的key/value对进行map动作，对应HBase操作也就是一行的处理；  
  
  
job的配置：  
    1.  TableInputFormat完成了什么功能？  
         (1)通过设置conf.set(TableInputFormat.INPUT\_TABLE,"udc\_sell");设定HBase的输入表；  
                设置conf.set(TableInputFormat.SCAN, TableMRUtil.convertScanToString(scan));设定对HBase输入表的scan方式；  
                ![3737329_1322202435Dzf5.jpg][]  
                  
         (2)通过TableInputFormat.setConf(Configration conf)方法初始化scan对象；  
            scan对象是从job中设置的对象，以字符串的形式传给TableInputFormat，在TableInputFormat内部将scan字符创转换为scan对象  
              ![3737329_1322202443FOkW.jpg][]         
           \* TableMapReduceUtily有两个方法：convertScanToString和convertStringToScan作用？  
            将scan实例转换为Base64字符串  和将Base64字符串还原为scan实例；  
             Q:为什么不直接穿Scan对象而是费尽周折地转换来转换去呢？  
             A:  
         (3)TableInputFormat继承了TableInputFormatBase实现了InputFormat抽象类的两个抽象方法：  
            getSplits()和createRecordReader()方法：  
            A:getSplits()断定输入对象的切分原则：对于TableInputFormatBase， 会遍历HBase相应表的所有HRegion，每一个HRegion都会被分成一个split，所以切分的块数是 与表中HRegion的数目是相同的；  
                InputSplit split = new TableSplit(table.getTableName(),splitStart, splitStop, regionLocation);  在split中只会记载HRegion的其实rowkey和终止rowkey，具体的去读取 这片区域的数据是createRecordReader()实现的。  
             计算出来的每一个分块都将被作为一个map Task的输入；http://  
                 Q:但是分出的块分给那台机器的那个task去执行Map，即jobTracker如何调度任务给taskTracker？  
                 A:  需要进一步了解Map的本地化运行机制和jobTracker的调度算法；（可能是就近原则）  
                      对于一个map任务，jobtracker会考虑tasktracker的网络位置，并选取一个距离其输入分片文件最近的tasktracker。在最理想 的情况下，任务是数据本地化的(data-                       local),也就是任务运行在输入分片所在的节点上。同样，任务也可能是机器本地化的：任务和输入分片在同一个机架，但不在同 一个节点上。  
                      reduce任务，jobtracker简单滴从待运行的reduce任务列表中选取下一个来运行，用不着考虑数据段饿本地化。  
            B:createRecordReader()按照必然格式读取响应数据：  
                 接收split块，返回读取记录的结果；    
                 public RecordReader<ImmutableBytesWritable, Result> createRecordReader(InputSplit split, TaskAttemptContext context)\{  
                   ![3737329_1322202449J98Q.jpg][]  
                \}  
                trr.init()返回的是这个分块的起始rowkey的记录； ![3737329_1322202753r0Or.jpg][]  
           RecordReader将一个split解析成<key,value>对的形式提供给map函数，key就是rowkey，value就是对应的一行数据；  
           RecordReader用于在划分中读取<Key,Value>对。RecordReader有五个虚方法，分别是：  
                                          initialize：初始化，输入参数包括该Reader工作的数据划分InputSplit和Job的上下文context；  
                                          nextKey：得到输入的下一个Key，如果数据划分已经没有新的记录，返回空；  
                                          nextValue：得到Key对应的Value，必须在调用nextKey后调用；  
                                          getProgress：得到现在的进度；  
                                          close：来自java.io的Closeable接口，用于清理RecordReader。  
   2.   job.setInputFormatClass(TableInputFormat.class);           
                                         
   3.   TableMapReduceUtil.initTableReducerJob("daily\_result", DailyReduce.class, job);   
        使用了该方法就不需要再单独定义   
        initTableReducerJob()方法完成了一系列操作：  
                (1). job.setOutputFormatClass(TableOutputFormat.class); 设置输出格式；  
                (2). conf.set(TableOutputFormat.OUTPUT\_TABLE, table); 设置输出表；  
                (3). 初始化partition

[MapReduce _HBase_HBase_Map_HBase]: http://blog.csdn.net/yanmingming1989/article/details/7011928
[3737329_1322202435Dzf5.jpg]: /images/20220828/c6f5a213d7434e97ab03fa2b7c655ff1.png
[3737329_1322202443FOkW.jpg]: /images/20220828/54c8ceffc50b4a4f963df059c770c414.png
[3737329_1322202449J98Q.jpg]: /images/20220828/6988c31c98ec4266a04ebf8fd0ae651e.png
[3737329_1322202753r0Or.jpg]: /images/20220828/8529d1352f5b4b02b03a384fb59cac8c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，203人围观）

还没有评论，来说两句吧...

相关阅读

相关 MapReduce读取hive数据，然后用hbase的bulkload方法导入hbase中

废话不多说，直接上代码————————————————————————————————————— 因为默认是一个分区，就只有一个reduce过程，写入比较慢。所以先进

约定不等于承诺〃/ 2022年12月03日 12:55/ 0 赞/ 227 阅读

相关使用MapReduce处理Hbase数据

[使用MapReduce处理Hbase数据][MapReduce_Hbase] 　　今天终于把MR处理Hbase的数据的程序搞定了，自己走了好多的弯路，程序写完之后，在本机的

ゝ一纸荒年。/ 2022年09月18日 13:45/ 0 赞/ 183 阅读

相关 MapReduce 中如何处理HBase中的数据？如何读取HBase数据给Map？如何将结果存储到HBase中？

[MapReduce 中如何处理HBase中的数据？如何读取HBase数据给Map？如何将结果存储到HBase中？][MapReduce _HBase_HBase_Map_H

亦凉/ 2022年09月18日 12:46/ 0 赞/ 204 阅读

相关 mapreduce输出数据存入HBase中

数据格式： 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.a

╰+攻爆jí腚メ/ 2022年08月05日 00:56/ 0 赞/ 223 阅读

相关 MapReduce将HDFS文本数据导入HBase中

HBase本身提供了很多种数据导入的方式，通常有两种常用方式： 1. 使用HBase提供的TableOutputFormat，原理是通过一个Mapreduce作业将数据导入

逃离我推掉我的手/ 2022年08月03日 15:57/ 0 赞/ 234 阅读

相关 mapreduce读取hbase值，结果输出到多个hbase表中

package hadoop; import java.io.IOException; import java.util.Array

绝地灬酷狼/ 2022年06月13日 07:09/ 0 赞/ 240 阅读

相关 mapreduce读取hbase内容，结果放到hbase中

package hadoop; import java.io.IOException; import java.util.Array

墨蓝/ 2022年06月13日 06:58/ 0 赞/ 177 阅读

相关 mapreduce读取hbase数据输出到文件中

package hadoop; import java.io.IOException; import java.util.Array

爱被打了一巴掌/ 2022年06月13日 06:56/ 0 赞/ 230 阅读

相关 Spark如何读取Hbase特定查询的数据

最近工作需要使用到Spark操作Hbase，上篇文章已经写了如何使用Spark读写Hbase全量表的数据做处理，但这次有所不同，这次的需求是Scan特定的Hbase的数据然后转

雨点打透心脏的1/2处/ 2022年06月13日 06:28/ 0 赞/ 219 阅读

相关 Spark如何读取Hbase特定查询的数据

最近工作需要使用到Spark操作Hbase，上篇文章已经写了如何使用Spark读写Hbase全量表的数据做处理，但这次有所不同，这次的需求是Scan特定的Hbase的数据然后转

本是古典何须时尚/ 2022年04月06日 09:11/ 0 赞/ 581 阅读