MapReduce分区将结果输出到多个文件

浅浅的花香味﹌ 2022-05-18 01:19 239阅读 0赞

首先自定义分区规则类

/**
    	 * Partitioner
    	 */
    	public static class StepToolPartitioner extends Partitioner<Text, Text>{
    		private static Map<String, Integer> accountMap = new HashMap<String, Integer>();
    		static{
    			accountMap.put("LATELY", 0);
    			accountMap.put("TRUE", 0);
    			accountMap.put("FALSE", 1);
    		}
    		
    		@Override
    		public int getPartition(Text key, Text value, int numPartitions) {
    			String keyString[] = key.toString().split("\\|");
    			Integer part = accountMap.get(keyString[1]);
    			if(part==null){
    				part=0;
    			}
    			return part;
    		}
    		
    	}

在MapReduce Main方法中设置：

job.setPartitionerClass(StepToolPartitioner.**class**);

job.setNumReduceTasks(2);//根据上述return part有几个类型的reduce就要设置几个Task(*accountMap**中的**value**只有**0**或**1**，所以是**2**个*)。

所需jar包：

commons-beanutils-1.8.0.jar

commons-cli-1.2.jar

commons-collections-3.2.2.jar

commons-configuration-1.6.jar

commons-httpclient-3.1.jar

commons-io-2.4.jar

commons-lang-2.6.jar

commons-logging-1.1.3.jar

ezmorph-1.0.6.jar

guava-11.0.2.jar

hadoop-auth-2.7.2.jar

hadoop-common-2.7.2.jar

hadoop-hdfs-2.7.2.jar

hadoop-mapreduce-client-core-2.7.2.jar

htrace-core-3.1.0-incubating.jar

httpclient-4.3.2.jar

httpcore-4.3.2.jar

json-lib-2.4-jdk15.jar

log4j-1.2.17.jar

ojdbc6.jar

protobuf-java-2.5.0.jar

servlet-api-2.5.jar

slf4j-api-1.7.10.jar

发表评论取消回复

表情：

评论列表（有 0 条评论，239人围观）

还没有评论，来说两句吧...

相关阅读

相关 shell/bash将time命令的结果输出到文件中

shell/bash将time命令的结果输出到文件中 1. 目标解决方案 1. 目标在Linux中，使用`time`命令可以统计一个脚本的执行时间

秒速五厘米/ 2022年10月13日 05:17/ 0 赞/ 504 阅读

相关 MapReduce Java API-使用Partitioner实现输出到多个文件

场景 MapReduce Java API-多输入路径方式： [https://blog.csdn.net/BADAO\_LIUMANG\_QIZHI/article/

水深无声/ 2022年09月03日 10:21/ 0 赞/ 4 阅读

相关 MapReduce多路径输入与多文件输出

我前段时间在完成一个公司业务时，遇到了一个这样的需求：将HDFS上按每天每小时存储的数据进行数据预处理，然后对应按天存储在HDFS........由此可得，MapReduce的

深碍√TFBOYSˉ_/ 2022年08月21日 12:42/ 0 赞/ 203 阅读

相关 mapreduce输出多文件出错

运行mapreduce多文件输出试报错。 17/06/19 17:25:45 INFO mapreduce.Job: Task Id : attempt_149786

待我称王封你为后i/ 2022年06月14日 11:42/ 0 赞/ 224 阅读

相关 mapreduce读取hbase值，结果输出到多个hbase表中

package hadoop; import java.io.IOException; import java.util.Array

绝地灬酷狼/ 2022年06月13日 07:09/ 0 赞/ 238 阅读

相关 MapReduce分区将结果输出到多个文件

首先自定义分区规则类 / Partitioner / public static class StepToolPartitione

浅浅的花香味﹌/ 2022年05月18日 01:19/ 0 赞/ 240 阅读

相关 MapReduce之输出结果排序

前面的案例中我们介绍了统计出每个用户的上行流量，下行流量及总流量，现在我们想要将输出的结果按照总流量倒序排序。 ![在这里插入图片描述][watermark_type_Z

小灰灰/ 2022年04月23日 17:04/ 0 赞/ 295 阅读

相关将Java程序的结果输出到txt文件中

1.将输出结果输出到txt文件步骤一：头文件导入 import java.io.PrintStream; 步骤二： PrintStream ps = new P

末蓝、/ 2022年01月30日 09:11/ 0 赞/ 378 阅读

相关 Hive查询结果输出到文件

进入hive执行： insert overwrite local directory '/tmp/ftp0803/' select \ from tmp\_ftp where

心已赠人/ 2021年09月27日 09:50/ 0 赞/ 514 阅读

相关 mapreduce输出结果到mysql

Mapreduce程序在reduce阶段执行后，默认会把结果输出到hdfs文件系统上(使用context.wirte())，如果要把结果写到mysql中，需要重写

Love The Way You Lie/ 2021年06月24日 14:00/ 0 赞/ 493 阅读