MapReduce 计算气温最大/最小/平均值
本实验来自于 《Hadoop权威指南》第4班 第2章
项目地址：https://github.com/whirlys/BigData-In-Practice/tree/master/ch2noaa
前置条件
- 安装好Java、maven、Hadoop等环境
- 美国国家气候数据中心-气象数据集下载地址：ftp://ftp.ncdc.noaa.gov/pub/data/noaa
步骤
1、 下载数据
由于全部数据非常庞大，这里只下载2017年的部分数据用于实验：
wget ftp://ftp.ncdc.noaa.gov/pub/data/noaa/2017 -r
最正确的数据格式请参考网站
2、 合并数据集
由于数据集是由非常多的小文件组成，通常情况下Hadoop处理少量的大型文件更容易、更有效，所以我们将用于实验的数据文件拼接成一个大文件
zcat *.gz > coaa.sample.txt
3、 上传数据集到HDFS上
hadoop dfs -mkdir -p /hadoop/ch2hadoop dfs -copyFromLocal coaa.sample.txt /hadoop/ch2
4、 编写MapReduce程序
分别编写求最大值、最小值、平均值的MapReduce程序
package max;import common.TemperatureMapper;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import java.io.IOException;public class MaxTemperature {public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {if (args.length != 2) {System.err.println("Usage: MaxTemperature <input path> <output path>");System.exit(-1);}Job job = Job.getInstance();job.setJarByClass(MaxTemperature.class);job.setJobName("MapReduce实验-气象数据集-求气温最大值");FileInputFormat.addInputPath(job, new Path(args[0]));FileOutputFormat.setOutputPath(job, new Path(args[1]));job.setMapperClass(TemperatureMapper.class);// 设置 Combiner 减少数据的传输量、提高效率// job.setCombinerClass(MaxTemperatureReducer.class);job.setReducerClass(MaxTemperatureReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);System.exit(job.waitForCompletion(true) ? 0 : 1);}}
5、 打包上传并运行作业
mvn package 打包
使用 rlzsz 将Jar包上传到服务器
运行三个作业
hadoop jar ch2.noaa-1.0-SNAPSHOT.jar max.MaxTemperature /hadoop/ch2/coaa.sample.txt /hadoop/ch2/output/coaa.sample/maxhadoop jar ch2.noaa-1.0-SNAPSHOT.jar min.MinTemperature /hadoop/ch2/coaa.sample.txt /hadoop/ch2/output/coaa.sample/minhadoop jar ch2.noaa-1.0-SNAPSHOT.jar avg.AvgTemperature /hadoop/ch2/coaa.sample.txt /hadoop/ch2/output/coaa.sample/avg
6、 查看运行结果
hadoop dfs -cat /hadoop/ch2/output/coaa.sample/max/part-r-00000hadoop dfs -cat /hadoop/ch2/output/coaa.sample/min/part-r-00000hadoop dfs -cat /hadoop/ch2/output/coaa.sample/avg/part-r-00000
最大值：
2017 302
最小值：
2017 -424
平均值：
2017 49
7、 查看作业状态
http://ip:8088/cluster
http://ip:50070/explorer.html#/hadoop/ch2/output/coaa.sample
补充
设置 Combiner 可减少数据的传输量、提高效率
job.setCombinerClass(MaxTemperatureReducer.class);
关于 Hadoop集群加入新节点
- 当Hadoop集群有新节点加入时，正在运行的MapReduce作业自动识别并使用新节点；
- 当新节点加入Hadoop集群后，再启动MapReduce作业，MapReduce作业也能自动识别并使用新节点
深碍√TFBOYSˉ_
分手后的思念是犯贱
╰+哭是因爲堅強的太久メ
还没有评论，来说两句吧...