3-3 wordcount代码编写 mapper+reducer,wordcount

逃离我推掉我的手 2022-08-20 06:22 142阅读 0赞

> 来个A业务要写mapreduce，来一个B业务又写mapreduce，适用性不是很好，以后会学到框架会很爽，只要发一个语句就可以完成mapreduce，但是mapreduce是它的基础

![生气][mad.gif]面试：mapreduce是什么东西？它的执行流程是什么？它出现问题怎么办？等等。。

> 打开eclipse，往那个项目里导入mapreduce相关的jar包，复制到hadoop0106的lib里，然后全选，右键构建路径Build Path-添加到构建路径Add to Build Path【变为奶瓶】，jar包的位置：
> 
> F:\\vmware\\hadoop\\hadoop-2.2.0\\share\\hadoop\\mapreduce  
> 
> 
> ![Center][]  
> 
> 
> eclipse可以安装hadoop的一个插件，你可以直接开发，直接run这个插件。等以后去了大公司，生产环境开发可以用插件，但是真正部署不用插件，而是手动打包。
> 
> 大家一起开发工作，jar包不能冲突，我们都使用maven，有个maven库，只要配置好home文件

Q：mapreduce分两个阶段，我要用mapreduce这个编程模型，如果写一个接口，我怎么让他知道这个是mapreduce程序啊？

> 要么实现接口，要么继承它的类。
> 
> 因此，自定义一个类，继承mapper这个类，再自定义一个类，继承reducer这个类
> 
> 我新建一个类，叫MCMapper，这个类应该继承某个类，或实现某个接口，然后我把我自己定义的mapper和reducer组装起来，提交上去。

> 因此，我用它extends Mapper

> ![20160125193816663][]
> 
> 这里面是泛型。Mapper里面有4个泛型，用来约束输入和输出的类型。
> 
> KEYIN：输入K1的类型【数字类型long】
> 
> VALUEIN：V1的类型【String】
> 
> KEYOUT：输出K2类型【long】
> 
> VALUEOUT

> 泛型弄好了，因为我继承了这个类，我要重写方法，选住Mapper shift+Alt+s，点击“覆盖/实现方法”

> ![20160125201133942][]
> 
> mapreduce分为两个阶段，你只需要重写它各自的map方法和reduce方法就可以了。这里是mapper过程，我们重写map方法。
> 
>   
> 
> 
> 等一下，由于hadoop没有使用jdk默认的序列化机制（虽然兼容性比较好，但是效率太低，他要保存类与类之间的继承关系），而是自己有一套序列化机制。hadoop不需要保存继承关系，只要传入数据就可以。现在，hadoop2有两个序列化机制，自己的hadoop机制，和谷歌的一个。
> 
>   
> 
> 
> 因此Long这个类型的就不行了，hadoop有自己的序列化机制，应该变成LongWritable，String变成Text【注意，由于text导包的时候容易导错，因为太多了，org.hadoop.io下面的包才是对的】
> 
> 变成如下这样
> 
> ![20160125202211768][]
> 
> key形参，实参是偏移量；value是一行内容。
> 
> 接下来就可以实现我的map方法了。在这里面key没用到，只用到value就可以了。

> **\[java\]**  [view plain][] [cop][view plain]

1.  1.  **public****class** WCMapper **extends** Mapper<LongWritable, Text, Text, LongWritable> \{ 
    2.  
    3.  @Override
    4.  **protected****void** map(LongWritable key, Text value, 
    5.   org.apache.hadoop.mapreduce.Mapper.Context context) 
    6.  **throws** IOException, InterruptedException \{ 
    7.  //接收数据
    8.   String line = value.toString();//value是text类型，我要把它转换成string
    9.  //现在转换好的是一行内容，接下来要切分数据
    10.  String\[\] words = line.split(" "); 
    11. //循环words
    12. **for**(String w:words)\{ 
    13. //出现一次记一个1，输出用.write
    14.  context.write((**new** Text(w),**new** LongWritable(1));//不能直接write w，w是string类型的，转换成text，v2是longwritable类型的，new一个
    15.  \} 
    16.  \} 
    17. 
    18. \}

>   
> 接下来再新建一个reducer类，叫WCReducer
> 
> **\[java\]** [view plain][] [copy][view plain]
> 
>   
>

1.  1.  **package** cn.itcast.hadoop.mr; 
    2.  
    3.  **import** java.io.IOException; 
    4.  
    5.  **import** org.apache.hadoop.io.LongWritable; 
    6.  **import** org.apache.hadoop.io.Text; 
    7.  **import** org.apache.hadoop.mapreduce.Reducer; 
    8.  
    9.  **public****class** WCReducer **extends** Reducer<Text, LongWritable, Text, LongWritable>\{ 
    10. //导包千万别导错了
    11.  //接下来重写方法，选住Mapper shift+Alt+s，点击“覆盖/实现方法”
    12. @Override
    13. **protected****void** reduce(Text k2, Iterable<LongWritable> v2s, 
    14.  Context context)//context是reducer的一个内部类，把前面的删了
    15. **throws** IOException, InterruptedException \{ 
    16. // TODO 自动生成的方法存根
    17. //接收数据
    18.  Text k3 = k2; 
    19. //定义一个计数器
    20. **long** counter = 0; 
    21. //循环v2s,用增强for循环
    22. **for**(LongWritable i: v2s)\{ 
    23.  counter +=i.get();//i本来是longwritable的，get就返回他真正的long类型，v2s不是\{1,1,1,1\}这种么，我觉得应该是get这个了
    24. 
    25. 
    26.  \} 
    27. //输出
    28.  context.write(key,**new** LongWritable(counter)); 
    29. 
    30. 
    31.  \} 
    32. 
    33. 
    34. 
    35. \}

>   
> 
> 
> 我们自定义了一个mapper和一个reducer，接下来，我们要把这个mapper和reducer告诉我们的mapreduce，因此，我们要把mapper和reducer组装起来。【有个对象，提交上去，这个对象里面有一些方法和属性，要设置方法和属性
> 
> package cn.itcast.hadoop.mr;  
> import org.apache.hadoop.conf.Configuration;  
> import org.apache.hadoop.fs.Path;  
> import org.apache.hadoop.io.LongWritable;  
> import org.apache.hadoop.io.Text;  
> import org.apache.hadoop.mapreduce.Job;  
> import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
> import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
> 
>   
> public class WordCount \{  
>   
> public static void main(String\[\] args) throws Exception \{  
>  //把mapreduce作业抽象成为了一个job对象，然后通过这个对象将我们自定义的mapper和reducer组装起来  
>  //构建job对象  
> Job job = Job.getInstance(new Configuration());  
>   
> //注意：【千万别忘了】  
> job.setJarByClass(WordCount.class);//一定要把main方法所在的类设置进去  
>   
> //设置mapper的属性  
> job.setMapperClass(WCMapper.class);  
> job.setMapOutputKeyClass(Text.class);//设置mapper输出的outputkey类型，k2的类型  
> job.setMapOutputValueClass(LongWritable.class);//v2的类型  
>   
> //接下来mapper要输入数据，mapper从hdfs读取，所以要设置一个hdfs路径  
> FileInputFormat.setInputPaths(job, new Path("/words.txt"));//org.apache.hadoop.lib.input是新的接口。它是一个类，我可以调用他的静态方法  
>   
> //设置reducer属性  
> job.setReducerClass(WCReducer.class);  
> job.setOutputKeyClass(Text.class);//下面这个输出既可以是mapper的输出，也可以是reduce的输出，并没有指定到底是哪个的输出  
> job.setOutputValueClass(LongWritable.class);  
>   
> //然后reduce要将他计算完成的数据写回到hdfs，应该告诉他一个路径  
> FileOutputFormat.setOutputPath(job, new Path("/wcout619"));//导新包下的，就一个path只能把这个结果写到一个指定的目录下  
>   
> //接下来把作业提交,并且等待它执行完成  
> job.waitForCompletion(true);//输入true代表执行过程中打印执行详情，如果输入false代表不打印进度和详情  
>   
> \}  
> \}  
> 
> 
>   
> 
> 
> 这三个都弄好了之后，打成jar包。右键——export导出——jar file
> 
> 【用hadoop -jar执行，如果是runnable jar 用Java.jar】
> 
> 程序执行的时候要指定一个main方法，指定程序执行的路口有两种方式：一种是打jar包的时候就指定，另一种运行时再指定。
> 
> 我们第一次先在打jar包时就指定【运行时再指定更好，运行时想执行哪个类就在里面指定一下】
> 
> ![Center 1][]  
> 
> 
> next、next点浏览里面选择wordcount，点完成
> 
>   
> 
> 
> 把jar包上传到linux，运行mapreduce
> 
> hasoop jar /home/djl/wc.jar【时间很长】
> 
>   
>

> ![20160126160259254][]
> 
> 点next，让你选所有含有main方法的列出来，让你选，你选Wordcount。这样就把jar包打好了。因为Windows下没有hadoop环境，因此要把这个jar包提交到Linux上
> 
> hadoop fs -ls /
> 
> hadoop fs -ls /wcout619
> 
> hadoop fs -ls /wcout619/part-r-00000 【查看wcout619没出现接口文件不知道哪里错了】
> 
>   
> 
> 
>   
> 
> 
> **![得意][proud.gif]总结一下mapreduce：**
> 
> 1、分析具体的业务逻辑，确定输入输出数据的样式
> 
> 2、自定义一个类，这个类要继承org.apache.hadoop.mapreduce.Mapper这个类，重写map方法，在map方法中实现具体业务逻辑，将新的key,value输出
> 
> 3、再定义一个类，org.apache.hadoop.mapreduce.Reducer重写reduce方法，实现具体业务
> 
> 4、将自定义的mapper和reducer通过job对象组装起来
> 
>   
> 
> 
>   
> 
> 
>   
> 
> 
>   
> 
> 
>   
>

[mad.gif]: /images/20220731/f71e07903895493799cc892714d93baf.png
[Center]: /images/20220731/814546ba009c453c8f52b80bbd72ba24.png
[20160125193816663]: /images/20220731/b5ffe165af494a5b8ec8c24d94a424c6.png
[20160125201133942]: /images/20220731/440abf8710fa41aab687e5c99e41953a.png
[20160125202211768]: /images/20220731/8175a96f701d4609928ba28fa537a643.png
[view plain]: http://blog.csdn.net/tianbwin2995/article/details/50582576#
[Center 1]: /images/20220731/1d2d23039a46485fbf3a95bc64a26bd6.png
[20160126160259254]: /images/20220731/584e43949857452491e73d6757ca6be2.png
[proud.gif]: /images/20220731/e73f145e5a3c4ebd977239c517e01d10.png