轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.26 Hadoop序列化之总结

素颜马尾好姑娘i 2024-03-22 19:33 53阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.26 Hadoop序列化之总结

![在这里插入图片描述][b3e85565a53d4b5ab5bb7ff849764c12.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.26 Hadoop序列化之总结 ######

之前我们已经完成了一个小案例

![在这里插入图片描述][a873ebf2b2f54c219b05839a8f6f6f69.png_pic_center]

官网文档：[https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html][https_hadoop.apache.org_docs_stable_hadoop-mapreduce-client_hadoop-mapreduce-client-core_MapReduceTutorial.html]

![在这里插入图片描述][f7fb999ad57244d198654711d575c8bd.png_pic_center]

再次强调kv 类型要实现[Writable][] interface.这个接口，如果想要排序，实现后面那个[WritableComparable][] interface接口

【小结一下】

自定义序列化类步骤：

1.  实现Writable接口
2.  默认无参构造
3.  重写write和readFields方法，**一定要注意顺序问题**
4.  toString方法：并不是一定要按照某种参考方式，而是要根据你的功能需求来自定义
5.  KV类型都实现实现Writable接口，如果K需要排序，那么K需要实现WritableComparable接口

MapReduce框架去实现时，一定要思考清楚输入/输出数据的数据类型

*  Mapper: (k1, v1) ==> (k2, v2)
 *  Reducer: (k2,v2) ==> (k3,v3)

拿到需求，首先就这样去考虑。

[b3e85565a53d4b5ab5bb7ff849764c12.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/aad158228d95406fa61e8feb71aeb640.png
[a873ebf2b2f54c219b05839a8f6f6f69.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/de2f94ea30a74863940ac5b627403176.png
[https_hadoop.apache.org_docs_stable_hadoop-mapreduce-client_hadoop-mapreduce-client-core_MapReduceTutorial.html]: https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html
[f7fb999ad57244d198654711d575c8bd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/14a755ae7c5e4f41a8ef4f6b43ed6fa4.png
[Writable]: https://hadoop.apache.org/docs/stable/api/org/apache/hadoop/io/Writable.html
[WritableComparable]: https://hadoop.apache.org/docs/stable/api/org/apache/hadoop/io/WritableComparable.html