轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.17 序列化概述

谁借莪１个温暖的怀抱￠ 2024-03-22 19:10 36阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.17 序列化概述

![在这里插入图片描述][936015f47e1f4d22a5b290ef193f02bc.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.17 序列化概述 ######

还是这个词频统计的栗子，

![在这里插入图片描述][596bc3412f0643749b036ba2c13a65b0.png_pic_center]

【序列化】

对象 ==> 字节序列 ： 存储到磁盘或者网络传输

MR、Spark、Flink：分布式的执行框架 必然会涉及到网络传输

【反序列化】

字节序列 ==> 对象

其实java 里面也有Java中的序列化：Serializable

![在这里插入图片描述][f11d23817e0c411684348a693fda8b23.png_pic_center]

就是这个接口

只要一个类去实现了这个接口，就可以完成相应的序列化操作。

为什么Hadoop中还定义一套序列化呢？Spark中也使用了其他的序列化框架(kyro)

Hadoop中序列化特点\*\*（校招：选择题）\*\*

*  紧凑【节省空间】
 *  速度
 *  扩展性【支持多种协议】
 *  互操作

[936015f47e1f4d22a5b290ef193f02bc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/f9a8327591e942968948b9332ea29825.png
[596bc3412f0643749b036ba2c13a65b0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/29408571807745468ae044b7f6c46c77.png
[f11d23817e0c411684348a693fda8b23.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/40e042b03589494a8c950a954d30bd92.png