轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.20 Hadoop序列化之Writable接口详解

冷不防 2024-03-22 19:32 35阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.20 Hadoop序列化之Writable接口详解

![在这里插入图片描述][aca60763faec4aa7b34e19616fadc038.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.20 Hadoop序列化之Writable接口详解 ######

官网文档：[https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html][https_hadoop.apache.org_docs_stable_hadoop-mapreduce-client_hadoop-mapreduce-client-core_MapReduceTutorial.html]

![在这里插入图片描述][6fbca569fa2948f8831692370e0c09c8.png_pic_center]

MapReduce 框架专门对对进行操作<key, value>，也就是说，该框架将作业的输入视为一组对<key, value>，并生成一组<key, value>对作为作业的输出，可以想象是不同类型的。
    
    key和值类必须由框架序列化，因此需要实现Writable接口。此外，关键类必须实现WritableComparable接口，以便于框架进行排序。
    
    MapReduce 作业的输入和输出类型：
    
    （输入）<k1, v1> -> 映射 -> <k2, v2> -> 合并 -> <k2, v2> -> 减少 -> <k3, v3>（输出）

看看`Writable` 源码

![在这里插入图片描述][ec24425fcbda47858f32424310d93870.png_pic_center]

核心方法就两个，【面试题 Hadoop中Writable接口中有几个方法？方法名是什么？】

其实和我们自己写那个Data 的是比较类似的。

![在这里插入图片描述][fad71efd1491459fb07947210b738e2f.png_pic_center]

一个可序列化的对象，它基于DataInput和DataOutput实现了一个简单、高效的序列化协议。

![在这里插入图片描述][96e9ed8c18ac4dd5831338c4097999a4.png_pic_center]

Hadoop Map-Reduce框架中的任何键或值类型都实现了该接口。

证实一下，我们的那个词频统计

![在这里插入图片描述][60e1e2f34a774697bc6440ed999ba632.png_pic_center]

这些就是Key 和 Value 嘛，看看源码

![在这里插入图片描述][e24117071f604e8db26b85529460a1b1.png_pic_center]

再进这个接口

![在这里插入图片描述][887b450a0c9940e7a30a7ecc2d020e6d.png_pic_center]

没问题，它继承了`Writable` ，同理看看Text

![在这里插入图片描述][e64e28095130495e84deb19dbbe46af5.png_pic_center]

也是实现了这个接口

![在这里插入图片描述][a7f7e1a01f1b44a68c35a127cd3829de.png_pic_center]

`IntWritable` 当然也是

![在这里插入图片描述][cf07aeffd9d249e78ad462aa5cf0e40b.png_pic_center]

回到`Writable` 的源码

![在这里插入图片描述][d817f09270b04ff5986848e4239b76f4.png_pic_center]

源码还给了个例子

![在这里插入图片描述][c0e97fb00ba64a348456bb6e772afd7b.png_pic_center]

同样也要注意写、读的顺序。

【小结】

在Hadoop中KEY和VALUE都是要实现Writable接口的
        如果你的KEY要支持排序，那么需要实现WritableComparable接口
        public interface WritableComparable<T> extends Writable, Comparable<T> {

[aca60763faec4aa7b34e19616fadc038.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/2b3dba1294cc4a61a643979b2f42e766.png
[https_hadoop.apache.org_docs_stable_hadoop-mapreduce-client_hadoop-mapreduce-client-core_MapReduceTutorial.html]: https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html
[6fbca569fa2948f8831692370e0c09c8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/107ed3759b814cb7bd968c88fbd554f3.png
[ec24425fcbda47858f32424310d93870.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/6217a87524a1433c98d4ba0caff93a39.png
[fad71efd1491459fb07947210b738e2f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/85198e026baf461780c8eac1132df9dc.png
[96e9ed8c18ac4dd5831338c4097999a4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/9d36cd6bb793458199c8f2fa9e2415ba.png
[60e1e2f34a774697bc6440ed999ba632.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/c45569722c68441b92b6fa5b224fc658.png
[e24117071f604e8db26b85529460a1b1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/58d08d2c7d754b8bbef9568fc7c3229d.png
[887b450a0c9940e7a30a7ecc2d020e6d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/4fbc085564aa405c953805062fe1d539.png
[e64e28095130495e84deb19dbbe46af5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/0be01184b36b47e4b9ba94a0a0e04ce2.png
[a7f7e1a01f1b44a68c35a127cd3829de.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/7bcfd05456554e1b8fc4d7ed122ffb92.png
[cf07aeffd9d249e78ad462aa5cf0e40b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/853a84b3e1204670b772fb95c8f48f39.png
[d817f09270b04ff5986848e4239b76f4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/1b72c8535acf49ada9c375f1f98797d9.png
[c0e97fb00ba64a348456bb6e772afd7b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/aa40c9b35930473a80c817af071f4cea.png