轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.41 通过源码认识OutputFormat

迷南。 2024-03-17 09:00 32阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.41 通过源码认识OutputFormat

![在这里插入图片描述][a00ae6d148b148a78b5861bc834f4055.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.41 通过源码认识OutputFormat ######

之前我们已经把InputFormat差不多整了一遍了，还剩下OutputFormat ，控制输出

`OutputFormat`

→ MR关于输出的最顶层类

看到源码：

![在这里插入图片描述][3cfa1ce4469442d99e1ddc5d12d9d888.png_pic_center]

一个抽象类

![在这里插入图片描述][d80eac883a1f4d56a6c3a8f1e13642b5.png_pic_center]

OutputFormat描述了Map-Reduce作业的输出规范。

![在这里插入图片描述][8905f0c93e904c4aa97e7d678b89e618.png_pic_center]

1.  验证作业的输出规范。例如，检查输出目录是否已经存在。【如果已经存在，不能输出，像我们之前看到的错误一样，所以我们定义了一个专门用于删除输出目录的工具类】
2.  提供RecordWriter实现，用于写出作业的输出文件。输出文件存储在文件系统中。

![在这里插入图片描述][14831988536846febe270dc557a4be56.png_pic_center]

三个方法

![在这里插入图片描述][7635833ec4a14196b75fae11bdc1d95c.png_pic_center]

第一个，进来的时候有个读取器，那么出去的时候就有个写出器(哈哈，笔者乱叫的)

`getRecordWriter`

![在这里插入图片描述][13f52f9069b844d18e9ab34124883ef0.png_pic_center]

其中第二个`checkOutputSpecs`

![在这里插入图片描述][acdd1afb3b084ca08975f4d66010ae5c.png_pic_center]

检查作业输出规范的有效性。

最后一个`getOutputCommitter`

![在这里插入图片描述][74e25aa64be24bd6a77e51b56e30e082.png_pic_center]

获取此输出格式的输出提交器。这负责确保正确提交输出。

看看它的实现

![在这里插入图片描述][488538541feb4674a2a8fa0517a969dc.png_pic_center]

还是挺多的， 和读取类似

> 这里插一句，mapred 是老版的，不用了，我们都用mapreduce 包下的东西

随便进一个看看它是怎么检查输出路径的

![在这里插入图片描述][ea94ee2c665946579dedbaff145a1d76.png_pic_center]

没问题吧，就是通过作业获得一个路径，然后检查，如果有问题就直接抛出异常。

[a00ae6d148b148a78b5861bc834f4055.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/af30050076734476a654a938e3e4d849.png
[3cfa1ce4469442d99e1ddc5d12d9d888.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/35df90bd70b1479591d65ad8df76ef56.png
[d80eac883a1f4d56a6c3a8f1e13642b5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/59a25c96a2594a9a83fd7d521e04e7dc.png
[8905f0c93e904c4aa97e7d678b89e618.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/1cdb95bbeb53472a95e5fe4831a3815d.png
[14831988536846febe270dc557a4be56.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/d3a500e5ad6c4b20851f44c302a13f81.png
[7635833ec4a14196b75fae11bdc1d95c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/e486bf71588d4f52bd914a0a2e27f7a5.png
[13f52f9069b844d18e9ab34124883ef0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/2954d4d8ebb5471ea0c0e3f8bda40f71.png
[acdd1afb3b084ca08975f4d66010ae5c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/95a6b517de3d4c7391a335d6e6396cbd.png
[74e25aa64be24bd6a77e51b56e30e082.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/d051ba8b21b649c7b94a7df92b57510d.png
[488538541feb4674a2a8fa0517a969dc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/6dc289a3d5054574a568f27eee964584.png
[ea94ee2c665946579dedbaff145a1d76.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/1889222621154a2cb29cc94e256f7c3e.png