通过CombineTextInputFormat实现小文件优化(调优技能)

秒速五厘米 2021-09-23 14:30 163阅读 0赞

### 文章目录 ###

*  0x00 文章内容
 *  0x01 未修改前情况
 *   *   *   *   *  1. 当前文件情况
                 *  2. 执行未修改前作业
                 *  3. 查看结果
 *  0x02 CombineTextInputFormat实现小文件优化
 *   *   *   *   *  1. 修改代码
                 *  2. 执行修改后作业
                 *  3. 查看结果
 *  0xFF 总结

# 0x00 文章内容 #

1.  未修改前情况
2.  CombineTextInputFormat实现小文件优化

说明：本文章在[MapReduce编程例子之Combiner与Partitioner][MapReduce_Combiner_Partitioner] 的Combiner例子基础上执行。

# 0x01 未修改前情况 #

##### 1. 当前文件情况 #####

a. 目前`/files`文件夹有4个文件

[hadoop-sny@master jar]$ hadoop fs -ls /files/
    Found 4 items
    -rw-r--r--   1 hadoop-sny supergroup         39 2019-04-18 21:20 /files/put.txt
    -rw-r--r--   1 hadoop-sny supergroup         50 2019-12-30 17:12 /files/small1.txt
    -rw-r--r--   1 hadoop-sny supergroup         31 2019-12-30 17:10 /files/small2.txt
    -rw-r--r--   1 hadoop-sny supergroup         49 2019-12-30 17:11 /files/small3.txt

##### 2. 执行未修改前作业 #####

a. 执行命令如下：

hadoop jar hadoop-learning-1.0.jar com.shaonaiyi.hadoop.CombinerWC /files/* /output/comwc/

##### 3. 查看结果 #####

a. 可在YARN的Web UI界面上看到有4个Map Task  
![在这里插入图片描述][20191230174707176.png]

# 0x02 CombineTextInputFormat实现小文件优化 #

##### 1. 修改代码 #####

a. 添加一行代码

//合并小文件CombineTextInputFormat
            job.setInputFormatClass(CombineTextInputFormat.class);

![在这里插入图片描述][20191230174828135.png]

##### 2. 执行修改后作业 #####

a. 执行命令如下（与前面一样）：

hadoop jar hadoop-learning-1.0.jar com.shaonaiyi.hadoop.CombinerWC /files/* /output/comwc/

##### 3. 查看结果 #####

a. 可在YARN的Web UI界面上看到只有1个Map Task  
![在这里插入图片描述][20191230175618553.png]

# 0xFF 总结 #

1.  一个Map Task就是一个JVM进程，将一个目录下的所有文件当成了一个split来执行，可以减少JVM的启动，从而提高性能。

--------------------

**福利：**  
[邵奈一的技术博客导航][Link 6]  
[邵奈一][CSDN] 原创不易，如转载请标明出处。

--------------------

[MapReduce_Combiner_Partitioner]: https://blog.csdn.net/shaock2018/article/details/88734902
[20191230174707176.png]: /images/20210923/2e8d96126f4c47889049dd609fa0a4ad.png
[20191230174828135.png]: /images/20210923/97c6bdacf5b6409c93e32a0907d93af4.png
[20191230175618553.png]: /images/20210923/7dc592a326854f8d9ef3cb5b3fa3486f.png
[Link 1]: https://blog.csdn.net/shaock2018/article/details/91184254
[Link 2]: https://img-blog.csdnimg.cn/20190608000417972.jpeg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg=,size_16,color_FFFFFF,t_70
[Link 3]: https://img-blog.csdnimg.cn/20190514084602748.png
[Link 4]: https://weibo.com/5680168183/
[CSDN]: https://blog.csdn.net/shaock2018
[Link 5]: https://www.jianshu.com/u/6f033c6a3b90
[Link 6]: https://blog.csdn.net/shaock2018/article/details/89349249