hive合并小文件的配置项

迈不过友情╰ 2022-05-19 03:16 110阅读 0赞

〇. 启动压缩

set hive.exec.compress.output=true;

set mapreduce.output.fileoutputformat.compress=true;

一. 输入合并：当有大量小文件时，启动合并，减少map数。

set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;--默认开启  
\-- 防止map端输入合并小文件（当文件体积很小但是行数很多时。）  
SET hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;

对应参数：

set mapred.max.split.size=256000000; \#每个Map最大输入大小  
set mapred.min.split.size.per.node=100000000; \#一个节点上split的至少的大小  
set mapred.min.split.size.per.rack=100000000; \#一个交换机下split的至少的大小  
set hive.input.format=org.apache.Hadoop.hive.ql.io.CombineHiveInputFormat; \#执行Map前进行小文件合并

在开启了org.apache.hadoop.hive.ql.io.CombineHiveInputFormat后，一个data node节点上多个小文件会进行合并，合并文件数由mapred.max.split.size限制的大小决定。  
mapred.min.split.size.per.node决定了多个data node上的文件是否需要合并~  
mapred.min.split.size.per.rack决定了多个交换机上的文件是否需要合并~

二. 输出合并：MR作业结束后，判断生成文件的平均大小，如果小于阀值，就再启动一个job来合并文件

set hive.merge.mapfiles = true \#在Map-only的任务结束时合并小文件  
set hive.merge.mapredfiles = true \#在Map-Reduce的任务结束时合并小文件  
set hive.merge.size.per.task = 256\*1000\*1000 \#合并文件的大小  
set hive.merge.smallfiles.avgsize=16000000 \#当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge

hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G）

set hive.exec.reducers.bytes.per.reducer=500000000; （500M)  
set hive.exec.reducers.max = 888（每个任务最大的reduce数，默认为999）

set mapred.reduce.tasks = 15;