Hadoop优化

深碍√TFBOYSˉ_ 2022-08-08 13:42 158阅读 0赞

1.hadoop的inputformat提供了在block的基础上更细粒度控制mapper输入块的大小,设置split的大小范围。

FileInputFormat.setMaxInputSplitSize(job,size)

FileInputFormat.setMinInputSplitSize(job,size)

这种方法可以控制mapper的数量。

也可以在配置文件中配置，mapred.min.split.size。

2.推测任务。

mapred.map.tasks.speculative.execution和mapred.reduce.tasks.speculative.execution。

当所有task开始运行后，Job Tracker会统计所有任务的平均进度，如果某个task所在的node机器配置比较低或者CPU 占用很高，导致任务执行比总体任务的平均执行要慢。此时，Job Tracker会启动一个新的任务duplicate task ，这个新任务就是推测任务，原有任务和新任务哪个先执行完就把另外一个kill掉。这也是在Job Tracker页面看到任务执行成功，但是总有些任务被kill的原因。推测任务也要占用计算资源，任务执行本身很耗资源的情况下可以设置成false，禁止执行。

3.io.sort.mb

以MB为单位，默认100M，定义了map输出结果在内存中占用buffer的大小，当buffer达到一定的阈值，会启动后台线程将buffer内容写入本地磁盘(一个spill文件)。观察hadoop的日志，如果spill次数比较多说明这个缓存大小设置太低。

io.sort.spill.percent 就是上述的阈值，默认0.8。

4.io.sort.factor

这个参数表示同时打开磁盘spill并行合并的文件数，默认是10。同时打开的文件越多，不一定merge sort就越快。

当map执行完后，本地磁盘上(mapred.local.dir)有若干个spill文件，map最后做的一件事就是执行merge sort，把这些spill文件合并成一个文件(partition),自定义的partition函数，就是在这个时候调用。

merge排序的结果是两个文件，一个是index，另一个是数据文件，index文件记录了每个不同的key在数据文件中的偏移量。

![9e63f724-451b-36c3-a090-5d9360748e89.png][]

5.io.file.buffer.size

设置hadoop访问文件的I/O操作的缓存大小。不论是对硬盘或者网络操作来讲，较大的缓存都可以提供更高的数据传输，但也意味着更大的内存消耗和延迟。这个参数要设置为系统页面大小的倍数，以 byte为单位，默认为4KB。一般情况下，可以设置为64Kb。

6.dfs.balance.bandwidthPerSec

该参数定义了每个DataNode平衡操作所允许的最大使用带宽，单位byte。