Shuffle优化

本是古典何须时尚 2022-11-26 10:58 172阅读 0赞

## 1、Map阶段 ##

1.  **增大缓冲区的大小**：默认100M，可以改为200
2.  **增大缓冲区的溢写百分比**：默认0.8，可以改为0.9
3.  **减少溢写文件的merge次数**
4.  **采用combiner提前预聚合，减少IO**。（不影响业务逻辑的前提下，只能加减，不能做乘除等复杂聚合）

## 2、Reduce阶段 ##

1.  **合理设置map和reduce数**：两个都不能设置太少，也不能设置太多。
    
     *  太少，会导致task等待，延长处理时间
     *  太多，会导致map、reduce任务之间竞争资源，造成处理超时等错误
2.  **设置map、reduce共存**：调整`slowstart.completedmaps`参数，使map运行到一定程度后，reduce就开始运行，减少reduce的等待时间
3.  **规避使用reduce**，因为reduce在用于连接数据集的时候会产生大量的网络消耗
4.  增加每个reduce去map中拿数据的**并行度**
5.  增大reduce段存储数据内存的大小

## 3、IO传输 ##

采用数据压缩的方式，减少IO时间。

1.  **map输入端**：主要考虑数据量大小和切片，支持切片的有lzo，Bzip2。Lzo要想支持切片必须创建索引
2.  **map输出端**：主要考虑速度，如：snappy，lzo
3.  **reduce输出端**：主要看具体需求，例如：如果有下一个MR阶段，就要考虑切片，永久保存就考虑压缩率比较大的gzip

## 4、整体 ##

1.  **yarn.nodemanager.resouce.memory-mb**：nodemanager默认内存8G。需要根据服务器实际配置灵活调整，例如128G内存，配置为100G内存左右
2.  **yarn.scheduler.maximum-allocation-mb**：单任务默认内存8G。需要根据该任务的数据量灵活调整，例如128m数据，配置1G内存
3.  **mapreduce.map.memory.mb**：**默认内存大小为1G**。**控制分配给MapTask内存上限**，如果超过会kill掉进程（报：`Container is running beyond physical memory limits. Current usage:565MB of512MB physical memory used；Killing Container`）。如果数据量是128m，正常不需要调整内存；如果数据量大于128m，可以增加MapTask内存，最大可以增加到4-5g。
4.  **mapreduce.reduce.memory.mb**：**默认内存大小为1G**。控制分配给**ReduceTask内存上限**。如果数据量是128m，正常不需要调整内存；如果数据量大于128m，可以增加ReduceTask内存大小为4-5g。
5.  **mapreduce.map.java.opts**：控制maptask堆内存大小。（如果内存不够，报：java.lang.OutOfMemoryError）
6.  **mapreduce.reduce.java.opts**：控制reducetask堆内存大小。（如果内存不够，报：java.lang.OutOfMemoryError）
7.  增加maptask和reducetask的CPU核数
8.  增加每个container的CPU核数和内存
9.  在hdfs-site.xml文件中配置多目录
10. **dfs.namenode.handler.count=20\*log2(cluster size)：** namenode的一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。