Hadoop优化之mapreduce.job.reduce.slowstart.completedmaps介绍

本是古典何须时尚 2022-04-23 12:30 149阅读 0赞

#### 调优参数：mapreduce.job.reduce.slowstart.completedmaps ####

###### 背景 ######

hadoop中优化其中一项是在Reduce阶段，设置Map和Reduce共享，锁使用的参数就是调整slowstart.completedmaps,官方文档中显示默认值为0.05  
官方文档截图：2.7.2版本  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTAxMDIzNDk5MQ_size_16_color_FFFFFF_t_70]  
此参数的意义是当MapTask完成的比例达到该值后才会为Reduce Task申请资源，默认是0.05,

既然这个参数的含义是当Map Task完成的比例达到该值后才会为Reduce Task申请资源，那么在Yarn中关于资源分配申请服务的RMContainerAllocator中，自然会用到它。在服务初始化的serviceInit()方法中，有如下代码：

// reduceSlowStart取参数mapreduce.job.reduce.slowstart.completedmaps，默认为0.05，
        // 其代表当Map Task完成的比例达到该值后才会为Reduce Task申请资源
        reduceSlowStart = conf.getFloat(
            MRJobConfig.COMPLETED_MAPS_FOR_REDUCE_SLOWSTART, 
            DEFAULT_COMPLETED_MAPS_PERCENT_FOR_REDUCE_SLOWSTART);

这个reduceSlowStart就代表当Map Task完成的比例达到该值后才会为Reduce Task申请资源，它取参数mapreduce.job.reduce.slowstart.completedmaps，参数未配置时默认为0.05。而在进行Reduce任务相关资源申请调度时，会传入这个reduceSlowStart，如下：

scheduleReduces(
              getJob().getTotalMaps(), completedMaps,
              scheduledRequests.maps.size(), scheduledRequests.reduces.size(), 
              assignedRequests.maps.size(), assignedRequests.reduces.size(),
              mapResourceRequest, reduceResourceRequest,
              pendingReduces.size(), 
              maxReduceRampupLimit, reduceSlowStart);

//check for slow start
        // 在Reduce调度尚未启动时，即标志位reduceStarted为false时
        if (!getIsReduceStarted()) {//not set yet
        	
          // 计算Reduce Task启动时最低要求完成的Map Task数目completedMapsForReduceSlowstar，
          // 计算公式为reduceSlowStart * totalMaps，向上取整，totalMaps表示Map Task总数目
          int completedMapsForReduceSlowstart = (int)Math.ceil(reduceSlowStart * 
                          totalMaps);
          
          // 如果已完成Map Task数目completedMaps小于上述要求完成的Map Task数目completedMapsForReduceSlowstart，
          // 记录info级别日志信息：Reduce slow start threshold not met.completedMapsForReduceSlowstart ？
          // 即Reduce任务最低启动门槛没有满足，并输出最低启动门槛，即要求已完成的Map Task数目：completedMapsForReduceSlowstart数目，然后返回，不进行资源申请调度
          if(completedMaps < completedMapsForReduceSlowstart) {
            LOG.info("Reduce slow start threshold not met. " +
                  "completedMapsForReduceSlowstart " + 
                completedMapsForReduceSlowstart);
            return;
          } else {
        	// 如果达到了最低启动门槛，同样记录info级别日志信息：Reduce slow start threshold reached. Scheduling reduces.
        	// 即Reduce最低启动门槛已达到，开始调度Reduce
            LOG.info("Reduce slow start threshold reached. Scheduling reduces.");
            // 并设置标志位reduceStarted为true，即该Reduce资源申请已被调度
            setIsReduceStarted(true);
          }
        }

我们看到，在Reduce调度尚未启动时，即标志位reduceStarted为false时：  
1、首先计算Reduce Task启动时最低要求完成的Map Task数目completedMapsForReduceSlowstar，计算公式为reduceSlowStart \* totalMaps，向上取整，totalMaps表示Map Task总数目；

2、如果已完成Map Task数目completedMaps小于上述要求完成的Map Task数目completedMapsForReduceSlowstart，记录info级别日志信息：Reduce slow start threshold not met.completedMapsForReduceSlowstart \* ，即表示Reduce任务最低启动门槛没有满足，并输出最低启动门槛，即要求已完成的Map Task数目：completedMapsForReduceSlowstart数目，然后返回，不进行资源申请调度；

3、如果达到了最低启动门槛，同样记录info级别日志信息：Reduce slow start threshold reached. Scheduling reduces.即Reduce最低启动门槛已达到，开始调度Reduce，并设置标志位reduceStarted为true，即该Reduce资源申请已被调度。

需要特别注意的是，在JobImpl中，如果处于Uber模式下，会将mapreduce.job.reduce.slowstart.completedmaps参数设置为1，这很好理解，因为不管Map Task，还是Reduce Task，均是串行执行的，所以当Map Task完成的比例达到多少值后才会为Reduce Task申请资源，这个值百分百应该是1。处理该参数相关代码如下：

if (isUber) {
          LOG.info("Uberizing job " + jobId + ": " + numMapTasks + "m+"
              + numReduceTasks + "r tasks (" + dataInputLength
              + " input bytes) will run sequentially on single node.");
     
          // make sure reduces are scheduled only after all map are completed
          conf.setFloat(MRJobConfig.COMPLETED_MAPS_FOR_REDUCE_SLOWSTART,
                            1.0f);

原文：[https://blog.csdn.net/lipeng\_bigdata/article/details/51285687][https_blog.csdn.net_lipeng_bigdata_article_details_51285687]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTAxMDIzNDk5MQ_size_16_color_FFFFFF_t_70]: /images/20220318/6f7492efc00649aa92c7346cf8781cca.png
[https_blog.csdn.net_lipeng_bigdata_article_details_51285687]: https://blog.csdn.net/lipeng_bigdata/article/details/51285687