yarn: 资源调度机制

缺乏、安全感 2022-05-06 16:57 229阅读 0赞

1.  参考书籍《深入理解mapreduce架构设计与实现原理》
2.  yarn： 各组件的通信协议
3.  理解yarn工作流程： yarn–>appMaster–>管理job

# part1：yarn内部通信协议 #

![在这里插入图片描述][70]

# part2: yarn启动appMaster #

![在这里插入图片描述][70 1]

# part3: appMaster管理job #

![在这里插入图片描述][70 2]

# part4: yarn作业运行模式 #

![在这里插入图片描述][70 3]

#### 1，uber模式 ####

如何决定‘小作业’ ？ 在mapred-site.xml中有几个配置

<table> 
 <thead> 
  <tr> 
   <th>特点</th> 
   <th>限制条件</th> 
   <th></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>maptask和reducetask串行执行</td> 
   <td>reducetask数</td> 
   <td>mapreduce.job.ubertask.maxmreduces=1</td> 
  </tr> 
  <tr> 
   <td>containor重用</td> 
   <td>maptask数</td> 
   <td>mapreduce.job.ubertask.maxmaps=9</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>文件大小</td> 
   <td>mapreduce.job.ubertask.maxmrbytes=128m</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>containor资源限制</td> 
   <td>小于 appmaster可用的资源</td> 
  </tr> 
 </tbody> 
</table>

reducetask的启动时间?  
mapred-default.xml 中有默认的参数配置（number of maps in the job which should be complete before reduces are scheduled for the job）

#在reducetask启动前，maptask的完成比例值
    mapreduce.job.reduce.slowstart.completedmaps=0.05

#### 2，non-uber模式 ####

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>task状态—&gt;</th> 
   <th>task状态 —&gt;</th> 
   <th>task状态 —&gt;</th> 
   <th>task状态</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>maptask</td> 
   <td></td> 
   <td>scheduled</td> 
   <td>assigned</td> 
   <td>completed</td> 
  </tr> 
  <tr> 
   <td>reducetask</td> 
   <td>pending</td> 
   <td>scheduled</td> 
   <td>assigned</td> 
   <td>completed</td> 
  </tr> 
 </tbody> 
</table>

[70]: /images/20220506/dee24890cca0448cb243f21b38258ff4.png
[70 1]: /images/20220506/f202d409ded241608bed2d0bc7aa0eb7.png
[70 2]: /images/20220506/3e26ff9bdd2c4521a23ea95d3959b25e.png
[70 3]: /images/20220506/df71e68cf7d74d69a789981b06f4d5cc.png