CDH| Yarn资源队列划分管理

妖狐艹你老母 2022-10-23 09:58 285阅读 0赞

Yarn用户资源隔离配置，主要使用 **Yarn动态资源池(dynamic resource pool)** \_ 对YARN应用程序进行资源和策略分配的池。(Impala资源也可以动态管理)\_  
动态资源池允许安排和分配用户访问特定池，用来执行YARN应用程序。**如果一个池的资源未被使用，它可以被占用(preempted)并分配给其他池。否则，就根据各个池的权重来共享资源。访问控制列表(Access control lists (ACLs)) 对提交访问和管理访问进行限制。**

现阶段集群资源使用没有进行明确的划分，业务线与业务线之间任务存在挣抢资源的情况，为了解决这种问题，需要对集群做资源划分和用户划分，使用的集群为cdh集群，cdh集群已经集成了动态资源池，所以我们也直接采用cdh的资源配置方式进行规划。

划分的目的为针对不同业务、不同用户、不同需求、不同场景的使用，对yarn任务资源池进行规划和分配，达到资源的管控和隔离,避免各个任务之间产生影响,保证生产环境任务运行稳定。

## 1、 yarn资源队列参数设置： ##

**　　(1) yarn.scheduler.fair.user-as-default-queue   false**

![e54a9a7758a89c85bba3762ba5004a6d.png][]

**　　(2) yarn.scheduler.fair.allow-undeclared-pools   false**

![a1ca5a78a6458a975934541b3f879f78.png][]

##  2、 CDH 动态资源队列配置入口 ##

![6d24736572d205b4b7b5d2d6b27a08ec.png][]

## 3、 根据用户的资源队列管理 ##

![e5f377beb22a965e5f5e6f88a4cd9fee.png][]

如图，第一步我们划分了2个大的父资源池：

### (1) default:默认池，没有划分资源池的用户会提交到default资源池 ###

![e881eba2815a69f03e26ad614c51fcd9.png][]

![70f7f2244c1fde31dc1ba30592a1316d.png][]

**  a.  这里权重为10%，default：users 资源成1：9；**

**  b.  这里不要设置为父池,一定要保证为叶子节点即子池，不然提交不了任务；**

**  c.  CPU：c 计划策略这里我采用的都是DRF；**

**  d.  提交访问控制：配置用户权限，配置哪些用户有权限提交任务，注意用逗号分隔（可默认不配）；**

**  e.  管理访问控制：配置用户对资源池的管理权限，注意用逗号分开（可默认不配）；**

![d02329a82769e5f975c3509ebee7b004.png][]

![54759904cd216b5cea732bfb35e01148.png][]![8b485dda446c760a2edabcf00051d4ca.png][]

###  (2) users池：特定用户提交任务到该池 ###

users池配置跟default基本一样，唯一区别是权限控制所对应用户有所调整：

![31fced8323a25a43e040061c32098680.png][]

** 3个用户：**![b5f7adac9e44ec5351c832b2721f151d.png][]

** 比如用户a：**

![bac362b12668af6349e02f0e1f722eb0.png][]

### (一)   用户划分 ###

用户划分主要是为了对业务线和运行环境进行系统级别的隔离，这里划分了两个用户，分别对应好房和合生通业务线，如下：

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>用户名</p> </td> 
   <td style="vertical-align:top;"> <p>用户目录</p> </td> 
   <td style="vertical-align:top;"> <p>备注</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;"> <p>a</p> </td> 
   <td style="vertical-align:top;"> <p>/home/a</p> </td> 
   <td style="vertical-align:top;"> <p>a 业务线用户</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;"> <p>b</p> </td> 
   <td style="vertical-align:top;"> <p>/home/b</p> </td> 
   <td style="vertical-align:top;"> <p>b 业务线用户</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;"> <p>hdfs</p> </td> 
   <td style="vertical-align:top;"> <p>/var/lib/hadoop-hdfs</p> </td> 
   <td style="vertical-align:top;"> <p>大数据公共用户</p> </td> 
  </tr> 
 </tbody> 
</table>

各个业务线使用对应的用户提交任务，涉及到的脚本/依赖/任务/资源等也统一部署在使用的用户下。

### (二)   资源池划分 ###

资源池划分，主要是在yarn队列/集群资源级别做一个隔离，针对上边的用户，划分的资源池情况如下：

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>资源池名称</p> </td> 
   <td style="vertical-align:top;"> <p>父池</p> </td> 
   <td style="vertical-align:top;"> <p>备注</p> </td> 
   <td style="vertical-align:top;"> <p>适用任务</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;"> <p>root</p> </td> 
   <td style="vertical-align:top;"> <p>无</p> </td> 
   <td style="vertical-align:top;"> <p>集群根资源池</p> </td> 
   <td style="vertical-align:top;"> <p>无</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;"> <p>root.default</p> </td> 
   <td style="vertical-align:top;"> <p>root</p> </td> 
   <td style="vertical-align:top;"> <p>集群默认资源池</p> </td> 
   <td style="vertical-align:top;"> <p>未指定资源池/用户</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;"> <p>root.users</p> </td> 
   <td style="vertical-align:top;"> <p>root</p> </td> 
   <td style="vertical-align:top;"> <p>用户提交任务资源池</p> </td> 
   <td style="vertical-align:top;"> <p>各个用户的父池</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;"> <p>root.users.hdfs</p> </td> 
   <td style="vertical-align:top;"> <p>users</p> </td> 
   <td style="vertical-align:top;"> <p>hdfs用户保留资源池</p> </td> 
   <td style="vertical-align:top;"> <p>大数据公共资源池</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;"> <p>root.users.a</p> </td> 
   <td style="vertical-align:top;"> <p>users</p> </td> 
   <td style="vertical-align:top;"> <p>( a 资源池 )</p> </td> 
   <td style="vertical-align:top;"> <p>a 相关业务</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;"> <p>root.users.b</p> </td> 
   <td style="vertical-align:top;"> <p>users</p> </td> 
   <td style="vertical-align:top;"> <p>( b 资源池 )</p> </td> 
   <td style="vertical-align:top;"> <p>b 相关业务</p> </td> 
  </tr> 
 </tbody> 
</table>

## ![79753ea2227621496efddfb5dcf2add4.png][] ##

## 四、 使用及注意事项 ##

### 一）Hive任务 ###

各业务线使用对应的用户登陆服务器,运行hive任务默认使用当前用户的资源池,不需要做特殊处理，如需要特别指定运行的资源池,可以通过以下方式设置对应的资源池

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>SET mapreduce.job.queuename=xxxx&nbsp;&nbsp;&nbsp; //xxxx资源池名称</p> </td> 
  </tr> 
 </tbody> 
</table>

### 二）MapReduce任务 ###

提交普通的ＭＲ任务，可以通过两种方式使用资源池：

1.  不指定资源池,提交到当前用户的资源池,如果当前用户的资源池不存在,提交到default资源池.
2.  指定资源池,需要在提交任务时,指定具体的资源池参数,参数如下:

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>hadoop jar applincation.jar -D mapreduce.job.queuename=xxxx&nbsp;&nbsp; //xxxx资源池名称</p> </td> 
  </tr> 
 </tbody> 
</table>

### 三）Spark任务 ###

Spark任务,在运行时,必须指定要使用的资源池,不然Spark会自动创建资源池,指定资源池的命令如下:

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>spark-shell --master yarn --queue xxxx&nbsp;&nbsp; //xxxx资源池名称</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;"> <p>spark-submit --master yarn --queue xxxx&nbsp;&nbsp;&nbsp; //xxxx资源池名称</p> </td> 
  </tr> 
 </tbody> 
</table>

### 四）Flink任务 ###

Flink任务,在运行时,必须要指定使用的资源池, 指定资源池的参数命令如下:

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>./bin/flink run application.jar -qu | --queue xxxx&nbsp;&nbsp;&nbsp; //xxxx资源池名称</p> </td> 
  </tr> 
 </tbody> 
</table>

## 五、 压力测试 ##

一)  资源池满负载情况

User用中资源已满,图中灰色部分为已经分配使用的资源池,虚线部分为当前保留可用动态使用的资源池。

(二)      任务等待情况

(三)      集群资源使用情况

(四)      各个资源池使用情况

Hst资源池使用情况,可用看到cpu已经分配完毕

Easylife资源池资源已经分配完毕

Hdfs资源池资源已经分配完毕

通过上边一系列情况可用看出,在三个资源池都分配完毕后,任务还是正常运行,没有出现无法提交任务,任务出错等问题.多租户配置方案可用满足我们对资源和运行环境的隔离需求。

[e54a9a7758a89c85bba3762ba5004a6d.png]: /images/20221023/64d0463bbbc7417f9d5ea5fe02fb521a.png
[a1ca5a78a6458a975934541b3f879f78.png]: /images/20221023/aa5eb4a1dc5642be9e5e60f5a8222de4.png
[6d24736572d205b4b7b5d2d6b27a08ec.png]: /images/20221023/1b97ac2e926b4daa90d51e427c18347c.png
[e5f377beb22a965e5f5e6f88a4cd9fee.png]: /images/20221023/9c0a10df949a4ebcb9789185515af267.png
[e881eba2815a69f03e26ad614c51fcd9.png]: /images/20221023/652df13925fb4cb6a72a9d2a6b308d1f.png
[70f7f2244c1fde31dc1ba30592a1316d.png]: /images/20221023/be12d84bc34a4f0bb1a7036d65921cf6.png
[d02329a82769e5f975c3509ebee7b004.png]: /images/20221023/191c117e56cb41fc9b13142bb2117d9e.png
[54759904cd216b5cea732bfb35e01148.png]: https://img-blog.csdnimg.cn/img_convert/54759904cd216b5cea732bfb35e01148.png
[8b485dda446c760a2edabcf00051d4ca.png]: /images/20221023/8f7ccdfce73a4208b6c1d3426ba09be7.png
[31fced8323a25a43e040061c32098680.png]: /images/20221023/68348c8d2c064ea58553b9b3cd5d1829.png
[b5f7adac9e44ec5351c832b2721f151d.png]: /images/20221023/311f456ef621480ebef7b780daffffdf.png
[bac362b12668af6349e02f0e1f722eb0.png]: /images/20221023/86f963fb0c3040b999d438dbfbc0765a.png
[79753ea2227621496efddfb5dcf2add4.png]: /images/20221023/86c0321f62f24980a27dff42b000e2c0.png