Hadoop-Yarn-问题记录

傷城~ 2021-11-14 12:46 342阅读 0赞

# Hadoop-Yarn-问题记录 #

## 1 ##

如果capacity配置的容量远超队列配额会引起某些bug，这里能先优化下maxcapacity这个值嘛，尽量不要超过太多capacity值  
![在这里插入图片描述][20190731203520244.png]  
[CapacityScheduler: applications could get starved because computation of \#activeUsers considers pending apps][CapacityScheduler_ applications could get starved because computation of _activeUsers considers pending apps]  
已有issue上说的，如果集群其他队列有其他队列超过设置限额(Max apps)了，这个num schedulable applications在其他队列就会有异常，会把其他队列的也算进去，造成显示错误。

Hadoop 2.7.1, 2.8.0版本中，如果归属于同一个user的叶子Queue中的所有app处于pending状态（比如由`maximum-am-resource-percent`限制等原因）。此时`ActiveUsersManager`仍然会将该user认为是活跃用户虽没有running的app，可能导致app饥饿，比如：

*  App1(user1)/app2(user2) 活跃状态, app3(user3)/app4(user4) 处于pending状态
 *  ActiveUsersManager返回`activeUsers=4`
 *  然而，其实该例中只有两个用户（user1/user2）被允许申请新资源，所以此时计算`user-limit-resource`即用户可用资源时可能比预期更低

[20190731203520244.png]: /images/20211114/afaadae436f54f6cbaade7f3357e602c.png
[CapacityScheduler_ applications could get starved because computation of _activeUsers considers pending apps]: https://issues.apache.org/jira/browse/YARN-4606?attachmentSortBy=fileName

发表评论取消回复

表情：

评论列表（有 0 条评论，342人围观）

还没有评论，来说两句吧...

相关阅读

相关硬件问题记录-

No.1 LOD在no load情况下，输出异常，不是标称值。 LDO SPX3819M5-L-3.3测试，在没有负载的情况下，测量的值不稳定，而且容易损坏（这个可能是

红太狼/ 2022年10月13日 15:54/ 0 赞/ 163 阅读

相关硬件问题记录

No.1、串口大于15cm的数据传输时出现问题停车场的A板，串口问题，串口接收受外部影响。115200,1bit stop，8bit，无奇偶校验。问题现象是:A板

川长思鸟来/ 2022年10月13日 05:21/ 0 赞/ 164 阅读

相关 Arch问题记录

Arch问题记录 -------------------- 文章目录 Arch问题记录 1.蓝牙不能自动连接鼠标 2.安装mari

红太狼/ 2022年09月04日 08:47/ 0 赞/ 520 阅读

相关小问题记录

遇到的问题记录： 1、在头文件中定义了变量，想作为全局变量使用，然后我在几个文件中都包含了这个头文件，导致重复定义。正确的做法：1、在一个.c文件中定义，然后在用到的文件

我就是我/ 2022年08月21日 00:12/ 0 赞/ 150 阅读

相关问题记录

1. 头文件重复编译处理，在被重复定义的头文件前加\program once 或者\if !defined(AFX\_SERIALPORTCOMM\_H

以你之姓@/ 2022年06月18日 10:49/ 0 赞/ 265 阅读

相关问题记录

前置条件 Map<Long, List<Long>> noteAndAttachmentIdMap = new HashMap<Long, List<Long>>()

清疚/ 2022年06月15日 11:18/ 0 赞/ 262 阅读

相关心得问题记录

Java基础 Reader&StreamReder区别与联系？个人解答：处理字符串&字符&xml等字符类文件: 使用Reader&Writer

落日映苍穹つ/ 2022年05月26日 23:07/ 0 赞/ 228 阅读

相关问题记录

前置条件 Map<Long, List<Long>> noteAndAttachmentIdMap = new HashMap<Long, List<Long>>()

ゝ一纸荒年。/ 2022年04月06日 06:48/ 0 赞/ 299 阅读

相关日常问题记录

centos7下面yum nginx 添加一下nginx源： rpm -ivh [http://nginx.org/packages/centos/7/noar

痛定思痛。/ 2022年03月14日 14:18/ 0 赞/ 318 阅读

相关 mysql_问题记录

创建用户的时候，提示密码不符合规则 ERROR 1819 (HY000): Your password does not satisfy the current policy

水深无声/ 2021年11月29日 13:12/ 0 赞/ 364 阅读