Hadoop3.2.1 【 YARN 】源码分析 : LinuxContainerExecutor 浅析 [ 二 ]

约定不等于承诺〃 2022-10-27 02:17 292阅读 0赞

# 一 .前言 #

LinuxContainerExecutor的核心设计思想是， 赋予NodeManager启动者以root权限， 进而使它拥有足够的权限以任意用户身份执行一些操作， 从而使得NodeManager执行者可以将Container使用的目录和文件的拥有者修改为应用程序提交者， 并以应用程序提交者的身  
份运行Container， 防止所有Container以NodeManager执行者身份运行进而带来的各种安全风险。 比如防止用户在Container中执行一些只有NodeManager用户有权限执行的命令（杀死其他应用程序的命令、 关闭或者杀死NodeManager进程等） 。  
为了实现上述机制， NodeManager采用C语言实现了一个具有setuid功能的工具—container-executor， 它拥有root权限， 可以完成任意操作， 比如创建Cgroups层级树、 设置Cgroups属性等。 LinuxContainerExecutor通过调用这个可执行文件可以修改Container的一些属性以限制Container的非法操作（比如关闭NodeManager、 杀死NodeManager等） 。

# 二 .配置 #

假设是指分组为hadoop,

## 2.1. yarn-site.xml 配置 ##

<property>
            <name>yarn.nodemanager.container-executor.class</name>
            <value>org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor</value>
        </property>
    
        
        <property>
            <name>yarn.nodemanager.linux-container-executor.path</name>
            <value>/opt/tools/hadoop-3.2.1/bin/container-executor</value>
        </property>
    
        
        <property>
            <name>yarn.nodemanager.linux-container-executor.group</name>
            <value>hadoop</value>
        </property>
    
        
        <property>
            <name>yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users</name>
            <value>true</value>
        </property>
    
        
        <property>
            <name>yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user</name>
            <value>yarn,henghe,root</value>
        </property>

## 2.2. container-executor.cfg 配置 ##

container-executor.cfg 是 container-executor 二进制程序的配置文件，会在其启动时读取校验。  
具体的属性如下：

*  **yarn.nodemanager.linux-container-executor.group**: NM 的 Unix 用户组， 需要与 yarn-site.xml 里一致。
 *  **allowed.system.users**: 允许使用的系统用户，多个用户使用 ‘,’ 分隔，可以不设置，即允许所有用户。
 *  **banned.users**: 禁止使用的用户，多个用户使用 ‘,’ 分隔。
 *  **min.user.id**: 允许使用的用户的 uid 最小值，防止有其他超级用户。

yarn.nodemanager.linux-container-executor.group=hadoop
    allowed.system.users=hdfs,yarn,henghe
    banned.users=root,bin
    min.user.id=1

## 2.3.设置 container-executor 权限 ##

ontainer-executor 二进制的 owner 必须是 root，属组必须与 NM 属组相同 (hadoop)，同时，它的权限必须设置成为 6050，以赋予它 setuid 的权限，来实现使用不同的用户来启动 container。

chown root:hadoop /usr/lib/hadoop-yarn/bin/container-executor 
    chmod 6050 /usr/lib/hadoop-yarn/bin/container-executor

## 2.4.设置 container-executor.cfg 权限 ##

container-executor.cfg 二进制的 owner 必须是 root，属组必须与 NM 属组相同 (hadoop)，同时，它的权限必须设置成为 0400， 以保证它是只读不可写的

chown root:hadoop /etc/hadoop/conf/container-executor.cfg
    chmod 0400 /etc/hadoop/conf/container-executor.cfg

## 2.5.设置 yarn-local 和 yarn-log dirs 权限 ##

所有配置的 yarn-local 和 yarn-log 目录属主必须是 yarn:hadoop ，这个一般集群搭建时已经修改好了，不需要再处理。

## 2.6.任务用户管理 ##

在集群未开启 security authentication 时，也就是集群的用户校验方式为 hadoop.security.authentication=simple 时，如果开启用户限制 yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users=false，也就是说使用任务提交用户来运行其 container 时，则需要提前在集群所有的 NM 节点上将需要的用户通过 useradd 命令，逐个添加到机器上，否则任务运行时会因为找不到指定用户而失败。当集群规模比较大，用户很多时，添加用户还是比较繁琐的，也不好维护，所以以我们的实践经验来看，建议开启用户限制，统一使用 yarn 用户来启动 container。

不过当集群在 security 模式时，基本上就是开启 kerberos 做权限验证时，只允许使用任务提交用户来启动 container，这时就比较苦逼的需要把 YARN 集群里的用户都添加到 NM 节点上才行。不过为了不这么麻烦，我对这块逻辑进行了修改，允许在安全下依然可以使用统一 yarn 用户来执行用户任务。具体实现方式可以查看 YARN 在安全模式下使用统一用户运行 container。

当上述的操作都完成后，重启 NM ， LCE 就会被启用。

## 2.7.注意事项 ##

container-executor 和 container-executor.cfg 文件的权限一定要按照要求修改，否则 NM 会启动失败。如果改了权限后，NM 还是报权限问题，还需要将文件所在的目录用户组也改成 root:hadoop，权限改成 755。

*  涉及目录的权限和权属分配表

<table> 
 <thead> 
  <tr> 
   <th>Filesystem</th> 
   <th>Path</th> 
   <th>User:Group</th> 
   <th>Permissions</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>local</td> 
   <td>container-executor</td> 
   <td>root:hadoop</td> 
   <td>—Sr-s—</td> 
  </tr> 
  <tr> 
   <td>local</td> 
   <td>etc/hadoop/container-executor.cfg</td> 
   <td>root:hadoop</td> 
   <td>r-------</td> 
  </tr> 
  <tr> 
   <td>local</td> 
   <td>yarn.nodemanager.local-dirs</td> 
   <td>yarn:hadoop</td> 
   <td>drwxr-xr-x</td> 
  </tr> 
  <tr> 
   <td>local</td> 
   <td>yarn.nodemanager.log-dirs</td> 
   <td>yarn:hadoop</td> 
   <td>drwxr-xr-x</td> 
  </tr> 
 </tbody> 
</table>

# 2.8.参考链接: #

https://smarthanwang.github.io/2019/10/12/yarn-container-executor/  
https://zhuanlan.zhihu.com/p/38552508  
https://makeling.github.io/bigdata/dcb921f7.html

# 三 .构造方法 #

一共两个构造方法, 区别是入参是否传入LinuxContainerRuntime类型的执行引擎.

/** * Default constructor to allow for creation through reflection. */
      public LinuxContainerExecutor() { 
      }
    
      /** * Create a LinuxContainerExecutor with a provided * {@link LinuxContainerRuntime}. Used primarily for testing. * * @param linuxContainerRuntime the runtime to use */
      public LinuxContainerExecutor(LinuxContainerRuntime linuxContainerRuntime) { 
        this.linuxContainerRuntime = linuxContainerRuntime;
      }

初始化入口为 NodeManager\#serviceInt方法. 通过createContainerExecutor方法进行初始化操作.

// 根据 yarn.nodemanager.container-executor.class : org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor
      @VisibleForTesting
      protected ContainerExecutor createContainerExecutor(Configuration conf) { 
      	// 通过反射, 构建实例 
        return ReflectionUtils.newInstance(
            conf.getClass(YarnConfiguration.NM_CONTAINER_EXECUTOR,
                DefaultContainerExecutor.class, ContainerExecutor.class), conf);
      }

# 四 .init #

加载 yarn.nodemanager.container-executor.class参数中配置的org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor .  
通过反射生成LinuxContainerExecutor 实例. 然后执行初始化init 方法.

ps: 因为mac电脑没办法执行 ,所以我把检查 container-executor 是否可用的代码给注释掉了. 有需要的自行验证…  
验证的shell指令: **container-executor --checksetup**

@Override
      public void init(Context context) throws IOException { 
        Configuration conf = super.getConf();
        this.nmContext = context;
    
        // Send command to executor which will just start up,
        // verify configuration/permissions and exit
        try { 
          PrivilegedOperation checkSetupOp = new PrivilegedOperation(
              PrivilegedOperation.OperationType.CHECK_SETUP);
          PrivilegedOperationExecutor privilegedOperationExecutor =
              getPrivilegedOperationExecutor();
    
          // mac 环境这里肯定会报错的, 为了DEBUG , 所以就注释掉了....
          // privilegedOperationExecutor.executePrivilegedOperation(checkSetupOp,false);
        } catch (Exception e) { 
          // todo 为了DEBUG 注释掉了验证...
    // int exitCode = e.getExitCode();
    // LOG.warn("Exit code from container executor initialization is : " + exitCode, e);
    // throw new IOException("Linux container executor not configured properly" + " (error=" + exitCode + ")", e);
        }
    
        try { 
          resourceHandlerChain = ResourceHandlerModule
              .getConfiguredResourceHandlerChain(conf, nmContext);
          if (LOG.isDebugEnabled()) { 
            final boolean enabled = resourceHandlerChain != null;
            LOG.debug("Resource handler chain enabled = " + enabled);
          }
          if (resourceHandlerChain != null) { 
            LOG.debug("Bootstrapping resource handler chain: " +
                resourceHandlerChain);
            resourceHandlerChain.bootstrap(conf);
          }
        } catch (ResourceHandlerException e) { 
          LOG.error("Failed to bootstrap configured resource subsystems! ", e);
          throw new IOException(
              "Failed to bootstrap configured resource subsystems!");
        }
    
        try { 
          if (linuxContainerRuntime == null) { 
            LinuxContainerRuntime runtime = new DelegatingLinuxContainerRuntime();
    
            runtime.initialize(conf, nmContext);
            this.linuxContainerRuntime = runtime;
          }
        } catch (ContainerExecutionException e) { 
          LOG.error("Failed to initialize linux container runtime(s)!", e);
          throw new IOException("Failed to initialize linux container runtime(s)!");
        }
    
        resourcesHandler.init(this);
      }

> 在这里我们可以看到, 使用的默认LinuxContainerRuntime引擎为 DelegatingLinuxContainerRuntime

# 五 .ContainerExecutor流程图 #

回顾一下整体ContainerExecutor的执行流程, 这里,我们最关注的其实也就是 prepareContainer 和 launchContainer 两个方法.

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70]

## 5.1. prepareContainer ##

## 5.2. launchContainer ##

因为没办法调试,先到这里, 等以后有空的时候再看…

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70]: /images/20221024/e0f2c254e17a490dbc78607b26af863f.png