Job的提交——JobTracker

朴灿烈づ我的快乐病毒、 2022-06-17 09:06 171阅读 0赞

在上一篇博文中，我着重谈到了客户端的JobClient对一个作业的提交所做的工作，那么在本文，我就要好好的谈一谈JobTracker为作业的提交到底干了那些个事情——一.为作业生成一个Job；二.接受该作业。

通过上一篇博文，我们都知道，客户端的JobClient把作业的所有相关信息都保存到了JobTracker的系统目录下(当然是HDFS了)，这样做的一个最大的好处就是客户端干了它所能干的事情同时也减少了服务器端JobTracker的负载。下面就来看看JobTracker是如何来完成客户端作业的提交的吧！哦。对了，在这里我不得不提的是客户端的JobClient向JobTracker正式提交作业时直传给了它一个改作业的JobId，这是因为与Job相关的所有信息已经存在于JobTracker的系统目录下，JobTracker只要根据JobId就能得到这个Job目录。

![0_1322977703HGfF.gif][]

对于上面的Job的提交处理流程，我将简单的介绍以下几个过程：

1.创建Job的JobInProgress

JobInProgress对象详细的记录了Job的配置信息，以及它的执行情况，确切的来说应该是Job被分解的map、reduce任务。在JobInProgress对象的创建过程中，它主要干了两件事，一是把Job的job.xml、job.jar文件从Job目录copy到JobTracker的本地文件系统(job.xml->\*/jobTracker/jobid.xml，job.jar->\*/jobTracker/jobid.jar)；二是创建JobStatus和Job的mapTask、reduceTask存队列来跟踪Job的状态信息。

2.检查客户端是否有权限提交Job

JobTracker验证客户端是否有权限提交Job实际上是交给QueueManager来处理的，关于QueueManager是如何验证客户端对Job有哪些操作，我将会写一篇博文详细的讨论这个问题。

3.检查当前mapreduce集群能够满足Job的内存需求

客户端提交作业之前，会根据实际的应用情况配置作业任务的内存需求，同时JobTracker为了提高作业的吞吐量会限制作业任务的内存需求，所以在Job的提交时，JobTracker需要检查Job的内存需求是否满足JobTracker的设置。详细代码如下：

private void checkMemoryRequirements(JobInProgress job) throws IOException {
        if (!perTaskMemoryConfigurationSetOnJT()) {
          LOG.debug("Per-Task memory configuration is not set on JT. " + "Not checking the job for invalid memory requirements.");
          return;
        }
    
        boolean invalidJob = false;
        String msg = "";
        long maxMemForMapTask = job.getJobConf().getMemoryForMapTask(); //获取Job的map任务内存需求
        long maxMemForReduceTask = job.getJobConf().getMemoryForReduceTask();//获取Job的reduce任务内存需求
    
        if (maxMemForMapTask == JobConf.DISABLED_MEMORY_LIMIT || maxMemForReduceTask == JobConf.DISABLED_MEMORY_LIMIT) {
          invalidJob = true;
          msg = "Invalid job requirements.";
        }
    
        if (maxMemForMapTask > limitMaxMemForMapTasks || maxMemForReduceTask > limitMaxMemForReduceTasks) {
          invalidJob = true;
          msg = "Exceeds the cluster's max-memory-limit.";
        }
    
        if (invalidJob) {
          StringBuilder jobStr = new StringBuilder().append(job.getJobID().toString()).append("(").append(maxMemForMapTask).append(" memForMapTasks ").append(maxMemForReduceTask).append(" memForReduceTasks): ");
          LOG.warn(jobStr.toString() + msg);
    
          throw new IOException(jobStr.toString() + msg);
        }
      }

JobTracker的全局变量 limitMaxMemForMapTasks和 limitMaxMemForReduceTasks可以通过配置文件来设置，它们分别对应配置文件中的mapred.cluster.max.map.memory.mb项和mapred.cluster.max.reduce.memory.mb项。

ok，结合前面的内容我们来个总图。

![0_13229811633709.gif][]

[0_1322977703HGfF.gif]: /images/20220617/1208652d2c224f788dc34cfa5e408f28.png
[0_13229811633709.gif]: /images/20220617/973e5928654f4f6296cd71626fd0cddc.png