MapReduce的容错机制（一）

亦凉 2022-12-04 09:22 154阅读 0赞

## 前言 ##

现实中，用户代码错误、进程崩溃、机器故障等等都可能导致MapReduce程序失败，但是Hadoop最主要的好处之一就是它能处理此类故障并完成作业。

## 失败 ##

*  经典MapReduce中的失败
 *  YARN中的失败

## 经典MapReduce中的失败 ##

主要考虑三种失败模式：运行任务失败、tasktracker失败以及jobtrack失败

### **（1）运行任务失败** ###

*  子任务失败：最常见的就是map或reduce中用户代码抛异常，此时子任务JVM进程会在退出前向其父tasktracker发送错误报告，错误报告会被记入用户日志。tasktracker将此次任务的任务尝试标记为failed，并释放任务槽供其他任务运行。对于Streaming任务，如果Streaming进程已非零退出代码退出，则会被标记为failed。该行为由steam.non.zero.exit.is.failure属性是否为true控制
 *  子进程JVM突然退出：可能由于JVM软件缺陷而导致MapReduce用户代码由于某种特殊原因 造成JVM退出，这种情况下tasktracker会注意到进程已经退出并将此次任务尝试标记为failed
 *  任务挂起：一旦tasktracker注意到已经有一段时间没有收到任务进度的更新，便会将任务标记为failed，在此之后，JVM子进程将被杀死。默认超时时间为10分钟，可通过mapred.task.timeout属性设置（单位：毫秒）。若设置为0，则任务将永远不会被标记为failed（不推荐）

对于以上失败情形，tasktracker会通过“心跳”机制告诉jobtracker一个任务尝试失败了，此时jobtracker将重新调度该任务的执行。jobtracker会尝试避免重新调度以前尝试失败的tasktracker上的任务。如果一个任务的失败次数超过4次，将不会在重试，且任何一个任务失败次数大于4次（默认最大尝试次数配置为4），则整个作业将会失败。最大失败次数可通过参数设置：

Map任务：mapred.map.max.attempts
    Reduce任务：mapred.reduce.max.attempts

**补充：**

有时候我们并不希望一旦有少数几个任务失败就中止运行整个作业，因为即使任务失败，作业的一些结果可能还是可用的。此时我们可以通过设置在不触发作业失败的情况下允许任务失败的最大百分比

Map任务：mapred.max.map.failures.percent
    Reduce任务：mapred.max.reduce.failures.percent

还有另外一种情形是任务尝试是可以被中止（killed）的，这种情形与失败不同。任务尝试是可以被中止的，因为它是一个推测副本或因为它所处的tasktracker失败，导致jobtracker将它上面运行的所有任务尝试标记为killed。被中止的任务尝试不会被计入任务尝试次数。用户也可以通过Web UI或命令行方式来中止或取消任务尝试。

### **（2）tasktracker失败** ###

*  tasktracker由于崩溃或运行过于缓慢而失败。这种情况下tasktracker会停止向jobtracker发送“心跳”，jobtracker会注意到已经停止发送“心跳”的tasktracker（默认10分钟可通过参数mapred.tasktracker.expiry.interval属性设置，单位：毫秒）并将它从等待任务调度的tasktracker池中移出。如果有未完成的作业，jobtracker会安排此tasktracker上已经运行并成功的map任务重新运行，这是因为reduce任务无法访问它们的中间输出结果（都存储在失败的tasktracker的本地文件系统上），任何正在运行的任务也都会被重新调度。
 *  另外一种情况是即使tasktracker没有失败，也可能被jobtracker列入黑名单。比如某个特定的tasktracker上超过4个（可通过参数mapred.max.tracker.failures属性设置）来自同一个作业的任务失败了，jobtracker就会将此记录为出错。如果tasktracker上面失败任务数超过最小阈值（默认为4，可通过参数mapred.max.tracker.blacklists设置）并远远高于集群中tasktracker的平均失败任务数，也会被列入黑名单

被列入黑名单的tasktracker将不再被分配任务，但会继续和jobtracker通信，等待一定的错误期满（每天一次的错误比率），tasktracker有机会再次运行作业。另外如果有可修复的错误（比如硬件更换），在tasktracker重启并重新加入集群后，他将从jobtracker的黑名单中移出。

### **（3）jobtracker失败** ###

jobtracker失败是很严重的，它有单点故障特性，目前Hadoop没有处理jobtracker失败的机制。jobtracker失败将会导致所有执行的任务失败，但这种失败的概率很小，YARN进一步改善了这种情况，可参考另一篇文章[《MapReduce的容错机制（二）》][MapReduce]。

jobtracker重启后，在它停止时运行到所有作业都需要重新提交。可通过配置mapred.jobtracker.restart.recover(默认为关闭)属性尝试恢复所有运行作业，但这种方式不太靠谱，不建议使用

[MapReduce]: https://blog.csdn.net/YF_Li123/article/details/108455613