Hadoop之Yarn面试知识复习

野性酷女 2022-01-15 19:11 328阅读 0赞

# Hadoop之Yarn面试知识复习 #

## 目录 ##

1.  简述hadoop1与hadoop2 的架构异同
2.  为什么会产生 yarn,它解决了什么问题，有什么优势？
3.  Hadoop之Yarn工作机制详解
4.  HDFS的数据压缩算法?
5.   Hadoop的调度器总结
6.  MapReduce 2.0 容错性
7.  mapreduce推测执行算法及原理

--------------------

### 1. 简述hadoop1与hadoop2 的架构异同 ###

1.  加入了yarn解决了资源调度的问题。
2.  加入了对zookeeper的支持实现比较可靠的高可用。

--------------------

### 2. 为什么会产生 yarn,它解决了什么问题，有什么优势？ ###

1.  Yarn最主要的功能就是解决运行的用户程序与yarn框架完全解耦。
2.  Yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、storm程序，spark程序……

--------------------

### 3. Hadoop之Yarn工作机制详解 ###

已详细总结过，请参考：[Hadoop之Yarn工作机制详解][Hadoop_Yarn]

--------------------

### 4. HDFS的数据压缩算法? ###

已详细总结过，请参考：[Hadoop之Hadoop数据压缩][Hadoop_Hadoop]

--------------------

### 5. Hadoop的调度器总结 ###

已详细总结过，请参考：[Hadoop之资源调度器与任务推测执行][Hadoop]

--------------------

### 6. MapReduce 2.0 容错性 ###

1.  MRAppMaster容错性  
    一旦运行失败，由YARN的ResourceManager负责重新启动，最多重启次数可由用户设置，默认是2次。一旦超过最高重启次数，则作业运行失败。
2.  Map Task/Reduce Task  
    Task周期性向MRAppMaster汇报心跳；一旦Task 挂掉，则MRAppMaster将为之重新申请资源，并运行之。最多重新运行次数可由用户设置，默认4 次。

--------------------

### 7. mapreduce推测执行算法及原理 ###

已详细总结过，请参考：[Hadoop之资源调度器与任务推测执行][Hadoop]

[Hadoop_Yarn]: https://blog.csdn.net/weixin_41910694/article/details/91466814
[Hadoop_Hadoop]: https://blog.csdn.net/weixin_41910694/article/details/91400225
[Hadoop]: https://blog.csdn.net/weixin_41910694/article/details/91469310