Hadoop-5.高级应用

超、凢脫俗 2022-03-26 09:39 193阅读 0赞

**目录：**

1.  yarn
    
    1.  介绍
    2.  旧的MapReduce架构和YARN架构对比
    3.  yarn的组件介绍
    4.  YARN基本流程
2.  MapReduce Shuffle介绍
3.  MapReduce自定义数据类型
4.  MapReduce集群搭建
5.  主流的HADOOP发行版本
6.  怎么将各个集群状态进行可视化？比如hdfs、mapreduce、kafka等等

### 需求：   ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70][] ###

### 一.yarn介绍 ###

**1.yarn介绍：**[https://www.ibm.com/developerworks/cn/data/library/bd-yarn-intro/][https_www.ibm.com_developerworks_cn_data_library_bd-yarn-intro]

*  yarn是Hadoop2.0中的资源管理系统，它是一个通用的资源管理模块，可为各类应用程序进行资源管理和调度。
 *  yarn是轻量级弹性计算平台，除了MapReduce框架，还可以支持其他框架，比如Spark、Storm等。
 *  多种框架统一管理，共享集群资源：资源利用率高、运营成本低、数据共享方便。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1][]

**2.旧的MapReduce架构和YARN架构对比**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 3][]

** 3.yarn的组件介绍**

1.  **ResourceManager:** 全局资源管理和任务调度
    
    1.  资源管理
        
        1.  以前资源是每个节点分成一个个的Map slot和Reduce slot，现在是一个个Container，每个Container可以根据需要运行ApplicationMaster、Map、Reduce或者任意的程序
        2.  以前的资源分配是静态的，目前是动态的，资源利用率更高
        3.  Container是资源申请的单位，一个资源申请格式：<resource-name, priority, resource-requirement, number-of-containers>, resource-name：主机名、机架名或\*（代表任意机器）, resource-requirement：目前只支持CPU和内存
        4.  用户提交作业到ResourceManager，然后在某个NodeManager上分配一个Container来运行ApplicationMaster，ApplicationMaster再根据自身程序需要向ResourceManager申请资源
        5.  YARN有一套Container的生命周期管理机制，而ApplicationMaster和其Container之间的管理是应用程序自己定义的
    2.  任务调度
        
        1.  只关注资源的使用情况，根据需求合理分配资源
        2.  Scheluer可以根据申请的需要，在特定的机器上申请特定的资源（ApplicationMaster负责申请资源时的数据本地化的考虑，ResourceManager将尽量满足其申请需求，在指定的机器上分配Container，从而减少数据移动）
    3.  内部结构
2.  **NodeManager:** 单个节点的资源管理和监控
    
    1.  启动时向ResourceManager注册并定时发送心跳消息，等待ResourceManager的指令
    2.  监控Container的运行，维护Container的生命周期，监控Container的资源使用情况
    3.  启动或停止Container，管理任务运行时的依赖包（根据ApplicationMaster的需要，启动Container之前将需要的程序及其依赖包、配置文件等拷贝到本地）
3.  **ApplicationMaster:** 单个作业的资源管理和任务监控
    
    1.  具体功能描述：
        
        1.  计算应用的资源需求，资源可以是静态或动态计算的，静态的一般是Client申请时就指定了，动态则需要ApplicationMaster根据应用的运行状态来决定
        2.  根据数据来申请对应位置的资源（Data Locality）
        3.  向ResourceManager申请资源，与NodeManager交互进行程序的运行和监控，监控申请的资源的使用情况，监控作业进度
        4.  跟踪任务状态和进度，定时向ResourceManager发送心跳消息，报告资源的使用情况和应用的进度信息
        5.  负责本作业内的任务的容错
    2.  如何计算资源需求  
        一般的MapReduce是根据block数量来定Map和Reduce的计算数量，然后一般的Map或Reduce就占用一个Container
    3.  如何发现数据的本地化  
        数据本地化是通过HDFS的block分片信息获取的
4.  **Container:** 资源申请的单位和任务运行的容器
    
    1.  基本的资源单位（CPU、内存等）
    2.  Container可以加载任意程序，而且不限于Java
    3.  一个Node可以包含多个Container，也可以是一个大的Container
    4.  ApplicationMaster可以根据需要，动态申请和释放Container
5.  **Failover**
    
    1.  失败类型
        
        1.  程序问题
        2.  进程崩溃
        3.  硬件问题
    2.  失败处理

**4.YARN基本流程**

![yarn-process][]

**Yarn执行任务的流程：**

1.  用户提交作业到ResourceManager，ResourceManager在某个NodeManager上分配一个Container来运行ApplicationMaster。
2.  ApplicationMaster向ResourceManager注册，包含二者之间的握手信息、AM侦听端口，及后续进行AM管理和监控RUL。RM接受AM注册信息，并反馈响应给AM，包含集群资源信息。
3.  AM向RM发起资源分配请求，包含需要使用的Container个数，同时附带归属于本AM的Container信息。
4.  AM向RM获取资源分配进度信息，并保持与RM之间的心跳。
5.  RM根据资源调度策略，分配容器资源给AM。
6.  AM根据RM反馈信息，指示对应NM完成Container的拉起。一个NM上可以启动多个Container。
7.  在Contanier运行过程中，AM向NM获取Container的运行状态报告。NM将Container的运行状态信息反馈给AM.

## ##

### 二.MapReduce Shuffle介绍 ###

关于Map和Reduce之间的数据传输过程，MapReduce的核心Shuffle

**1.MapReduce基本流程**

MapReduce主要是先读取文件数据，然后进行Map处理，接着Reduce处理，最后把处理结果写到文件中

![format_png][]

**文字解析：**

1.  input输入的数据可能就是一堆文本
2.  mapper会解析每行数据，然后提取有效的数据，作为输出。
3.  map的输出就是一条一条的key-value
4.  通过shuffle之后，变成reduce的输入，这是相同的key对应的value被组合成了一个迭代器
5.  reduce的任务就是提取

![2019082318472863.png][]

**2.核心Shuffle的详细流程**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 4][]

**宏观上MapReduce可以分为以下三个阶段,如下图1所示。  
阶段1：首先是Mapper端的执行逻辑：input/map/partition/sort/spill**

1.  将key/value/Partition写入到内存缓冲区中
2.  当缓冲区使用量达到一定阀值，将其spill到disk上，spill前，需要进行排序
3.  排序时先按照Partition进行排序，再按照key进行排序，默认排序算法是快速排序。
4.  注意： 在内存中进行排序时，数据本身不用移动，仅对索引排序即可

![format_png 1][]

**阶段2：Map端的归并实现：mapper端merge**

1.  对生成的多个spill文件，进行归并排序
2.  最终归并成一个大文件
3.  注意：  
    1. 由于每一个spill文件都是按分区和key排序好的，所以归并完的文件也是按分区和key排序好的。  
    2.在进行归并的时候，不是一次性的把所有的spill文件归并成一个大文件。而是部分spill文件归并成中间文件，然后中间文件和剩下的spill文件再进行归并。

![format_png 2][]

**阶段3：reducer端merge/reduce/output**

1.  当有新的MapTask事件完成时，拷贝线程从指定的机器上面拷贝数据
2.  当数据拷贝的时候，分两种情况，当数据量小的时候就会写入内存当中，当数据量大的时候就会写入硬盘当中
3.  来自不同的机器的多个数据文件，需要归并成一个文件.在拷贝文件过程中会进行文件归并操作.

![format_png 3][]

### 三.MapReduce自定义数据类型 ###

1.  自定义数据类型的原因
2.  自定义数据类型的方法

参考：  
[https://blog.csdn.net/weixin\_42744795/article/details/82961516][https_blog.csdn.net_weixin_42744795_article_details_82961516]  
[https://www.cnblogs.com/nele/p/5178089.html][https_www.cnblogs.com_nele_p_5178089.html]  
[https://blog.csdn.net/hemin1003/article/details/73849685][https_blog.csdn.net_hemin1003_article_details_73849685]

## ##

### 四.MapReduce本地化运行，在windows中的eclipse中运行 ###

可参考：  
[配置hadoop本地windows运行MapReduce程序环境][hadoop_windows_MapReduce]  
[https://www.cnblogs.com/wxplmm/p/7253934.html?utm\_source=itdadao&utm\_medium=referral][https_www.cnblogs.com_wxplmm_p_7253934.html_utm_source_itdadao_utm_medium_referral]

## ##

### 五.MapReduce搭建集群 ###

![20190124174634846.png][]

## ##

### 六.主流的HADOOP发行版本 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 5][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70]: /images/20220326/9aac9ac1bd854c8ab18fe7b63c113914.png
[https_www.ibm.com_developerworks_cn_data_library_bd-yarn-intro]: https://www.ibm.com/developerworks/cn/data/library/bd-yarn-intro/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1]: /images/20220326/7ac433d398b649d6a7cccd370a6d4b86.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2]: /images/20220326/003f474c35c44b1b8b90a8baf4d64ea5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 3]: /images/20220326/aa6d10fae8d84f7ca421a0a6231b69be.png
[yarn-process]: /images/20220326/819dc083d894461491716b4f73cd01b8.png
[format_png]: /images/20220326/4882c7e420614651b7d4746cb651e7b3.png
[2019082318472863.png]: /images/20220326/267255e5bd0042a69b61e0657d3abfef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 4]: /images/20220326/7faeabcd41324d0fa564c25012fbacbc.png
[format_png 1]: /images/20220326/df4f55ac53674fb89a9f3211250d61f4.png
[format_png 2]: /images/20220326/c05cab39cb9b4476bc7f9837badd1cf1.png
[format_png 3]: /images/20220326/effe61b7ce7c4acf8a13b0324d64989c.png
[https_blog.csdn.net_weixin_42744795_article_details_82961516]: https://blog.csdn.net/weixin_42744795/article/details/82961516
[https_www.cnblogs.com_nele_p_5178089.html]: https://www.cnblogs.com/nele/p/5178089.html
[https_blog.csdn.net_hemin1003_article_details_73849685]: https://blog.csdn.net/hemin1003/article/details/73849685
[hadoop_windows_MapReduce]: https://www.cnblogs.com/tq03/p/5101916.html
[https_www.cnblogs.com_wxplmm_p_7253934.html_utm_source_itdadao_utm_medium_referral]: https://www.cnblogs.com/wxplmm/p/7253934.html?utm_source=itdadao&utm_medium=referral
[20190124174634846.png]: /images/20220326/016aa4d87f404592b714a699f56616c4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 5]: /images/20220326/07c27bcd702a43bc9f525cf37ecf55d3.png