轻松入门大数据第2章零基础：极速入门大数据基石框架Hadoop 2.1 初识Hadoop 2.1.3 Hadoop核心组件之HDFS & 2.1.4 MapReduce & 2.1.5 YARN

约定不等于承诺〃 2024-03-22 12:50 48阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第2章 零基础：极速入门大数据基石框架Hadoop
         *   *  2.1 初识Hadoop
             *   *  2.1.3 Hadoop核心组件之HDFS
                 *  2.1.4 Hadoop核心组件之MapReduce
                 *  2.1.5 Hadoop核心组件之YARN

![在这里插入图片描述][6b01d8531ba0408fb773485cd0c78fb5.png_pic_center]

#### 第2章 零基础：极速入门大数据基石框架Hadoop ####

##### 2.1 初识Hadoop #####

> 1.  Hadoop概述
> 2.  Hadoop三大核心组件
> 3.  大数据生态圈
> 4.  Hadoop发行版

###### 2.1.3 Hadoop核心组件之HDFS ######

*  源自于Google的GFS论文
    
    > Google的三大论文
    > 
    >  *  GFS： Google File System
    >  *  MapReduce：MapReduce
    >  *  BigTable： HBase
 *  Hadoop Distribute File System【Hadoop分布式**存储**文件系统】

![在这里插入图片描述][169644478cb2482880734da6c2e66f27.png_pic_center]

![在这里插入图片描述][bf3850586c3d4c91ad1b5e01d8f5a0cd.png_pic_center]

> 今天是2023年4月29日，Hadoop官方文档最新版本3.3.5

文档结构：

*  General
 *  Common
 *  HDFS
 *  MapReduce
 *  MapReduce REST APIs
 *  YARN

[https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html][https_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-hdfs_HdfsDesign.html]

Hadoop 分布式文件系统 (HDFS) 是一种分布式文件系统，旨在在商用硬件上运行。它与现有的分布式文件系统有很多相似之处。然而，与其他分布式文件系统的区别是显着的。HDFS 具有高度容错性，旨在部署在低成本硬件上。HDFS 提供对应用程序数据的高吞吐量访问，适用于具有大型数据集的应用程序。HDFS 放宽了一些 POSIX 要求以启用对文件系统数据的流式访问。HDFS 最初是作为 Apache Nutch 网络搜索引擎项目的基础设施构建的。HDFS 是 Apache Hadoop Core 项目的一部分。

主要就是用于数据的存储的。

![在这里插入图片描述][8bc3abea7b9748e8a47d53906046df60.png_pic_center]

###### 2.1.4 Hadoop核心组件之MapReduce ######

*  源自于Google的MapReduce 论文

> HDFS 是分布式**存储**框架， MapReduce 是分布式**计算**框架

[https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html][https_hadoop.apache.org_docs_stable_hadoop-mapreduce-client_hadoop-mapreduce-client-core_MapReduceTutorial.html]

Hadoop MapReduce 是一种软件框架，用于轻松编写应用程序，以可靠、容错的方式在商用硬件的大型集群（数千个节点）上并行处理大量数据（数 TB 数据集）。

MapReduce作业通常将输入数据集拆分为独立的块，这些块由map 任务以完全并行的方式处理。该框架对映射的输出进行排序，然后输入到reduce 任务。通常，作业的输入和输出都存储在文件系统中。该框架负责调度任务、监控它们并重新执行失败的任务。

通常计算节点和存储节点是相同的，即 MapReduce 框架和 Hadoop 分布式文件系统（参见HDFS 架构指南）运行在同一组节点上。此配置允许框架在已存在数据的节点上有效地安排任务，从而在整个集群中产生非常高的聚合带宽。

MapReduce 框架由单个 master 、每个集群节点和每个应用程序ResourceManager一个 worker组成（请参阅YARN 架构指南）。NodeManagerMRAppMaster

至少，应用程序通过适当的接口和/或抽象类的实现指定输入/输出位置和供应映射和减少功能。这些和其他作业参数构成了作业配置。

Hadoop作业客户端然后提交作业（jar/可执行文件等）和配置，然后ResourceManager承担将软件/配置分发给工作人员、调度任务和监视它们、向作业客户端提供状态和诊断信息的责任.

虽然 Hadoop 框架是用 Java™ 实现的，但 MapReduce 应用程序不需要用 Java 编写。

![在这里插入图片描述][cdd5cf28cca94e8e8033e317d454f1b4.png_pic_center]

###### 2.1.5 Hadoop核心组件之YARN ######

Yet Another Resource Negotiator【另一个资源管理者】

[https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html][https_hadoop.apache.org_docs_stable_hadoop-yarn_hadoop-yarn-site_YARN.html]

YARN 的基本思想是将资源管理和作业调度/监控的功能拆分为单独的守护进程。这个想法是拥有一个全局 ResourceManager ( RM ) 和每个应用程序 ApplicationMaster ( AM )。应用程序可以是单个作业，也可以是作业的 DAG。

ResourceManager 和 NodeManager 构成了数据计算框架。ResourceManager 是在系统中所有应用程序之间仲裁资源的最终权威。NodeManager 是每台机器的框架代理，负责容器、监控它们的资源使用情况（cpu、内存、磁盘、网络）并将其报告给 ResourceManager/Scheduler。

每个应用程序的 ApplicationMaster 实际上是一个特定于框架的库，其任务是从 ResourceManager 协商资源并与 NodeManager(s) 一起执行和监视任务。

![在这里插入图片描述][6d5852c543d64dd0bc4570b60424062b.png_pic_center]

[6b01d8531ba0408fb773485cd0c78fb5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/877894fcbbec42c79b18d137fbb01347.png
[169644478cb2482880734da6c2e66f27.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/fcebe1b7e2a745769f630a19c81c1336.png
[bf3850586c3d4c91ad1b5e01d8f5a0cd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/bbdb4017a89f45d2a0a4f7830d469ef4.png
[https_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-hdfs_HdfsDesign.html]: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html
[8bc3abea7b9748e8a47d53906046df60.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/fe6552b4d62640f0a5dbca2cc20d3711.png
[https_hadoop.apache.org_docs_stable_hadoop-mapreduce-client_hadoop-mapreduce-client-core_MapReduceTutorial.html]: https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html
[cdd5cf28cca94e8e8033e317d454f1b4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/cd14a4f5e5c7468781f6b6d8e98b9298.png
[https_hadoop.apache.org_docs_stable_hadoop-yarn_hadoop-yarn-site_YARN.html]: https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html
[6d5852c543d64dd0bc4570b60424062b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/50b755ed14d4474994d1f1a161af190b.png