干货丨MapReduce的工作流程是怎样的？

朱雀 2023-10-10 14:19 135阅读 0赞

MapReduce编程模型开发简单且功能强大，专门为并行处理大规模数据量而设计，接下来，我们通过一张图来描述MapReduce的工作过程，如下图所示。

![acaf5a6157ea584b69e68d184d3eb2fa.png][]

在图中，MapReduce的工作流程大致可以分为5步，具体如下：

**1．分片、格式化数据源**

**输入Map阶段的数据源，必须经过分片和格式化操作。**

**分片操作：**指的是将源文件划分为大小相等的小数据块（Hadoop2.x中默认128M），也就是分片(split)，Hadoop会为每一个分片构建一个Map任务，并由该任务运行自定义的map()函数，从而处理分片里的每一条记录；

**格式化操作：**将划分好的分片（split）格式化为键值对<key，value>形式的数据，其中，key代表偏移量，value代表每一行内容。

**2．执行MapTask**

每个Map任务都有一个内存缓冲区（缓冲区大小100M），输入的分片（split）数据经过Map任务处理后的中间结果，会写入内存缓冲区中。**如果写入的数据达到内存缓冲的阀值（80M），**会启动一个线程将内存中的溢出数据写入磁盘，同时不影响map中间结果继续写入缓冲区。

在溢写过程中，MapReduce框架会对Key进行排序，如果中间结果比较大，会形成多个溢写文件，**最后的缓冲区数据也会全部溢写入磁盘形成一个溢写文件**，如果是多个溢写文件，则最后合并所有的溢写文件为一个文件。

**3．执行Shuffle过程**

MapReduce工作过程中，map阶段处理的数据如何传递给Reduce阶段，**这是MapReduce框架中关键的一个过程，这个过程叫做Shuffle。**

Shuffle会将MapTask输出的处理结果数据，分发给ReduceTask，并在分发的过程中，对数据按key进行分区和排序。

**4．执行ReduceTask**

输入ReduceTask的数据流是<key，\{value list\}>形式，用户可以自定义reduce()方法进行逻辑处理，最终以<key，value>的形式输出。

**5．写入文件**

MapReduce框架会自动把ReduceTask生成的<key,value>传入OutputFormat的write方法，实现文件的写入操作。

[acaf5a6157ea584b69e68d184d3eb2fa.png]: https://img-blog.csdnimg.cn/img_convert/acaf5a6157ea584b69e68d184d3eb2fa.png

发表评论取消回复

表情：

评论列表（有 0 条评论，135人围观）

还没有评论，来说两句吧...

相关阅读

相关请描述一下MapReduce的工作流程。

请描述一下MapReduce的工作流程。 MapReduce是一种用于处理大规模数据集的编程模型和计算框架。它将数据处理过程分为两个主要阶段：Map阶段和Reduce阶段

Dear 丶/ 2024年03月08日 02:30/ 0 赞/ 91 阅读

相关 RocketMQ的核心组件有哪些？工作流程是怎样？

RocketMQ 的核心组件包括以下部分： 1. Name Server（名称服务器）：用于管理和维护 RocketMQ 集群的元数据信息，包括 Topic、Broker、

Dear 丶/ 2024年02月19日 07:45/ 0 赞/ 58 阅读

相关 Kafka的核心组件有哪些？工作流程是怎样的？

Kafka 的核心组件包括以下部分： 1. Producer（生产者）：负责将消息发布到 Kafka 集群的特定主题（Topic）中。 2. Consumer（消费者）：

落日映苍穹つ/ 2024年02月19日 07:41/ 0 赞/ 28 阅读

相关干货丨MapReduce的工作流程是怎样的？

MapReduce编程模型开发简单且功能强大，专门为并行处理大规模数据量而设计，接下来，我们通过一张图来描述MapReduce的工作过程，如下图所示。 ![acaf5a615

朱雀/ 2023年10月10日 14:19/ 0 赞/ 136 阅读

相关 mapreduce的工作流程

MapReduce 就是将输入进行分片，交给不同的 Map 任务进行处理，然后由 Reduce 任务合并成最终的解。 MapReduce 的实际处理过程可以分解为 Input

墨蓝/ 2023年02月18日 08:29/ 0 赞/ 22 阅读

相关 YARN的体系结构的工作流程是怎样的？

掌握了YARN的体系结构后，接下来看一下YARN的工作流程，具体如图1所示。 ![31a0c69b8e865f6b012081da9fe51af0.png][]

旧城等待，/ 2022年11月09日 12:57/ 0 赞/ 213 阅读

相关 UI 设计的整个工作流程是怎样的？

作为一个专业UI设计师，不仅仅要了解整个产品在UI界面设计，交互设计中的工作流程，更需要了解整个产品从需求提出到产品上线的整个工作流程。以下是互联网产品个部门的工作分配及流

淡淡的烟草味﹌/ 2022年10月01日 07:44/ 0 赞/ 185 阅读

相关干货丨Mybatis的核心组件是什么？

![d11b1fdf427c56770a7a5e0626992f4b.gif][] MyBatis是一个基于Java的持久层框架，所谓的持久层框架就是专门用来将数据进行持久化

小灰灰/ 2022年09月09日 11:57/ 0 赞/ 260 阅读

相关 Mapreduce基本工作流程

MapReduce分布式计算框架基本流程： 1，大数据经split划分成大小相等的数据块（数据块的大小一般等于HDFS一个块的大小）以及用户作业程序。 2，系统中

Love The Way You Lie/ 2022年06月08日 14:18/ 0 赞/ 202 阅读

相关 Hadoop之MapReduce工作流程

Hadoop之MapReduce工作流程 -------------------- 目录 1. 流程示意图 2. 流程详解 3. 注意 ---------

谁践踏了优雅/ 2022年01月21日 12:11/ 0 赞/ 462 阅读