二次学习（节外生枝篇）一、初探Hadoop（2）

本是古典何须时尚 2022-10-02 05:44 76阅读 0赞

在上一篇文章中，我们谈到了MapReduce计算模型的基本原理。这个基本原理非常简单，就是map和reduce两个函数，处理一组键值对，并生成一组键值对。map和reduce分别包含了映射和化简（合并）这样两个思想。

MapReduce的计算思想来自于谷歌的两位工程师对于日常工作内容的思考。他们的工作对象是海量的原始数据，例如，从互联网上抓取的文档，服务器上的日志，而要做的计算，是对这些原始数据进行降序索引，文档中图形结构的展示，文档数量统计等。这些计算本身都很简单。问题在于，由于数据量太大，需要计算机集群进行分布式处理。而在进行分布式处理的过程中，需要考虑并行计算、分布策略、负载均衡和容错的问题。很显然，如果没有一个明确的、简单的计算思想，要解决这些问题是比较复杂的（最直接的，就是计算代码将变得异常复杂）。于是，这两位工程师想到了Map和Reduce。

什么是Map呢？Map就是从输入数据中读取“records”的集合，然后执行任何需要的操作，并且以（key，value）的形式输出records的集合。例如，读取“hello hadoop goodbye hadoop”，执行一个操作，以（key，value）的形式输出为hello：1 hadoop：1 goodbye：1 hadoop：1。注意，此时还没有进行Reduce（化简/合并）。

我们稍微提一下另一个函数，split。这个函数并没有包含在MapReduce计算模型的基本抽象中。我在网上看到对split函数的两种解释。

一种说法是，在Map前还可能会对输入的数据有Split（分割）的过程，保证任务并行效率。

http://www.infoq.com/cn/articles/hadoop-intro

另一种说法是，当map程序产生输出记录，"split"函数对每一个输出的记录的key应用一个函数，将records分割为M个不连续的块(buckets)。这个 split函数有可能是一个hash函数，而其他确定的函数也是可用的。当一个块被写满后，将被写道磁盘上。然后map程序终止，输出M个文件，每一个代表一个块(bucket)。

http://www.pgsqldb.org/mwiki/index.php/MapReduce:\_%E4%B8%80%E4%B8%AA%E5%B7%A8%E5%A4%A7%E7%9A%84%E5%80%92%E9%80%80

我觉得前一种说法是正确的。在这里我还有个提醒，Map函数处理的数据，是一些由独立元素组成的概念上的列表。每个元素都是被独立操作的，而原始列表没有被更改。

什么是Reduce呢？Reduce就是对Map的输出结果进行适当的合并。例如，经过适当的合并后，我们得到hello：1 hadoop：2 goodbye：1。这里的合并只是一个例子，其实Reduce可以做任意形式的合并，根据你的需要。

值得注意的是，Reduce的并行处理性没有Map那么好，但由于Reduce后的结果比Map的要简单，大规模计算相对独立，所以问题也不大。

在Map之后，Reduce之前，Hadoop还有一个Shuffle（混合）的过程，据说这可以提高Reduce的效率以及减小数据传输的压力。这部分还没有了解，留待以后再说。

仅仅有Map和Reduce两个函数，还远远不能解决分布处理的需要，所以，必须有个框架来帮助用户。这个框架将体现MapReduce计算模型的执行过程，以及解决分布处理中的一些关注点，例如，并行计算，容错，可靠性等。这个我们下次再谈。

转载于:https://blog.51cto.com/nijian/314965