初识MapReduce

àì夳堔傛蜴生んèń 2021-09-27 14:42 263阅读 0赞

### 初识MapReduce ###

*   *  什么是MapReduce
     *  组成部分
     *  主要思想
     *  核心思想
     *  分布式计算的原理
     *   *  归并排序
         *  MapReduce实现思想
         *  Map task shuffle write
         *   *  一 切片
             *  二 打标签
             *  三 buffer in memory
             *  四 合并
         *  Reduce task shuffle read
         *   *  五 reduce读取数据
             *  六 排序的作用
         *  计算案例wordcount大体流程

## 什么是MapReduce ##

Hadoop MapReduce is a software framework for easily writing applications 
    which process vast amounts of data (multi-terabyte data-sets <TB级别的数据>) 
    in-parallel on large clusters<大集群> (thousands of nodes) of commodity
    hardware in a reliable<可靠的>,fault-tolerant<高容错性> manner.

## 组成部分 ##

- Map端
    	- 读懂数据
    	- 映射为KV模型
    	- 并行分布式
    	- 计算向数据移动
    - Reduce端
    	- Reduce中可以包含不同的key
    	- 相同的key汇聚到一个Reduce中，相同的key调用一次reduce方法

## 主要思想 ##

分久必合

## 核心思想 ##

"相同"的key为一组，调用一次reduce方法，方法内迭代这一组数据进行计算。

## 分布式计算的原理 ##

### 归并排序 ###

在介绍分布式计算之前，首先需要了解归并排序的思想。我在这里做一个简单的图解，图片来源 [dreamcatcher-cx][]  
![归并思想分而治之][70]  
我拿上图左边"治"的例子来个演示，4，8；5，7；

1.  首先4与5比，4<5，把4提出来；
2.  其次让5与8比，5<8,接着把5放到4的后面；
3.  接着8再与7比较，8>7,所以把7提出来放到5的后面
4.  以此类推···

### MapReduce实现思想 ###

![分布式计算的原理][70 1]

### Map task shuffle write ###

#### 一 切片 ####

*  假设我们的数据存储在HDFS上，HDFS block块按照字节来切割，再存储时极有可能会中文乱码问题(UTF-8下一个中文用3个字节来存储，一个中文可能正好被block拆开存储)；
 *  MR计算之前会将HDFS的文件划分为切片\*\*(split)\*\*，为了防止出现乱码问题，所以split的大小往往比block大几KB或小几KB(为了读取完整的中文字符)；

#### 二 打标签 ####

*  map task将处理后的每一条记录打上标签
    
     *  打标签：也称为分区，一个分区数据对应一个reduce task，默认分区器叫HashPartitioner
        
         *  分区的策略：根据**key的HashCode**与**reduce task 的数量** **取模**，保证相同的key放在一个reduce task中处理
     *  打标签的目的就是为了让这一条数据知道将来被哪一个reduce task处理

#### 三 buffer in memory ####

*  每个Map task把输出放到内存缓冲区中 默认大小为**100MB(80+20)**
    
     *  为什么要80+20？数据放在80这块内存中进行排序操作，这时会把这块80内存锁住(如果不锁，新加入的数据影响排序)；这是就有了这块20的内存，用来存储新放入的数据；这样的目的是为了**防止阻塞，可以并行运算**，增加效率。
 *  进入buffer之后的每一条记录是由三部分组成：
    
     *  分区号（偏移量）
     *  key
     *  value  
        map task一条条的往buffer中写，一旦超过80MB(80%的溢写比例)，就封锁这块内存，封锁后就会对内存中的数据进行**combiner**(小聚合1)，combiner可以减少数据量，节省磁盘空间和网络IO。
 *  在combiner后需要进行一次**排序**(1)，根据分区号和key来实现排序,如果分区号相同 就比较 key值。
    
     *  这里需要注意key可以是任何数据类型，可以是int、String等这些数据类型都有默认的排序方式，也就是实现了Comparable接口的compare方法；如果key是自己写的类，务必要实现Comparable接口和compare方法。
     *  **排序的作用是**：将相同分区的数据放在一起，并且分区内的数据是有序的。
 *  以上combiner以及排序完成后就开始一些数据到磁盘上，此时的磁盘文件就是一个根据*分区号分好区的*，并且*内部有序的*文件
 *  如果没有进行任何一次溢写就会产生一个磁盘小文件。

#### 四 合并 ####

*  map task计算完毕后，会将磁盘上的小文件合并成一个大文件，在这里又一次用到了**排序**(2),这里使用的是归并排序，将一个个小文件合并成一个**有序的大文件**。
    
     *  这里的小文件也是经过排序的所以这次排序效率较高。
 *  每一个map task都会经过刚才所说所有一切，也就是每一个map task都会产生一个*有分区*的并且分区*内部有序*的大文件。

### Reduce task shuffle read ###

#### 五 reduce读取数据 ####

*  reduce从map端读取相应的分区数据，将分区数据写入到内存中，内存默认1024\*0.7MB，如果内存满了就会发生溢写，溢写之前会进行**combiner**(2)和**排序**(3)。
 *  当把所有的数据读取过来后，会将溢写产生的磁盘小文件文件合并，这里会最后一次**排序**(4)，最终合并成一个有序的大文件。
 *  为什么产生一个有序的大文件？
    
     *  就是为了提高分组的效率（根据key分组）

#### 六 排序的作用 ####

*  总共出现了四次排序
 *  四次排序都简化了下一次的排序，最终是为了提高分组的效率。

### 计算案例wordcount大体流程 ###

![在这里插入图片描述][70 2]

[dreamcatcher-cx]: https://www.cnblogs.com/chengxiao/p/6194356.html
[70]: /images/20210923/1799d047426b4df6bc237dd400618f3f.png
[70 1]: /images/20210923/3af6dbb532cb4e6ab75077101fac6a7e.png
[70 2]: /images/20210923/f343ba6ee4a04243a98fd9cd6bba7046.png