轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.6 词频统计数据流图解

红太狼 2024-03-22 18:32 42阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.6 词频统计数据流图解

![在这里插入图片描述][1cd3470f7a21477aa29e7eeb1092275b.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.6 词频统计数据流图解 ######

![在这里插入图片描述][eeda437e99e84bc7a0c8edea74131928.png_pic_center]

先分再合。

Shuffling 是底层机制实现的，我们写的代码体现不出来。

[1cd3470f7a21477aa29e7eeb1092275b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/a00d5c3afcb94e1e90ffe9987c3aee83.png
[eeda437e99e84bc7a0c8edea74131928.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/9874910085f047498ac35b32ee3bae09.png