轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.49 场景题之groupby需求分析

客官°小女子只卖身不卖艺 2024-03-17 09:14 10阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.49 场景题之groupby需求分析

![在这里插入图片描述][670eaf964542416ea00266e0ee123e2c.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.49 场景题之groupby需求分析 ######

【使用MR 完成重要场景】

【1】group by

SQL：`select deptno, count(1) cnt from emp group by deptno;`

面试的时候肯定不是简单的写个SQL 就行了，那就真成SQLBoy 了

我们使用MR 来实现这条语句

下面有一份数据`emp.txt`

7369	SMITH	CLERK	7902	1980-12-17	800.00		20
    7499	ALLEN	SALESMAN	7698	1981-2-20	1600.00	300.00	30
    7521	WARD	SALESMAN	7698	1981-2-22	1250.00	500.00	30
    7566	JONES	MANAGER	7839	1981-4-2	2975.00		20
    7654	MARTIN	SALESMAN	7698	1981-9-28	1250.00	1400.00	30
    7698	BLAKE	MANAGER	7839	1981-5-1	2850.00		30
    7782	CLARK	MANAGER	7839	1981-6-9	2450.00		10
    7788	SCOTT	ANALYST	7566	1987-4-19	3000.00		20
    7839	KING	PRESIDENT		1981-11-17	5000.00		10
    7844	TURNER	SALESMAN	7698	1981-9-8	1500.00	0.00	30
    7876	ADAMS	CLERK	7788	1987-5-23	1100.00		20
    7900	JAMES	CLERK	7698	1981-12-3	950.00		30
    7902	FORD	ANALYST	7566	1981-12-3	3000.00		20
    7934	MILLER	CLERK	7782	1982-1-23	1300.00		10

员工信息

![在这里插入图片描述][0d08d751fd974926b25736eee55588aa.png_pic_center]

最后一列是部门编号，求每个部门有多少个人，所以就是根据最后一列来分组就行了

【分析Mapper 和 Reducer 的输入输出】

Mapper:  
读取数据，按照分隔符拆分，取出deptno字段

<deptno, 1>

<IntWritable, IntWritable>

Reducer:  
相同的deptno都会分到一个组

<deptno, <1,1,1,1…>>

<IntWritable, IntWritable>

是不是WC的变种？ yes

OK，接下去代码实现。

[670eaf964542416ea00266e0ee123e2c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/7a8a518a542a45f88db337ecf8bf2d03.png
[0d08d751fd974926b25736eee55588aa.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/f179aed9f5c84287868fa80655215f92.png