order by, sort by, distribute by, cluster by 区别

客官°小女子只卖身不卖艺 2022-09-08 13:50 37阅读 0赞

四种在hive中都有排序和聚集的作用，但它们在执行时所启动的MR却各不相同。

1、order by

Order By：全局排序，只有一个 Reducer。
排序：
ASC（ascend）: 升序（默认）
DESC（descend）: 降序

按照薪资水平对员工升序排列：

  1. hive (default)> select ename,sal from emp order by sal;
  2. ename    sal
  3. SMITH    800.0
  4. JAMES    950.0
  5. ADAMS    1100.0
  6. MARTIN    1250.0
  7. WARD    1250.0
  8. MILLER    1300.0
  9. MILLER    1300.0
  10. TURNER    1500.0
  11. ALLEN    1600.0
  12. CLARK    2450.0
  13. BLAKE    2850.0
  14. JONES    2975.0

2、sort by

Sort By：对于大规模的数据集 order by 的效率非常低。在很多情况下，并不需要全局排序，此时可以使用 sort by。

Sort by 为每个 reducer 产生一个排序文件。每个 Reducer 内部进行排序，对全局结果集来说不是排序。

根据部门编号降序查看员工信息:

  1. --设置 reduce
  2. hive (default)> set mapreduce.job.reduces=3;
  3. --查看设置 reduce个数
  4. hive (default)> set mapreduce.job.reduces;
  6. hive (default)> select ename, deptno  from emp sort by deptno desc;
  8. ename    deptno
  9. MILLER    50
  10. TURNER    30
  11. MARTIN    30
  12. BLAKE    30
  13. SCOTT    20
  14. KING    10
  15. CLARK    10
  16. JAMES    30
  17. WARD    30
  18. ALLEN    30
  19. ADAMS    20
  20. JONES    20
  21. MILLER    10
  22. FORD    20
  23. SMITH    20

三个reducer示意如下：
fa626ea2a414428b870c65b1259f2f2c.png

3、distribute by

Distribute By： 在有些情况下，我们需要控制某个特定行应该到哪个 reducer，通常是为了进行后续的聚集操作。distribute by 子句可以做这件事。distribute by 类似 MR 中 partition（自定义分区），进行分区，结合 sort by 使用。

对于 distribute by 进行测试，一定要分配多 reduce 进行处理，否则无法看到 distribute by 的效果。

先按照部门编号分区，再按照员工编号降序排序：

  1. hive (default)> set mapreduce.job.reduces=4;
  2. hive (default)> select ename, deptno, empno from emp  distribute by deptno sort by empno desc;
  4. ename    deptno    empno
  5. MILLER    10    7934
  6. FORD    20    7902
  7. JAMES    30    7900
  8. ADAMS    20    7876
  9. TURNER    30    7844
  10. KING    10    7839
  11. SCOTT    20    7788
  12. CLARK    10    7782
  13. BLAKE    30    7698
  14. MARTIN    30    7654
  15. JONES    20    7566
  16. WARD    30    7521
  17. ALLEN    30    7499
  18. MILLER    50    7434
  19. SMITH    20    7369

注意：
➢ distribute by 的分区规则是根据分区字段的 hash 码与 reduce 的个数进行模除后，余数相同的分到一个区。
➢ Hive 要求 DISTRIBUTE BY 语句要写在 SORT BY 语句之前。

如下图所示，上述结果按照模为0（20%4 =0）和模为2（10%4=2、30%4=2、50%4=2）两个分区，此外有空的分区（模为1和模为3的）。
watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA5Y2X5rSyLg_size_18_color_FFFFFF_t_70_g_se_x_16

4、cluster by

当 distribute by 和 sorts by 字段相同时，可以使用 cluster by 方式。
cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。但是排序只能是升序排序，不能指定排序规则为 ASC 或者 DESC。

以下两种写法等价:

  1. hive (default)> select * from emp cluster by deptno;
  2. hive (default)> select * from emp distribute by deptno sort by deptno;

其他参考：谈谈hive的order by ，sort by ，distribute by 和 cluster by

发表评论

表情：
评论列表 （有 0 条评论，37人围观）

还没有评论，来说两句吧...

相关阅读