Hive-全局排序、内部排序、分区、分区排序

清疚 2023-03-04 09:04 4阅读 0赞

## 排序 ##

### 文章目录 ###

*   *  排序
     *   *  全局排序（Order By）
         *  每个Reduce内部排序（Sort By）
         *  分区（Distribute By）
         *  分区排序（Cluster By）

### 全局排序（Order By） ###

Order By：全局排序，只有一个Reducer

**1）使用 ORDER BY 子句排序**

ASC（ascend）: 升序（默认）

DESC（descend）: 降序

（1）查询员工信息按工资升序排列

hive (default)> select * from emp order by sal;

（2）查询员工信息按工资降序排列

hive (default)> select * from emp order by sal desc;

（3）按照别名排序，按照员工薪水的2倍排序

hive (default)> select ename, sal*2 twosal from emp order by twosal;

（4）多个列排序，按照部门和工资升序排序

hive (default)> select ename, deptno, sal from emp order by deptno, sal;

### 每个Reduce内部排序（Sort By） ###

Sort By：对于大规模的数据集order by的效率非常低。在很多情况下，并不需要全局排序，此时可以使用**sort by**。

sort by为每个reducer产生一个排序文件。每个Reducer内部进行排序，对全局结果集来说不是排序。

**1）设置reduce个数（如果reduce为1个，效果与Order by一样）**

hive (default)> set mapreduce.job.reduces=3;

**2）查看设置reduce个数（默认值是-1，由hive自动设置分区）**

hive (default)> set mapreduce.job.reduces;

**3）根据部门编号降序查看员工信息**

hive (default)> select * from emp sort by deptno desc;

### 分区（Distribute By） ###

Distribute By： 在有些情况下，我们需要控制某个特定行应该到哪个reducer，通常是为了进行后续的聚集操作。  
**distribute by** 子句可以做这件事。distribute by 类似MR中partition（自定义分区），进行分区，通常结合sort by使用。

**1）案例实操：**

（1）先按照部门编号分区，再按照员工编号降序排序。

hive (default)> set mapreduce.job.reduces=3;
    
    hive (default)> insert overwrite local directory 
    	'/opt/module/hive/datas/distribute-result' 
    	select * from emp distribute by deptno sort by sal desc;

注意：

*  distribute by的分区规则是根据分区字段的hash码与reduce的个数进行模除后，余数相同的分到一个区。
 *  Hive要求DISTRIBUTE BY语句要写在SORT BY语句之前。

### 分区排序（Cluster By） ###

要求分区的字段 和 排序的字段是同一个  
当distribute by和sort by字段相同时，可以使用cluster by方式。

cluster by除了具有distribute by的功能外还兼具sort by的功能。但是排序只能是升序排序，不能指定排序规则为ASC或者DESC。

（1）以下两种写法等价

select * from emp cluster by deptno;
    select * from emp distribute by deptno sort by deptno;

发表评论取消回复

表情：

评论列表（有 0 条评论，4人围观）

还没有评论，来说两句吧...

相关阅读

相关 MapReduce实现自定义分区与排序

分区数据排序 Hadoop中默认的numReduceTask数量为1，也就是说所有数据将来都会被输出为一个分区。如果想根据自定义的业务逻辑实现分区，则需要继承Partit

ゝ一世哀愁。/ 2023年10月11日 21:30/ 0 赞/ 45 阅读

相关 Hive-全局排序、内部排序、分区、分区排序

排序文章目录排序全局排序（Order By）每个Reduce内部排序（Sort By）

清疚/ 2023年03月04日 09:04/ 0 赞/ 5 阅读

相关内部排序

参考资料：[http://www.cnblogs.com/easonliu/archive/2012/10/19/2731358.html][http_www.cnblogs.

分手后的思念是犯贱/ 2022年08月26日 03:52/ 0 赞/ 127 阅读

相关内部排序

几种内部排序的实现 void SelectSort(int a,int n) { for (int i = 0; i < n - 1; i++)

蔚落/ 2022年08月04日 09:26/ 0 赞/ 146 阅读

相关内部排序—基数排序

基数排序的思想是设立r个队列，队列编号分别为0、1、2、…r-1。首先按最低有效位的值把n个关键字分配到这r个队列中；然后从小到大将各队列中的关键字依次收集起来；接着按次低有效

柔情只为你懂/ 2022年06月14日 04:46/ 0 赞/ 197 阅读

相关内部排序—归并排序

所谓“归并”，是将两个或两个以上的有序文件合并成一个新的有序文件。归并排序是把一个有n个记录的无序文件看成是有n个长度为1的有序子文件组成的文件，然后进行两两归并，得到

我会带着你远行/ 2022年06月14日 04:43/ 0 赞/ 200 阅读

相关内部排序—快速排序

快速排序的基本思想是：通过一趟排序将待排序的记录划分成两个部分，其中一部分记录的关键字均不大于另一部分记录的关键字，然后再分别对这两部分记录继续进行快速排序，以达到整个

浅浅的花香味﹌/ 2022年06月14日 03:48/ 0 赞/ 168 阅读

相关内部排序—冒泡排序

n个记录进行冒泡排序的基本方法是：首先将第一个记录的关键字和第二个记录的关键字进行比较，若为逆序，则交换这2个记录的值，然后比较第二个记录和第三个记录得关键字，以此类推

冷不防/ 2022年06月14日 01:51/ 0 赞/ 146 阅读

相关内部排序—堆排序

堆实际上是一棵完全二叉树，其任何一非叶节点满足性质： Key\[i\]<=key\[2i+1\]&&Key\[i\]<=key\[2i+2\]或者Key\[i\]>=Key\

落日映苍穹つ/ 2022年06月13日 04:51/ 0 赞/ 174 阅读

相关 Hive(十八)--全局排序

不分发数据，使用单个reducer ![复制代码][copycode.gif] set mapred.reduce.tasks=1; select

素颜马尾好姑娘i/ 2022年06月09日 05:21/ 0 赞/ 203 阅读