Hive(十七)--排序

你的名字 2022-06-09 05:20 154阅读 0赞

# **order by** #

order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）  
只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。

set [Hive][].mapred.mode=nonstrict; (default value / 默认值)

set [hive][Hive].mapred.mode=strict;

order by 和[数据库][Link 1]中的Order by 功能一致，按照某一项 & 几项 排序输出。

与数据库中 order by 的区别在于在hive.mapred.mode = strict 模式下 必须指定 limit 否则执行会报错。

hive> select \* from test order by id;

FAILED: Error in semantic analysis: 1:28 In strict mode, if ORDER BY is specified, LIMIT must also be specified. Error encountered near token 'id'

原因： 在order by 状态下所有数据会到一台服务器进行reduce操作也即只有一个reduce，如果在数据量大的情况下会出现无法输出结果的情况，如果进行 limit n ，那只有 n \* map number 条记录而已。只有一个reduce也可以处理过来。

# **sort by** #

sort by不是全局排序，其在数据进入reducer前完成排序.

因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1， 则sort by只保证每个reducer的输出有序，不保证全局有序。

sort by 不受 hive.mapred.mode 是否为strict ,nostrict 的影响

sort by 的数据只能保证在同一reduce中的数据可以按指定字段排序。

使用sort by 你可以指定执行的reduce 个数 （set mapred.reduce.tasks=<number>）,对输出的数据再执行归并排序，即可以得到全部结果。

注意：可以用limit子句大大减少数据量。使用limit n后，传输到reduce端（单机）的数据记录数就减少到n\* （map个数）。否则由于数据过大可能出不了结果。

# **distribute by** #

按照指定的字段对数据进行划分到不同的输出reduce / 文件中。

insert overwrite local directory '/home/[Hadoop][]/out' select \* from test order by name distribute by length(name);

此方法会根据name的长度划分到不同的reduce中，最终输出到不同的文件中。

length 是内建函数，也可以指定其他的函数或这使用自定义函数。

# **Cluster By** #

cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。

但是排序只能是倒序排序，不能指定排序规则为asc 或者desc。

[Hive]: http://lib.csdn.net/base/hive
[Link 1]: http://lib.csdn.net/base/mysql
[Hadoop]: http://lib.csdn.net/base/hadoop

发表评论取消回复

表情：

评论列表（有 0 条评论，154人围观）

还没有评论，来说两句吧...

相关阅读

相关【大数据入门核心技术-Hive】（十七）常用hive shell命令汇总

一、hive shell 1、set <key>=<value> eg: set mapred.reduce.tasks=32; 2、set -v 打印所

素颜马尾好姑娘i/ 2024年02月22日 07:10/ 0 赞/ 25 阅读

相关 HIVE之排序

ORDER BY是全局排序，但在数据量大的情况下，花费时间会很长 SORT BY是将reduce的单个输出进行排序，不能保证全局有序 DISTRIBUTE B

朴灿烈づ我的快乐病毒、/ 2023年08月17日 15:18/ 0 赞/ 65 阅读

相关 Hive学习（七）查询

LIKE和RLIKE 1. LIKE：%，\_ 2. RLIKE：支持Java的正则表达式；例，查找部门号中含有2的部门：`select from dept_part

冷不防/ 2023年06月27日 11:28/ 0 赞/ 79 阅读

相关 Hadoop(七)——子项目Hive

前边我们介绍了Hadoop项目的两大基础支柱HDFS和MapReduce，随后又介绍了子项目Pig：一种用类似于SQL的、面向数据流的语言对HDFS下的数据进行处理的M

末蓝、/ 2022年08月09日 09:55/ 0 赞/ 115 阅读

相关 Hive(十二)--Hive函数大全

一、关系运算： 1. 等值比较: = 语法：A=B 操作类型：所有基本类型描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： [Hi

阳光穿透心脏的1/2处/ 2022年06月17日 05:30/ 0 赞/ 310 阅读

相关 HIVE 排序总结

HIVE 排序总结 ORDER BY Hive中的order by语句用于对查询结果集执行一个全局排序。这也就是说会有一个所有的数据都通过特格reducer进行处理

末蓝、/ 2022年06月10日 14:36/ 0 赞/ 222 阅读

相关排序算法七——快速排序

排序算法七：快速排序快速排序的大致思想是：先随便选一个值，然后比这个值小的放在它左边，比它大的放在它右边。这样这组数字就被分成了两组，然后再在左边那一组数字里面选一个

旧城等待，/ 2022年06月10日 04:57/ 0 赞/ 139 阅读

相关 Hive(十八)--全局排序

不分发数据，使用单个reducer ![复制代码][copycode.gif] set mapred.reduce.tasks=1; select

素颜马尾好姑娘i/ 2022年06月09日 05:21/ 0 赞/ 173 阅读

相关 Hive(十七)--排序

order by order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大

你的名字/ 2022年06月09日 05:20/ 0 赞/ 155 阅读

相关 Hadoop(七)Hive基础

Hive是基于Hadoop的数据仓库工具，提供了在Hadoop分布式存储上对大数据集使用SQL进行查询、修改、管理数据的功能。 Hive提供标准SQL功能，包括SQL：200

╰半夏微凉°/ 2021年11月18日 00:04/ 0 赞/ 276 阅读