轻松入门大数据第11章入门到进阶：如何快速学会Hive调优 11.1 Hive调优 11.1.5 Hive4大by之order by

朴灿烈づ我的快乐病毒、 2024-03-16 12:11 5阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第11章 入门到进阶：如何快速学会Hive调优
         *   *  11.1 Hive调优
             *   *  11.1.5 Hive4大by之order by

![在这里插入图片描述][2192f1bc297045eb9cbb4c0707331c53.png_pic_center]

#### 第11章 入门到进阶：如何快速学会Hive调优 ####

##### 11.1 Hive调优 #####

> 1.  抓取策略
> 2.  严格模式
> 3.  本地模式
> 4.  排序
> 5.  推测执行
> 6.  Mapper和Reducer个数设置
> 7.  数据倾斜

###### 11.1.5 Hive4大by之order by ######

**Hive 四大by：**【常考面试题\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*重要】

*  order by
 *  sort by
 *  distribute by
 *  cluster by

先看`order by` ，全局排序

全局排序【数据量大的时候慎用，不仅可能慢，还有可能根本跑不出来】

*  只能有一个reducetask来完成
 *  不管你是否设置了reduce的个数(无效)
 *  与严格模式有关系

试试：

之前我们已经看过了，在严格模式下，直接排序但是不加limit ，会报错

select * from emp order by empno;

![在这里插入图片描述][d2395463d23b4d76b9ca268ded4a3f28.png_pic_center]

加一个`limit`

select * from emp order by empno limit 3;

![在这里插入图片描述][e9823782a5eb460fa0d05d13e2efb393.png_pic_center]

直接启动了作业

![在这里插入图片描述][9827dd95b40845a6ab23f28cce1bcfd8.png_pic_center]

![在这里插入图片描述][cd5735085d3e439689c234ce520b13a6.png_pic_center]

结果没问题， 搞下数据，把老师那条8888 加上

![在这里插入图片描述][3b2d91eafe754f41baf0f43ec491a76c.png_pic_center]

再来一次

select * from emp order by empno desc limit 3;

哦，忘记降序了【不用重新搞数据… 】

![在这里插入图片描述][34944a0a2a0641feba7a82f9f3d6dce3.png_pic_center]

没问题。

![在这里插入图片描述][0eb8ce057f164739bad45709e3f6a92a.png_pic_center]

一个map ，一个red。

我们尝试修改一下`reducer` 数量，`set mapred.reduce.tasks=3;`

![在这里插入图片描述][8aa0fefa37c1491985fcb7bab09271d9.png_pic_center]

然后又跑了一次

![在这里插入图片描述][d6d1da4bf4f24138858c63481e8daae3.png_pic_center]

没用，这就是全局排

[2192f1bc297045eb9cbb4c0707331c53.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/87fee15980aa4d89a1fb404f12c660d9.png
[d2395463d23b4d76b9ca268ded4a3f28.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9cab67fcb168489499f96e7969c4af1b.png
[e9823782a5eb460fa0d05d13e2efb393.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f2b373fa5d0e420ea2a8a526dc4fdadf.png
[9827dd95b40845a6ab23f28cce1bcfd8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7614a2858ba74d718b2856faaf6bd54c.png
[cd5735085d3e439689c234ce520b13a6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/64f6c995193e450b8981a028cfe416f1.png
[3b2d91eafe754f41baf0f43ec491a76c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/52dc5729f1cb45a3825aa9f2712d0504.png
[34944a0a2a0641feba7a82f9f3d6dce3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/66d8b3094e164a08bab7beac25396264.png
[0eb8ce057f164739bad45709e3f6a92a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a4e46738be1249ccaaca382c9a568832.png
[8aa0fefa37c1491985fcb7bab09271d9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9482f0b2d9fa4e1b817386725ffad199.png
[d6d1da4bf4f24138858c63481e8daae3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/0bd4d06e1e5b47f38905c36862aa56e6.png