轻松入门大数据第11章入门到进阶：如何快速学会Hive调优 11.1 Hive调优 11.1.2 Hive作业什么时候跑MR作业

￡神魔★判官ぃ 2024-03-16 12:11 37阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第11章 入门到进阶：如何快速学会Hive调优
         *   *  11.1 Hive调优
             *   *  11.1.2 Hive作业什么时候跑MR作业

![在这里插入图片描述][81ab66db6eeb4c288cd2840d45b435c0.png_pic_center]

#### 第11章 入门到进阶：如何快速学会Hive调优 ####

##### 11.1 Hive调优 #####

> 1.  抓取策略
> 2.  严格模式
> 3.  本地模式
> 4.  排序
> 5.  推测执行
> 6.  Mapper和Reducer个数设置
> 7.  数据倾斜

###### 11.1.2 Hive作业什么时候跑MR作业 ######

Hive → 将我们写的SQL 翻译成底层作业。

sql：什么样的SQL 会跑yarn，之前我们已经体验过了，有些语句会交作业，有些不会，所以什么样的不会？

这个东西我们还一直没有讨论到过。

打开`cli`终端：

![在这里插入图片描述][8045d70553e2460b8ec9f3d0a2a67ff7.png_pic_center]

2s 多，这种语句很快就能出结果

看到官网：[https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties][https_cwiki.apache.org_confluence_display_Hive_Configuration_Properties]

![在这里插入图片描述][abc72fd93ab54c3cac4de8a0a9cf9ea4.png_pic_center]

这个参数`hive.fetch.task.conversion`

可以看到，在0.10.0 到 0.13.1 版本之间，默认值是`minimal`，0.14.0 到之后的默认值是`more`

我们都已经3.1.2 所以肯定是`more`

![在这里插入图片描述][40259bd8214540e9992c02e5578872b1.png_pic_center]

`more` 是啥意思？

一些选择查询可以转换为单个 FETCH 任务，从而最大限度地减少延迟。目前，查询应该是单一来源的，没有任何子查询，并且不应该有任何聚合或不同（这会导致 RS – ReduceSinkOperator，需要 MapReduce 任务），横向视图和连接。

支持的值为 `none`,`minimal`和`more`.

1.  `none`禁用 hive.fetch.task.conversion（Hive 0.14.0 中使用[HIVE-8389][]添加的值）【但凡设置这个，即使是select \* 也会跑MR 作业】
    
    ![在这里插入图片描述][9e7a6662a9004e7db6cadcaca504fa24.png_pic_center]
    
    ![在这里插入图片描述][e7ee346db1ef49f4a7c109d45672f229.png_pic_center]
    
    ![在这里插入图片描述][7a9782a061444ba0ad0b05cc91e51e3d.png_pic_center]
    
    39 s
2.  `minimal`：SELECT \*，分区列上的 FILTER（WHERE 和 HAVING 子句），仅限制【意思就是`select *`、`在分区字段上进行了过滤`、`limit` 这三个不会跑MR，其他都要】
3.  `more`：SELECT，FILTER ，仅限 LIMIT（包括 TABLESAMPLE、虚拟列）

" `more`" 可以采用 SELECT 子句中的任何类型的表达式，包括 UDF。  
（尚不支持 UDTF 和横向视图——请参阅 [HIVE-5718][]。）

测试一下：

参数改成`minimal`

![在这里插入图片描述][ada06f1e64a64437acc39d9110c906fe.png_pic_center]

OK， `select *` 没跑MR

过滤，来个分区表，过滤条件在分区上，这里创建一个吧

create table dept_partition(
    deptno int,
    dname string,
    loc string
    )PARTITIONED BY (day string)
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
    
    load data local inpath '/home/hadoop/data/dept.txt' OVERWRITE INTO TABLE dept_partition PARTITION(day='20230601');
    load data local inpath '/home/hadoop/data/dept.txt' OVERWRITE INTO TABLE dept_partition PARTITION(day='20230602');
    load data local inpath '/home/hadoop/data/dept.txt' OVERWRITE INTO TABLE dept_partition PARTITION(day='20230603');

数据`dept.txt`

10	ACCOUNTING	NEW YORK
    20	RESEARCH	DALLAS
    30	SALES	CHICAGO
    40	OPERATIONS	BOSTON

![在这里插入图片描述][82caabde596c4805986afa1c14c85221.png_pic_center]

三个分区，查一下啊`select * from dept_partition where day='20230601';`

![在这里插入图片描述][1267f12887f442b59e00298eb24089b3.png_pic_center]

欧克克，很明显，无MR

如果是条件是普通字段：`select * from emp where empno=8888;`

![在这里插入图片描述][2262d0be422947c2aaba4a588afe9975.png_pic_center]

它会跑，

![在这里插入图片描述][96a68593948c4bc5b8ead849a3b8c907.png_pic_center]

23 秒出来了

而且官网只说了`select *`，但凡我不走`*`, `select empno,ename from emp;`

![在这里插入图片描述][cc7047160c6a4d839de9791eb84b684c.png_pic_center]

OK，没跑MR，说明官网说的`*`，不是只能`*`

设置为`more`，是我们当前版本的默认值

测试`select * from emp where empno=8888;`

![在这里插入图片描述][70049e6d90674277ae9eb1737149db67.png_pic_center]

OK， 没跑。但是`minimal` 跑了的。

试试`limit`，`select * from emp limit 3;`

![在这里插入图片描述][fc6cc9e418df455c96a0a6d346b2901b.png_pic_center]

立马就出来了，没跑MR

[81ab66db6eeb4c288cd2840d45b435c0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5e699e7ce9ee446d92c7b9b4547c1b60.png
[8045d70553e2460b8ec9f3d0a2a67ff7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/41121b72bef04861a64dc028f4128ac6.png
[https_cwiki.apache.org_confluence_display_Hive_Configuration_Properties]: https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties
[abc72fd93ab54c3cac4de8a0a9cf9ea4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/06c14c6c1a224da28cb7222e319a9934.png
[40259bd8214540e9992c02e5578872b1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f350d0bd6c7e4c8088db8a260b01322c.png
[HIVE-8389]: https://issues.apache.org/jira/browse/HIVE-8389
[9e7a6662a9004e7db6cadcaca504fa24.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5c2abe7087be4021a291945a57e20f22.png
[e7ee346db1ef49f4a7c109d45672f229.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/816d14827c904074b3638303fdbb4bab.png
[7a9782a061444ba0ad0b05cc91e51e3d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/01b1a8480c2c40b2bd26b84a3e919bc1.png
[HIVE-5718]: https://issues.apache.org/jira/browse/HIVE-5718
[ada06f1e64a64437acc39d9110c906fe.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/eed3b7de2bbd4a6c94a49f54353e036b.png
[82caabde596c4805986afa1c14c85221.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/abe7c52f096d4acdbd240cddc824439e.png
[1267f12887f442b59e00298eb24089b3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/0d616f6b38ee47fdb02323727a3e49ae.png
[2262d0be422947c2aaba4a588afe9975.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9114391955f5408fb8e3d872386d78f4.png
[96a68593948c4bc5b8ead849a3b8c907.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d25258a13a6445e99f0b904b03d8428c.png
[cc7047160c6a4d839de9791eb84b684c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b3e1e7148a2540d3af23b09107255f14.png
[70049e6d90674277ae9eb1737149db67.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/077b3260e9d440e79bc0a3dc9f279e93.png
[fc6cc9e418df455c96a0a6d346b2901b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ee1fecbe49f0436da951881d83ba73ee.png